Gdy AI odpowiada z pewnością, choć się myli – halucynacje, uprzedzenia, czarna skrzynka
Generatywna sztuczna inteligencja działa przekonująco. Odpowiada płynnym językiem, cytuje autorów, używa terminów fachowych i sprawia wrażenie dobrze poinformowanego partnera do rozmowy. Właśnie przekonujący ton jest jednak jednym z zasadniczych powodów, dla których wynikom nie można wierzyć ślepo. AI nie jest bowiem bazą wiedzy, ale narzędziem statystycznym, które na podstawie danych, na których została wytrenowana, szacuje, jakie słowa mają następować po innych. Kiedy czegoś jej brakuje, zwykle to sobie dopowie.
Halucynacje. Zjawisko to, nazywane halucynacjami, potrafi zwieść nawet profesjonalistów. Znanym i udokumentowanym przykładem jest amerykański adwokat Steven Schwartz. W 2023 roku przedłożył sądowi w Nowym Jorku obszerne pismo procesowe, które w dużej części sporządził dla niego ChatGPT. Model wplótł jednak w tekst cytaty z orzeczeń sądowych, które nigdy nie istniały – z realnie brzmiącymi nazwami stron, numerami akt i zmyślonymi fragmentami sentencji wyroków. Gdy sędzia chciał sprawdzić teksty źródłowe, sprawa wyszła na jaw, a kancelaria adwokacka dostała karę pięciu tysięcy dolarów. Podobnych przypadków od tego czasu przybywa również w Czechach, gdzie przed tym ryzykiem zaczynają wyraźnie ostrzegać wydziały prawa i samorządy zawodowe.
Uprzedzenia. Drugą zasadniczą granicą wiarygodności są uprzedzenia algorytmów, po angielsku bias. Sztuczna inteligencja uczy się z danych, które przedstawili jej ludzie. Jeśli dane te niosą historyczne uprzedzenia, model wiernie je przejmuje i zaczyna traktować jak obiektywne reguły. Amazon w 2018 roku przerwał rozwój narzędzia do rekrutacji pracowników po tym, jak okazało się, że AI systematycznie karała CV kobiet – nauczyła się tego z wcześniejszych decyzji rekrutacyjnych firmy. Badanie opublikowane w 2019 roku w czasopiśmie Science wykazało z kolei, że jeden z dużych amerykańskich algorytmów zdrowotnych systematycznie zaniżał potrzebę leczenia u pacjentów czarnoskórych; system używał bowiem jako wskaźnika „potrzeby” historycznych kosztów leczenia, które w tej grupie były niższe z przyczyn ekonomicznych, a nie zdrowotnych.
Czarna skrzynka. Trzecim ograniczeniem jest zasada, którą nazywa się czarną skrzynką. W bardziej złożonych modelach sztucznej inteligencji często nie potrafią wyjaśnić nawet ich sami twórcy, dlaczego system zdecydował tak, jak zdecydował. W przypadku chatbota, który poleca książkę, nikomu to nie przeszkadza, ale w modelu, który ocenia wniosek o kredyt, polisę czy świadczenie, jest to problem zasadniczy. Odmowa bez zrozumiałego uzasadnienia nie da się zaskarżyć, poprawić ani wyciągnąć z niej wniosków.
Praktyczny wniosek z tej części jest dość prosty. Odpowiedź generatywnej AI warto traktować jak hipotezę, a nie wyrok. Liczba, nazwisko, przepis prawny i cytat są warte sprawdzenia u pierwotnego źródła. Sztuczna inteligencja potrafi znacząco przyspieszyć pracę z informacjami, ale odpowiedzialność za końcowy wynik pozostaje po stronie człowieka.
Jeden błąd, który położył pół świata – kruchość połączonych systemów
Obok powoli kumulujących się błędów w danych istnieje też drugi rodzaj granicy wiarygodności: techniczna kruchość połączonych systemów. Nowoczesna infrastruktura – lotniska, banki, szpitale, sklepy internetowe – opiera się dziś zwykle na wspólnych warstwach oprogramowania. Gdy jedna z nich zawiedzie, wpływ jest niewspółmierny do przyczyny.
CrowdStrike, 19 lipca 2024. Najlepiej udokumentowanym przykładem ostatnich lat jest globalna awaria, która zaczęła się jako zwykła aktualizacja oprogramowania zabezpieczającego Falcon firmy CrowdStrike. Wadliwy plik rozesłany w ułamku godziny sprawił, że około 8,5 miliona komputerów z systemem operacyjnym Windows na całym świecie zaczęło cyklicznie się restartować i nie dało się ich używać. Na lotniskach w Ameryce, Europie i Azji piętrzyły się odwołane loty, szpitale odkładały planowe operacje, banki nie mogły przetwarzać transakcji, sklepy przyjmowały tylko gotówkę. Nie chodziło przy tym o atak cybernetyczny – chodziło o błąd, którego podczas testów nikt nie wychwycił. A ponieważ oprogramowanie było wdrożone wszędzie naraz, ujawniło się wszędzie naraz.
Chmura i wspólne punkty awarii. Podobną dynamikę mają awarie dużych usług chmurowych. Gdy pada infrastruktura Amazon Web Services, Microsoft 365 lub Google Cloud – a zdarzyło się to w ostatnich latach wielokrotnie –, przestają działać również strony i aplikacje, o których większość ludzi nawet nie wiedziała, że opierają się na tych usługach. Cyfrowa gospodarka opiera się na kilku dostawcach, co daje jej ogromną efektywność, ale i ogromną podatność.
Łańcuchy dostaw oprogramowania. Bardziej ukrytą, ale równie ważną warstwą są tzw. łańcuchy dostaw oprogramowania. Nowoczesne aplikacje składają się z dziesiątek lub setek ogólnodostępnych bibliotek, tworzonych przez programistów z całego świata. Gdy w jednej z nich pojawia się błąd, uderza on we wszystko, co jej używa. W 2021 roku podatność w bibliotece Log4Shell spowodowała chaos w sieciach firmowych na całym świecie, ponieważ używały jej dziesiątki tysięcy aplikacji. W 2024 roku udało się z kolei ujawnić, że do jednej kluczowej biblioteki systemu Linux (xz-utils) podstępnie przeniknął napastnik, który wkradł się w jej utrzymanie długą, cierpliwą pracą. Wykryto to niemal przypadkiem, tuż przed tym, jak zmiana miała trafić do systemów produkcyjnych.
Praktyczny wniosek. Systemy cyfrowe są dziś ze sobą powiązane na tyle, że awaria jednego miejsca może wywołać efekt domina. Rozsądne organizacje reagują na to, mając plan awaryjny na sytuacje, gdy główny system nie działa – papierowe procedury dla operacji krytycznych, kilku niezależnych dostawców dla kluczowych usług, regularne ćwiczenia „co jeśli”. Dla osób prywatnych płynie stąd analogiczna lekcja: nie przechowywać wszystkiego w jednej usłudze, mieć kopię zapasową offline ważnych dokumentów i wiedzieć, jak sobie poradzić, gdy aplikacja, na którą liczymy, pewnego dnia po prostu nie działa.
Zautomatyzowane decyzje i kwestia odpowiedzialności
Trzecią granicą jest kwestia, która wykracza poza technikę i sięga samej istoty funkcjonowania społeczeństwa: kiedy w porządku jest to, że o ważnych sprawach decyduje maszyna, i kto ponosi za to odpowiedzialność, gdy zdecyduje źle.
Kiedy maszyna decyduje o ludziach. Sztuczna inteligencja i algorytmy odgrywają dziś rolę w wielu sytuacjach dotykających ludzi bezpośrednio. Bank ocenia na ich podstawie zdolność kredytową wnioskodawcy, ubezpieczyciel ustala wysokość składki, dział personalny preselekcjonuje CV, administracja publiczna ocenia wnioski o świadczenia lub ryzyko oszustw podatkowych. W większości przypadków chodzi o pomoc, która przyspiesza proces – ostatnie słowo należy nadal do człowieka. Istnieją jednak też systemy, w których algorytm decyduje bez udziału człowieka, i to właśnie u nich pytanie o wiarygodność jest najsilniejsze.
Prawo do przeglądu przez człowieka. Prawo europejskie reaguje na tę sytuację. Rozporządzenie RODO (GDPR) w swoim artykule 22 stanowi, że osoba fizyczna ma prawo, aby nie podlegać decyzji opartej wyłącznie na przetwarzaniu zautomatyzowanym, która wywołuje wobec niej skutki prawne lub w podobny sposób istotnie na nią wpływa. Oznacza to, że w przypadkach, gdy o wnioskodawcy decyduje wyłącznie maszyna (typowo w sprawach ubezpieczeniowych, wnioskach o kredyt online lub niektórych postępowaniach urzędowych), człowiek ma prawo żądać przeglądu i wyjaśnienia przez człowieka. Do RODO dołączyło w lutym 2025 roku europejskie rozporządzenie znane jako AI Act, które dzieli systemy sztucznej inteligencji na kategorie według ryzyka, a przy systemach wysokiego ryzyka (typowo w ochronie zdrowia, edukacji, zasobach ludzkich i służbach bezpieczeństwa) ustanawia surowe wymogi dotyczące przejrzystości, dokumentacji i nadzoru człowieka.
Kto ponosi odpowiedzialność. Szczególnie złożoną kwestią jest odpowiedzialność za błąd systemu zautomatyzowanego. Kiedy AI błędnie odrzuci wniosek kredytowy, kto za to odpowiada – programista, który system napisał, firma, która go wdrożyła, czy pracownik, który mu zaufał? Ramy prawne wciąż się raczej kształtują niż domykają. Praktyczne spojrzenie jest następujące: im większy jest wpływ decyzji, tym wyraźniejsza musi być rola człowieka i tym lepsza musi być możliwość odwołania. System, który nie może zostać zakwestionowany, nie może mieć ostatniego słowa.
Zaufanie jako proces. Całe zagadnienie można zamknąć jedną prostą myślą: zaufanie do technologii nie jest stanem, ale procesem. Rodzi się z doświadczenia, z weryfikacji, z tego, że ludzie mogą sprawdzić, co technologia robi, i mają możliwość naprawienia jej błędu. Systemy funkcjonujące jak zamknięte czarne skrzynki z trudem zasługują na trwałe zaufanie. Rozwiązania natomiast, w których widać wyraźnie, kto je prowadzi, jakie dane wykorzystują i w jaki sposób można podważyć ich wynik, mogą być użytecznymi partnerami – w biznesie, administracji publicznej i codziennym życiu. Klucz nie polega na tym, by technologiom ślepo wierzyć ani się ich bać, ale na tym, by rozumieć, gdzie kończą się ich możliwości, a zaczyna odpowiedzialność człowieka.