„Sztuczna Inteligencja” was nie uratuje.

Wiem, jak szkodliwe mogą być algorytmy. Sama nad nimi pracowałam - mówi Cathy O'Neil, autorka „Broni Matematycznej Zagłady”.

Jeśli jest jedna osoba, z którą warto porozmawiać o ryzyku związanym z masowym wdrażaniem algorytmów, parciem by pracę człowieka zastąpić „sztuczną inteligencją” i poddawaniem kolejnych dziedzin życia człowieka pod osąd komputera, to jest nią… oczywiście, że Cathy O’Neil.

Autorka pionierskiej książki Broń Matematycznej Zagłady na całe lata przed innymi przestrzegała do, czego może prowadzić bezmyślne i naiwne pokładanie wiary w bezstronność algorytmów i rzekomo obiektywne procesy technologiczne. Skończy się to tym - pisała - że algorytmy zatrudnione do oceny pracy nauczycieli, do rekrutacji w firmach i szukania przestępców będą powielać wszystkie ludzkie uprzedzenia. A nikt nie będzie mógł odwołać się od ich decyzji, bo zostały one przecież podjęte przez zaawansowaną technologię. (A także dlatego, że w interesie twórców podobnych rozwiązań jest to, aby nikt nie poznał arbitralnych i często zupełnie pozbawionych logiki reguł rządzącymi owymi algorytmami).

O’Neil, która ma doktorat z matematyki, wykazuje na przykładach, że niektóre z owych doskonałych rozwiązań są faktycznie równie skutecznie i precyzyjne, co… generator losowych liczb. Dosłownie tak źle skonstruowane i napisane są owe magiczne algorytmy, że zamiast nich można by użyć maszyny losującej, a wyniki byłyby równie przypadkowe. Większość ludzi, w odróżnieniu od autorki Broni Matematycznej Zagłady, doktoratu z matematyki nie ma i nie umie zajrzeć pod maskę najróżniejszych systemów - i to właśnie na ich (czyli naszej) niewiedzy żerują twórcy owych broni matematycznej zagłady.

Zapraszam do lektury kolejnej rozmowy o tym, jakie skutki i wyzwania niesie ze sobą wdrażanie algorytmów cyfrowych i „sztucznej inteligencji” do kolejnych sfer życia i instytucji państwa. Ten cykl realizuję wspólnie z Fundacją Panoptykon, a wszystkie wywiady ukazują się na bieżąco na stronie panoptykon.org.

---

Minęła dekada, od kiedy napisałaś Broń matematycznej zagłady, książkę przestrzegającą przed ślepą wiarą w algorytmy i w obietnice, że „obiektywne” i „neutralne” systemy pomogą nam rozwiązać najbardziej palące problemy. Co się od tego czasu zmieniło?

Cathy O’Neil: Świetnie, że o to pytasz, bo mam wrażenie, że historia na naszych oczach się powtarza, a odrobiliśmy tylko niektóre jej lekcje. Zamiast rozmawiać o uczciwości, o skutkach, jakie rozwiązania bazujące na algorytmach niosą dla różnych grup społecznych, o bezpieczeństwie i kontroli jakości technologii, która wpływa na życie milionów – jesteśmy zmuszani, by po prostu uwierzyć w dobre intencje ludzi, którzy te technologie sprzedają.

10 lat temu poziom dziennikarstwa, marketingu, debaty publicznej na temat technologii był fatalny – wszędzie ślepa wiara w slogany wielkich korporacji. Dzisiaj nie podchodzimy już do pewnych rzeczy podobnie naiwnie. Dziennikarze nie przepisują słowo w słowo obietnic z broszurek wysłanych im e-mailem przez technologicznych gigantów. To jest plus…

…ale?

Ale jesteśmy w tym samym miejscu pewnego cyklu hajpu. Tylko dziś przedmiotem tego hajpu nie są – jak wtedy – algorytmy i big data. Jest nim AI, a hasło „sztuczna inteligencja” zastąpiło równie popularne niegdyś terminy. Przed laty byliśmy nastawiani, aby uwierzyć w zbawienne obietnice nowych technologii i w to, że ludzie, którzy je nam sprzedają, wiedzą, co robią. Teraz to samo dzieje się w kontekście sztucznej inteligencji – tylko że „sztuczna inteligencja” to pusty, nic nieznaczący slogan.

AI to tylko slogan?

Tak, uważam, że ten termin jest pozbawiony znaczenia, że stanowi tylko marketingową zagrywkę. Zapytaj cztery osoby, co rozumieją pod pojęciem sztucznej inteligencji, a uzyskasz cztery różne odpowiedzi. Ja mam swoją ulubioną definicję, ale musiałabym ją objaśnić w dość naukowy sposób. I z pewnością moja definicja by się nie przyjęła – nie jest zbieżna z tym, co ludzie zazwyczaj mają na myśli, gdy mówią o AI. Jednak słowo „algorytm” przynajmniej da się precyzyjnie zdefiniować! Dlatego posługuję się nim w pracy.

Pamiętam, że gdy podczas swojego słynnego wykładu TED Talks poddałaś w wątpliwość naukowe podstawy stosowanych szeroko algorytmów, na sali pojawił się śmiech. A używałaś tych samych słów co teraz: „marketingowa zagrywka”…

Doskonale potrafię sobie wyobrazić, dlaczego ludzie wówczas się śmiali. Wielu z nich przecież brało udział w procesach, które krytykowałam. Nic dziwnego, że poczuli się nieswojo.

Moi przyjaciele powiedzieli mi później, że sala podzieliła się na pół. Połowę stanowiły osoby śmiertelnie oburzone tym, że mówiłam o szkodliwości źle zaprojektowanych i bezmyślnie wdrażanych algorytmów. Drugą połowę – osoby, które odetchnęły z ulgą, ponieważ ktoś wreszcie powiedział to na głos!

Użyłaś w tej rozmowie sformułowania „cykl hajpu”. Czy możesz powiedzieć, co to znaczy?

Gdy startowała firma Google, jej motto brzmiało „Nie czyń zła” (Don’t be evil). Kiedyś ludzie naprawdę wierzyli, że Facebook to tylko niewinna strona do utrzymywana kontaktu ze znajomymi z liceum. Zabawne, prawda? Cóż, ja dość wcześnie miałam okazję zobaczyć, do czego prowadzi wykorzystanie algorytmów sortujących ludzi za pomocą wielkich zbiorów danych. Znalazłam pracę jako data scientist w sektorze finansowym akurat tuż przed wielkim kryzysem. Już wówczas mogłam zobaczyć, że to, co my robimy, polega w gruncie rzeczy na wymyślaniu i udoskonalaniu narzędzi wykorzystywanych do jednego celu: do dzielenia ludzi na szczęściarzy i pechowców. Jeśli trafisz do szczęściarzy, dostaniesz lepszy kredyt, warunki ubezpieczenia, a firmy będą szybciej odpowiadać na twoje CV. Gdy wylądujesz w grupie pechowców… cóż.

Opracowywaliśmy podobne narzędzia dokładnie w czasie, gdy całemu światu opowiadano, że teraz nie będzie już rasizmu i uprzedzeń, bo zamiast omylnych ludzi kluczowe decyzje będzie podejmował obiektywny algorytm. Ale on nie mógł być obiektywny! Decydował przecież na podstawie danych z przeszłości – czyli dokładnie odzwierciedlał wszystkie te uprzedzenia i nierówności, które rzekomo miał odesłać w niebyt. Kontrast między tym, co komunikowały o nowych narzędziach działy marketingu, a tym, co naprawdę one robiły, był uderzający. To był efekt hajpu, o którym mówię: rozjazd tego, co komunikuje się na zewnątrz, i tego, co widać od środka.

Według ciebie obecnie jesteśmy w tym samym momencie – tylko z AI?

Tym razem może być gorzej. O ile źle zaprojektowany algorytm będzie jedynie odtwarzał pewne stereotypy, to tzw. generatywna sztuczna inteligencja zacznie wyciągać z nich wnioski.

Bloomberg zapytał sztuczną inteligencje o to, jak wygląda nauczyciel. Otrzymał dużo więcej wizerunków kobiet, niż wynikałoby to z faktycznych proporcji płci w zawodzie. Ktoś powie, że nieudane, seksistowskie czy dziwaczne obrazki to żaden problem. OK, zgoda. Ale mnie nie interesują obrazki generowane przez AI tylko fakt, że ten sam system – bez żadnej sensownej weryfikacji – zaraz będzie używany w rekrutacji, w ochronie zdrowia i we wszystkich innych dziedzinach, gdzie nawet drobne różnice będą miały poważne konsekwencje.

Ludzie, z którymi rozmawiam, tłumaczą, że prędzej czy później argument oszczędności czy optymalizacji kosztów zawsze wygrywa. Ktoś przychodzi do agencji rządowej, ministerstwa czy jakiejś instytucji samorządu i mówi: „Dlaczego tej żmudnej i mozolnej pracy nie robi jeszcze komputer?”.

Oczywiście, algorytmy czy sztuczna inteligencja sprawdzają się doskonale w jednym zadaniu, czyli krótkoterminowym rozwiązywaniu problemów budżetowych narzucanych przez neoliberalizm i politykę oszczędności. Presja na to, by ciąć budżety, narasta – aż dochodzimy do momentu, w którym uznajemy ludzi za zbędny koszt. Problem w tym, że tzw. komputer często nie wykonuje tej pracy, w której miał ludzi zastąpić.

Chciałabym tutaj mocno podkreślić, że to tylko jeden wymiar problemu, który podniosłeś. Efektywność to nie wszystko. Mamy do czynienia z czymś znacznie poważniejszym niż pytanie o to, czy komputer działa, czy nie, albo czy konkretne cięcia budżetowe wdrażane przez rządy są uzasadnione.

To znaczy?

Mówimy o problemie przepływów w całej globalnej gospodarce. Ludzie tracą pracę w dziedzinie, w której byli wyspecjalizowani. A wraz ze likwidowaniem ich miejsc pracy znika zasób doświadczenia i poziom zawodowego rzemiosła, które reprezentowali, prawda? Kto na tym zyskuje? Ci, którzy zastępują to skomercjalizowanym, fatalnym, wadliwym modelem zastępczym. Dolina Krzemowa. To jest niesłychanie niesprawiedliwe i na dłuższą metę niewydolne.

Chcesz powiedzieć, że cięcia budżetowe dokonywane przez rządy i zastąpienie „drogich” miejsc pracy ludzi „tanimi” algorytmami jest tak naprawdę formą transferu finansowego z państwowej kasy na konta firm z Doliny Krzemowej?

Dokładnie tak. Na 100%. To jest mówienie ludziom, którzy dzięki sektorowi publicznemu mieli normalną pracę, godne życie i zabezpieczoną emeryturę: „Dziękujemy, już was nie potrzebujemy. Pieniądze na wasze pensje lepiej wydamy w Dolinie Krzemowej”.

Ale czy przypadki, w których sektor publiczny naprawdę próbuje rozwiązać jakieś problemy przy użyciu nowych technologii, są aż tak rzadkie? Może politycy i urzędnicy chcą dobrze, jednak padają ofiarami zwodniczego marketingu, o którym mówisz?

Istnieją dobre przykłady. Mogę je przywołać, bo zajmuję się zawodowo audytem algorytmów. Przychodzą do mnie ludzie, którzy chcą, aby coś działało dobrze. Weźmy stan Waszyngton w USA. Mieli filtrować przypadki podwójnego wyrobienia jakiegoś dokumentu pod kątem ewentualnych zagrożeń terrorystycznych i fałszowania tożsamości. Chodziło o to, żeby odnaleźć sytuacje, w których jedna osoba ma np. więcej niż jeden dokument prawa jazdy. Stan Waszyngton należy do tzw. sanktuariów, to znaczy nie deportuje migrantów bez legalnych dokumentów. Urzędnicy stanowi musieli pogodzić wymóg skanowania dokumentów przy pomocy systemów rozpoznawania twarzy (nałożono go na poziomie federalnym) z rozwiązaniem, które nie skończy się automatycznym składaniem zawiadomień i wyłapywaniem migrantów. Przecież część osób, która w przeszłości posługiwała się fałszywym dokumentem, już dawno zdobyła legalny. Dzięki zapewnieniu kilku szczebli ludzkiej (niezautomatyzowanej) kontroli, współpracy z organizacjami migranckimi i wprowadzeniu jedynie symbolicznych kar za posiadanie zdublowanego dokumentu prawa jazdy udało się połączyć ogień z wodą.

Ten przykład należy do szlachetnej mniejszości, tak?

Tak, w przypadku zdecydowanej mniejszości rozwiązań, z którymi się stykam, ktoś aż tyle myśli i zdradza podobną wrażliwość. Ale to również skutek zwodniczego marketingu, o którym rozmawialiśmy. Ludzie, którym zleca się wdrożyć jakieś rozwiązanie, nie mają doktoratu z matematyki. Nawet jeśli chcą jak najlepiej, nie zweryfikują technicznych podstaw funkcjonowania rozwiązania, które się im oferuje. A zresztą model biznesowy firm i tak zakłada, że działanie samego algorytmu będzie owiane tajemnicą i ukryte za modnym bełkotem. Klienci są więc zmuszeni uwierzyć anonimowym korporacjom. To tzw. autorytet nieweryfikowalnego. Przekonuje się nas do tego, że mamy albo zaufać technologii, albo się jej bać. Problem nie dotyczy zatem nieznajomości matematyki, ale braku elementarnej uczciwości. Wprowadzanie ludzi w błąd jest tu celowym zabiegiem.

Co należałoby w tej sytuacji zrobić?

Zamiast dyskutować o naukowym aspekcie danych, o matematyce, o zawiłościach kodu komputerowego – powinniśmy rozmawiać o uczciwości rozwiązań. Ktoś może powiedzieć: „Technologia to nie dla mnie, nie znam się”, ale czy może powiedzieć: „Uczciwość mnie nie obchodzi”? 95% dyskusji o zastosowaniu algorytmów w biznesie czy polityce publicznej można zastąpić dyskusją o uczciwości i o ważeniu interesów różnych zainteresowanych grup.

Nie pomaga mit geniusza, który otacza przedsiębiorców z Doliny Krzemowej. Twórcy AI przedstawiają się jak bogowie. Mówią nam, że tworzą maszynę obdarzoną świadomością. Jeśli uwierzymy, że tylko ktoś nadzwyczajny jest w stanie zrozumieć AI, nie będziemy zdolni jej kwestionować. Osobiście proponuję podejście dokładnie przeciwne: przyglądajmy się sztucznej inteligencji krytycznie. Każdy ma prawo zapytać: „Czy aby ktoś właśnie nie chce mnie oszukać”?

W Europie trwa nieco inna debata. Nie na temat tego, czy każdy indywidualnie ma prawo się bać, ale czy pewnych zastosowań algorytmów – ryzykownych z punktu widzenia prywatności, bezpieczeństwa nieletnich albo manipulacji opinią publiczną – nie należy zakazać. Aktywiści, z którymi rozmawiam, mówią mi, że niektóre technologie powinny zwyczajnie zostać objęte embargiem.

Rozumiem to podejście. Po pierwsze: mówimy o sytuacjach o wielkim znaczeniu, czasami decydującym o życiu i wolności ludzi. Po drugie: AI nie sprawdza się najlepiej w podejmowaniu decyzji. Jeśli połączymy jedno z drugim, otrzymamy receptę na katastrofę. Nawet jeśli założymy, że będziemy w stanie opracować technologię, która się sprawdzi, musimy sobie odpowiedzieć na pytanie: „Jak w czasie rzeczywistym testować narzędzia, które mogą mieć wpływ na losy milionów ludzi?”.

Często podaję przykład kokpitu w samolocie. Kokpit to niezwykle rozwinięty system kontrolny, który rejestruje wiele parametrów. Kiedy odbiegają one od normy, uruchamia alarm. Tylko że wpływ na to, co ostatecznie widzi pilot w kokpicie, miały dziesięciolecia rozwoju, badań, błędów. W przypadku AI nie ma czegoś podobnego. Kiedy aktywiści mówią, że nie możemy – trzymając się tej metafory – latać bez kokpitu, to jest bardzo mocny i rozsądny postulat. Ale…

To jest jakieś „ale”?

Ale ja nie powiedziałam, że się z nimi zgadzam. Stwierdzenie, że skoro nie mamy kokpitu, to nie powinniśmy latać, nie oznacza jeszcze, że nie powinniśmy nad nim pracować! Moje podejście sprowadza się do tego, żeby rozwijać i testować, rozwijać i testować… Nie wdrażać, dopóki nie będzie gotowe. Nie polegać ślepo na technologii. Tym się właśnie zajmuję – audytowaniem algorytmów i opracowywaniem sensownych sposobów, by testować je przed wdrożeniem.

To samo podejście dotyczy choćby broni?

Masz na myśli to, że toczy się wyścig zbrojeń (dosłowny, nie metaforyczny) między krajami próbującymi zbudować autonomiczną broń? Trzeba pamiętać, że wiele z dylematów w tej dziedzinie nie wynika z samego użycia AI, a dotyczy wyścigu zbrojeń w ogóle. Zwrócę twoją uwagę na jeden ważny aspekt. Gdy odpalamy rakietę albo bombę, zazwyczaj nie wiemy, co stanie się później. Wojskowych i polityków interesuje, czy osiągnęła ona cel i zabiła tego, kogo miała zabić. Często nie wiemy, ilu cywili ucierpiało. Dane o cywilnych stratach są niedoszacowane lub niekompletne. Z tego wynika, że algorytm dla broni autonomicznej będzie trenowany na zasobie danych, który nie doszacowuje cywilnych skutków użycia broni na dystans. To samo w sobie będzie miało konsekwencje!

Na podstawie takich danych dojdziemy do wniosku, że dana broń jest mniej śmiertelna dla cywili i bardziej celna, niż ma to miejsce w rzeczywistości. Widzimy to na przykładzie dronów: z definicji używamy ich daleko od swoich granic, w miejscach, gdzie nie mamy dobrych danych ani ich nie zbieramy. Czy w takiej sytuacji możemy opracować „bezpieczny kokpit” dla broni opartej na algorytmach? Nie. Dlatego patrzę na to z niepokojem.

Jakie zatem podejście regulacyjne byłoby właściwe? Agencje dopuszczające konkretne rozwiązania do użytku? A jeśli tak – to na jakim: krajowym, ponadnarodowym czy globalnym poziomie?

To wcale nie jest aż tak trudne do wyobrażenia. Mamy agencje rządowe dopuszczające do użytku leki albo kontrolujące obrót określonymi substancjami. Od dłuższego czasu powtarzam, że potrzebujemy FDA (Agencja federalna w USA zajmująca się kontrolą i atestowaniem m.in. leków – przyp. J.D.) dla algorytmów! Zanim wypuścisz na rynek lek, musisz przejść przez cały proces, dowieść, że był przetestowany i bezpieczny. Moglibyśmy poddać algorytmy podobnym audytom pod kątem bezpieczeństwa.

Pracuję z urzędnikami nadzorującymi rynek ubezpieczeniowy w dwóch amerykańskich stanach, więc wiem, że testy na to, czy algorytmy są zgodne z prawem i bezpieczne, da się opracować. Przecież my to właśnie robimy! Analogicznie: algorytmy da się (i powinno się) sprawdzać także pod względem istniejących reguł, np. prawa antydyskryminacyjnego.

Czy to oznacza, że firmy, które będą się poddawać takim testom, muszą udostępnić swój algorytm do wglądu?

Być może wystarczyłoby, aby spełniły określone wymogi. A być może to by nie było wystarczające. Pamiętamy sprawę silników dieslowskich Volkswagena, gdzie wyniki testów emisji były po prostu fałszowane. Nie mamy powodów, by ufać korporacjom, gdy mówią, że spełniają jakieś standardy. Tak naprawdę należałoby zacząć od początku. Odpowiedzieć na pytanie, jak taki test powinien wyglądać i jak go zaprogramować, aby był skuteczny. A gdy dany produkt nie przejdzie wymogów, zastanowić się, czy to zły produkt, czy źle zawieszona poprzeczka.

Czy algorytmy w usługach, z których korzystamy, powinny być oznaczone tak jak leki, alkohol i papierosy?

To słuszny pomysł, ale najprawdopodobniej skończyłoby się tym, że informacje tego typu widzielibyśmy dosłownie wszędzie. Otrzymywalibyśmy po 45 powiadomień na jednej stronie internetowej. Musielibyśmy przeklikać się przez nie w pośpiechu, tak jak zazwyczaj to robimy, instalując nową aplikację. I już!

Dużo zabawniej byłoby, gdyby algorytmy miały inne ostrzeżenia. „Jestem czatbotem, nie posługuję się logiką, nie można mi wierzyć, mówię głupoty”. To byłoby dużo prawdziwsze, ale i zabójcze dla modelu biznesowego korporacji, które potrzebują naszego zaufania, by sprzedawać kolejne produkty.

Wniosek z tego taki, że czeka nas zalew głupoty i niekompetencji, ale nie apokalipsa. Przyjmujemy AI mniej lub bardziej pasywnie. Jak na razie efekty (np. dla rynku pracy) nie są widoczne dla przeciętnego obserwatora, uzależniamy się więc powoli. I tak już będzie?

To, co nazywamy przyszłością AI, w niektórych branżach jest już teraźniejszością. Moja prababcia była pianistką w obwoźnym cyrku. Dało się z tego żyć. Może nie jakoś wystawnie, ale się dało. Dziś nie da się w ten sposób utrzymać z muzyki – nie tylko z powodu algorytmów, ale też z powodu szeregu wynalazków: od radia przez płyty i odtwarzacze. Ale przecież ludzie dalej słuchają muzyki i ktoś na tym zarabia, prawda? Tylko że dziś jest to Spotify.

Potraktujmy to jako pewien wzorzec dla kolejnych branż, które będą podlegały podobnym przemianom. Jeszcze nie wiemy do końca, jak ta przemiana będzie wyglądać w innych branżach kreatywnych. Wiemy jednak, że transakcja, której właśnie dokonujemy, to zamiana stabilności życia i opłacalności całych dziedzin ludzkiej twórczości na wygodę korzystania z usług cyfrowych. Ludzie, którzy za tym stoją, mogą być zadowoleni – ostatecznie pieniądze trafią do nich.

Dr Cathy O’Neil – matematyczka, analityczka danych, autorka książek Broń matematycznej zagłady (2017) i Machina wstydu. Kto zarabia na twoim poniżeniu? (2022), które ukazały się w Polsce nakładem wydawnictwa PWN. Aktualnie zawodowo zajmuje się audytem algorytmów w założonej przez siebie firmie ORCAA.

Za pomoc w umówieniu rozmowy dziękuję polskiemu wydawcy książek Cathy O’Neil, wydawnictwu PWN.

Licencja CC BY-SA.