Algorytmy podejmują już kluczowe decyzje o naszych sprawach – bez naszej wiedzy. Także w Polsce [WYWIAD]

Jan Stradowski, Focus: W raporcie „AlgoPolska” mowa jest o zautomatyzowanym podejmowaniu decyzji. Czy chodzi tu o algorytmy sztucznej inteligencji?

dr Alek Tarkowski: Nie, to szersza kategoria. Nie zawsze trzeba stosować zaawansowane technologie, by podjąć decyzję tego typu. Już sześć lat temu Fundacja Panoptykon nagłośniła sprawę algorytmu sortującego osoby bezrobotne ubiegające się o wsparcie. Okazało się, że w tym przypadku była to po prostu tabelka z punktami. Urzędnik nie oceniał danej osoby sam, tylko dawał jej do wypełnienia kwestionariusz, zliczał punkty i od tego zależała decyzja.

Był to więc system analogowy. A czy w Polsce istnieją cyfrowe algorytmy oceniające ludzi, tak jak w USA albo Chinach?

– Sami się nad tym zastanawialiśmy, przygotowując nasz raport. Ogólne wrażenie jest takie, że w Polsce nie tworzy się algorytmów wpływających na nasze życie. Gdy pytaliśmy o to ludzi z biznesu czy konsultingu, odpowiadali najczęściej, że nad takimi rozwiązaniami pracują startupy. Często podawany przykład to wirtualny asystent działu sprzedaży Edward, opracowany przez polską firmę 2040.io. Ale poza tym specjaliści są przekonani, że takich rozwiązań u nas nie ma.

A w rzeczywistości?

– Algorytmy są dziś wszechobecne. Używamy np. platform, które rekomendują nam muzykę lub filmy. Dla większości z nas to po prostu udogodnienie, ale dla ludzi kultury oznacza już kształtowanie naszych gustów przez algorytmy opracowane w międzynarodowych korporacjach. One są w dużym stopniu poza kontrolą naszych instytucji czy organizacji społecznych.

No dobrze, ale zawsze możemy się pocieszać, że w Europie nie pojawią się rozwiązania takie jak w Chinach. Państwa demokratyczne nie zgodzą się na tak głębokie ingerowanie w prywatność i ocenianie obywatela.

– Czasami takie systemy mogą pojawić się bardzo dyskretnie. Gdy niedawno byłem w Berlinie, chciałem wypożyczyć rower miejski, który nie wymagał odstawiania go do stacji dokującej. Okazało się, że obsługuje go system wyprodukowany w Chinach. Gdy zainstalowałem aplikację, odkryłem w niej nieaktywny element służący do oceniania mnie jako rowerzysty. To wyglądało jak element chińskiego systemu Social Credit Score, umieszczony tam z wyprzedzeniem w celu testów. Z opisu wynikało, że aplikacja mogłaby ocenić np., czy przejeżdżam przez skrzyżowanie na czerwonym świetle. Europejskie systemy rowerowe nie mają takich opcji.

Ale mają je aplikacje do zamawiania przejazdów, takie jak Uber. Tam pasażerowie oceniają kierowców, a kierowcy – pasażerów.

– I znów – jest to ułatwienie, ale też ryzyko. Nie wiemy, który kierowca wystawił nam niską ocenę ani dlaczego. A gdy takich ocen zbierze się więcej, mogę mieć kłopot z zamówieniem przejazdów. To są oczywiście drobne historie, ale pokazują, że takie systemy przenikają do Europy i pojawiają się w demokratycznych państwach.

Czym to się różni od systemu punktów karnych dla kierowców albo rejestrów dłużników, takich jak BIK i KRD?

– To są instytucje, które już się przyjęły i dotyczą ściśle określonych sytuacji. Pierwszy problem pojawia się wtedy, gdy tego typu mechanizmów przybywa. Już dziś pracodawcy monitorują, w jaki sposób pracownik korzysta z mediów społecznościowych, choć są to raczej kontrole wyrywkowe. W Warszawie jeżdżą już samochody, które automatycznie sprawdzają poprawność parkowania za pomocą kamer i analizy obrazu z nich, odczytując automatycznie m.in. numery rejestracyjne.

To nie wydaje się specjalnie groźne.

– Bo nie jest. Jedno takie rozwiązanie nie oznacza dużej zmiany. Nowością jest to, gdy takich elementów jest coraz więcej i zostają połączone w jeden system działający automatycznie.

Ale czy automatyzacja jest sama w sobie czymś złym? Gdy ludzie podejmują decyzje, często są subiektywni, podatni na sugestie czy uprzedzenia.

– Oczywiście. Współpracujemy m.in. z prawnikiem dr. Kamilem Mamakiem, który uważa, że w sądownictwie algorytmy poprawią sytuację, zwłaszcza w prostych sprawach. Gdy się przeanalizuje decyzje podejmowane przez sędziów, widać w nich dużą uznaniowość. Na werdykt wpływa np. pora dnia albo czas, jaki minął od momentu, kiedy sędzia miał przerwę w pracy. Na pewno więc lepiej by było, gdyby to był bardziej obiektywny zautomatyzowany system. Jednak na drugiej szali mamy przykłady algorytmów, które też są skrajnie nieobiektywne i popełniają rażące błędy.

Algorytm można skorygować.

– Temu ma służyć m.in. krytyka organizacji pozarządowych. Zawsze mamy nadzieję, że jeśli wskażemy błędy w działaniu algorytmu, zostanie on udoskonalony. System odczytujący automatycznie numery rejestracyjne początkowo nie reagował na rejestracje aut elektrycznych. Ich kierowcy mogli więc łamać przepisy, a fotoradar tego nie rejestrował. Gdy wyszło to na jaw, błąd poprawiono. Podobnie ewolucja wygląda w medycynie. Kilka lat temu mówiono, że algorytmy lepiej niż lekarze oceniają wyniki badania mammograficznego. Potem się okazało, że jednak nie są takie dobre. Naukowcy wzięli się do pracy i w efekcie dziś mamy doskonalsze systemy diagnostyczne.

W raporcie apelujecie jednak, by algorytmy od początku projektować tak, aby były jak najbardziej obiektywne.

– To ma kluczowe znaczenie w przypadku usług publicznych, takich jak kryteria przyznawania świadczeń pomocy społecznej czy przydziału dzieci do szkół. Trzeba poświęcić wiele uwagi, by taki system nikogo nie skrzywdził. Obiektywność powinna w tym przypadku oznaczać przejrzystość procesu decyzyjnego. Powinniśmy mieć prawo do informacji, dlaczego algorytm podjął taką a nie inną decyzję.dane, otrzymujemy wynik, ale nie wiemy, co się stało w środku.

SPOŁECZEŃSTWO ZAUTOMATYZOWANE DECYZJE – ALGORYTMY PO POLSKU

W naszym państwie wciąż niewiele decyzji jest podejmowanych przez systemy automatyczne.

Można jednak znaleźć takie przypadki, które budzą wątpliwości dotyczące bezstronności i skuteczności takich algorytmów. Oto przykłady zaczerpnięte z raportu „AlgoPolska”:

Profilowanie bezrobotnych – algorytm dzielił wszystkie zarejestrowane osoby nieaktywne zawodowo na trzy grupy różniące się stopniem gotowości do podjęcia zatrudnienia i rodzajem pomocy, jaką otrzymają z urzędu pracy. W trakcie rozmowy z urzędnikiem wypowiedzi bezrobotnego dopasowywane były do specjalnego klucza i punktowane, po czym przyznawano mu określony profil.

Procedurę uznano za niekonstytucyjną i w zeszłym roku wycofano z użycia. Przydzielanie dzieci do żłobków – w 2018 r. we Wrocławiu źle zaprogramowany algorytm sprawił, że do placówki nie dostały się dzieci, którym przysługiwało miejsce. Ze względu na brak informacji o działaniu systemu rodzice zarzucali mu nieprzejrzyste i krzywdzące podejmowanie decyzji w sytuacji, gdy liczba żłobków była niewystarczająca. Analiza podatków – od 2017 r. Krajowa Administracja Skarbowa ma system informatyczny analizujący przepływy podatkowe w bankach, mający służyć zwalczaniu nadużyć VAT-owskich. Jeśli algorytm uzna, że dana firma może dopuszczać się wyłudzeń, jej konto bankowe jest blokowane bez konieczności przeprowadzenia postępowania dowodowego.

Decyzje kredytowe – banki powszechnie stosują algorytmy oceniające zdolność kredytową klientów. Szczegóły są chronione tajemnicą gospodarczą, ale dzięki nowemu prawu każdy klient będzie mógł dowiedzieć się, jakie dane miały wpływ na decyzję w jego sprawie. Polska jako pierwsza wprowadziła takie rozwiązanie prawne. Przydział spraw dla sędziów – od 2018 roku algorytm określa, który sędzia sądu powszechnego otrzyma konkretną sprawę do rozpatrzenia. Zdaniem Ministerstwa Sprawiedliwości ma to zwiększyć bezstronność i transparentność polskich sądów. Z raportów wynika jednak, że system działa wadliwie. Niektórzy sędziowie są przeciążeni pracą, inni zaś nie są wybierani przez długi czas.

Jednak część algorytmów działa jak czarne skrzynki. Dostarczamy im dane, otrzymujemy wynik, ale nie wiemy, co się stało w środku.

– W przypadku wielu ludzkich decyzji też nie umiemy wyjaśnić, w jaki sposób zapadły. Ale od rozwiązań zautomatyzowanych oczekujemy większej przejrzystości. Tymczasem dziś często nie wiemy nawet, kto podjął decyzję w naszym przypadku. Może był to algorytm, może człowiek, a może jedno i drugie?

Jakiś czas temu Facebook zablokował moje konto. Gdy odwołałem się od tej decyzji, dowiedziałem się od pracownika firmy, że był to błąd systemu i blokada została zdjęta.

– Możliwość skutecznego odwołania się od decyzji algorytmu może być nawet ważniejsza od tego, w jaki sposób ta decyzja została podjęta. Ale trzeba też pamiętać, że gdy podejmowanie decyzji zostaje zautomatyzowane, to takich decyzji jest z reguły dużo więcej. Np. fotoradar wyłapuje więcej nieprawidłowości niż policjant, choćby dlatego, że działa całą dobę. Łatwo więc jest „zatkać” nasze procesy społeczne rosnącą ilością spraw. Wtedy może dojść do sytuacji, że gdy odwołamy się od decyzji jednego algorytmu, naszą sprawę ponownie rozpatrzy drugi…

I w ten sposób sprawa utknie w jakiejś komputerowej biurokracji.

– A to może być naprawdę poważny problem. Teraz automat może wskutek błędu nałożyć blokadę na konto na Facebooku. Jednak w niedalekiej przyszłości w taki sam sposób może zostać zablokowany czyjś elektroniczny dowód osobisty albo rachunek bankowy. W innych krajach algorytmy już dziś przyczyniają się do pogłębiania nierówności społecznych czy ubóstwa.

Co możemy zrobić, by zapobiec takiemu scenariuszowi?

– Największą szansę mamy w sektorze publicznym. Może on albo kupić gotowe algorytmy od międzynarodowych firm, albo zamówić je w polskich przedsiębiorstwach. Gdy zbudujemy rozwiązania na miejscu, można je lepiej zaprojektować. Idealnie byłoby, gdyby instytucje publiczne negocjowały ze startupami, żeby robiły rozwiązania na nasz rynek. To się udało na przykład w Estonii, która jest jednym z najbardziej „cyfrowych” państw na świecie.

My, jak piszecie w raporcie, jesteśmy tak zapóźnieni w tej dziedzinie, że jest to paradoksalnie naszą szansą.

– Możemy zbudować nowe, sprawiedliwe rozwiązania od podstaw. Trzeba tylko zacząć. Duże pole do popisu mają tu np. władze miast, które mogłyby zamawiać rozwiązania dopasowane do lokalnej specyfiki. Ale na razie nie widzę na to szans, nawet w metropoliach takich jak Warszawa, które podobno stawiają na cyfryzację. One już dziś zbierają mnóstwo danych, ale niewiele z nimi robią. A szkoda, bo byłaby to i szansa na lepsze zrozumienie procesów społecznych, i możliwość zwiększenia efektywności działania miasta, co jest bardzo ważne choćby w kontekście zmian klimatu.

Czy są jakieś gotowe wzorce za granicą, z których moglibyśmy skorzystać?

Wygląda na to, że inne kraje też są na wczesnym etapie rozwoju takich systemów. Uczestniczymy w europejskim projekcie fundacji AlgorithmWatch i widzimy, jak wiele rozwiązań jest nietrafionych. W Kopenhadze testowano system monitorowania aktywności w mediach społecznościowych osób korzystających z opieki społecznej. Szybko został skrytykowany i wyłączony. Podobnie było z mapami przestępczości, nad którymi przez trzy lata pracowano w Niemczech. Wzorce musimy więc wypracować sami.

Jakie instytucje powinny się tym zająć? Ministerstwo Cyfryzacji?

– Na pewno, zresztą ono już sporo zrobiło m.in. w kwestii otwartości danych publicznych. Fajny jest też rządowy program GovTech, który na razie głównie eksperymentuje z tym, jak dobrze zamawiać usługi dla sektora publicznego. Moim zdaniem duży potencjał ma Główny Urząd Statystyczny. Statystyka publiczna powstała przecież po to, by można było badać społeczeństwo i podejmować decyzje na podstawie zebranych informacji. GUS mógłby zająć się danymi zbieranymi w różnych miejscach i wykorzystać je w dobrych celach.

Raport „AlgoPolska – zautomatyzowane podejmowanie decyzji w służbie społeczeństwu” przygotowany przez ekspertów Fundacji Centrum Cyfrowe i Klubu Jagiellońskiego jest dostępny pod adresem www.centrumcyfrowe.pl/algopolska-raport/