To kolejny tekst z cyklu Rzeczywistość jak antyutopia. 
* * *

W Dzienniku Internautów już regularnie opisujemy technologie nadzoru lub inwigilacji, które wyglądają jak wymysł autora jakiejś antyutopii. Dziś są one jeszcze ciekawostkami, ale lada dzień mogą być standardowymi narzędziami organów ścigania lub innych władz. Najgorsze są te nowinki, które podpowiadają władzy jakie działania można podjąć wobec obywatela. 

W Stanach Zjednoczonych stosuje się już algorytmy, które oceniają możliwość recydywy. Co najgorsze, te algorytmy mogą podpowiadać sędziemu przy wydawaniu wyroku. Jeśli "inteligentny" algorytm przewiduje u kogoś recydywę to wypada gagatka wsadzić na dłużej. Wygląda to bardzo nowocześnie, choć w istocie jest to przerażające odczłowieczenie wymiaru sprawiedliwości. 

Sąd wspomagany cyfrowo

O tego typu algorytmach pisał niedawno New York Times opisując przypadek Erica Loomisa. Człowiek ten został zatrzymany w roku 2013 w czasie gry prowadził pojazd używany w strzelaninie. Próbował wymknąć się policji, zresztą nie był to jego pierwszy konflikt z prawem. Sąd postanowił skazać go na 6 lat kierując się tym, że specjalny algorytm o nazwie "Compas" wskazał na wysokie ryzyko recydywy w przypadku Loomisa. 

Loomis odwołał się od wyroku i jego sprawie przyjrzy się sąd najwyższy stanu Wisconsin. Nic dziwnego, że ta sprawa wywołała dyskusję na temat różnych innych algorytmów na usługach organów ścigania. Te algorytmy mogą nie tylko przewidywać recydywę, ale także podpowiadać, które ulice należy patrolować, kto może być potencjalnym kryminalistą albo kto może sprawiać problemy w więzieniu. Korzystanie z takich narzędzi "szacowania ryzyka" nie jest niczym nowym w USA. Stan Virginia używał czegoś takiego już w roku 2005. 

Jak to ocenia? To tajemnica!

Wrócmy do przypadku Loomisa. Oceniał go program o nazwie Compas, o którym niestety niewiele wiadomo. Jest to zastrzeżone oprogramowanie firmy Northpointe Inc. Jak zwykle w takich przypadkach, producent  powołuje się na badania potwierdzające dokładność oprogramowania. Nie ujawnia się jednak szczegółów, bo algorytmy są tajemnicą handlową" skwapliwie chronioną przed konkurencją. Wiadomo, że Compas kieruje się przy swojej ocenie również takimi kryteriami jak płeć czy wiek, ale obywatele nie mogą wiedzieć jak duże jest znaczenie tych czynników przy ocenie.

Właśnie ta tajemniczość ma być punktem kluczowym w apelacji Loomisa. Mężczyzna uważa, że powinien mieć prawo do przyjrzenia się algorytmowi i podjęcia dyskusji z jego ustaleniami.

Fani nowych technologii powiedzą, że przecież algorytmy nie skazują. Decyzja zawsze należy do sędziego, który tylko wysłuchuje opinii "elektronicznego doradcy" i może się nią kierować lub nie. Z drugiej jednak strony jeśli ta opinia może wynikać ze zwykłych uprzedzeń, czy sędzia naprawdę powinien jej wysłuchiwać? 

Tylko bez rasizmu!

Podstawowym problemem jest w tej kwestii przejrzystość. Przykładowo w Pensylwanii zdecydowano się na opracowanie algorytmów pomagających sędziom, ale zrobiono to w sposób bardzo przejrzysty. Specjalna komisja miała wpływ na kryteria, jakie algorytm weźmie pod uwagę (wykluczono z nich rasę). Opublikowano dokumenty, które pozwalają zorientować się w sposobie "szacowania ryzyka". Planowane są działania, które mają uświadomić sędziom w jaki sposób należy interpretować wskazania algorytmu. 

To przejrzystsze podejście można łatwiej zaakceptować, ale i tak możemy mieć wątpliwości. Różne sytuacje życiowe trudno jest zamknąć w zestawie kwestionariuszy i odpowiedzi na wybrane pytania. Dane organów ścigania mogą być niepełne. Nawet przykład Pensylwanii pokazuje swojego rodzaju niekonsekwencje. Zrezygnowano z szacowania ryzyka na podstawie rasy bo to wygląda na dyskryminację. Tylko czy szacowanie na podstawie płci lub wieku nie rodzi dokładnie takiego samego ryzyka? Czy seksizm jest lepszy niż rasizm?

Coś źle wyglądasz...

Niedawno pisaliśmy o pewnym rozwiązaniu, które ocenia skłonność do terroryzmu na podstawie wyglądu twarzy. Kojarzy się to z XIX-wieczną pseudonauką, ale władze niektórych państw chcą wierzyć w taką magię. W przyszłości te różne rozwiązania mogą się łączyć i będziemy oceniani na każdym kroku na podstawie kartotek, wyglądu twarzy, różnych zdarzeń życiowych, odwiedzanych miejsc itd. Czy to będzie dotyczyło tylko skazanych i podejrzanych? Niekoniecznie, skoro wszystko zmierza ku traktowaniu wszystkich z góry jako podejrzanych. 

Dodatkowo na "ocenę ryzyka" mogą wpływać różne chwilowe okoliczności. Pisaliśmy kiedyś o człowieku, który znalazł się na celowniku służb z powodu... zakupienia szybkowaru. Nikt dziś nie pamięta dlaczego szybkowar kojarzył się z zamachem, ale w pewnym szczególnym okresie kupno tego urządzenia mogło wydać się podejrzane. 

Czytaj: Więcej o profilowaniu w DI