Mark Šuilenburg, profesor digitalnog nadzora na Univerzitetu Erazmus, ušao je u Teslu, a zatim uneo adresu restorana, gde su planirali da večeraju te večeri, u Waze navigacionu aplikaciju. Rastojanje je bilo više od dvadeset kilometara, a nekoliko ruta je bilo označeno zelenom bojom. Na putu je bilo tiho. Odabrao je najkraći, najbrži i najlogičniji put, ali pre nego što je krenuo, na ekranu se pojavila poruka koja mu je sugerisala da krene drugim putem, najdužim, jer bi bilo sigurnije da ne vozi kroz određeni kraj grada. Prema aplikaciji, to je bilo „područje visokog rizika“. Vremenska razlika bi bila jedanaest minuta. Odlučio je da ipak posluša savet.
Prema Šuilenburgu, Waze je primer tehnologije koja suptilno usmerava naše ponašanje u određenom pravcu uz pomoć veštačke inteligencije (VI) i algoritama. Neki krajevi grada su označeni crvenom bojom, na osnovu podataka korisnika i policije. Zatim se vozite oko takvog dela grada, čak i ako to znači da ćete na odredište stići kasnije nego što biste želeli. Iskušenje objekta – zelenih ‘sigurnih’ oblasti naspram ‘opasnih’ crvenih – postaje jače od želje subjekta – da stigne negde na vreme.
Šuilenburg ove psihološke stimuluse koji utiču na naše ponašanje i usmeravaju naše emocije naziva „algoritamska psihomoć“. U istu kategoriju, na primer, on svrstava tehnologiju koja je korišćena da se Stratumseind, poznata i prometna ulica zabave u Ajndhovenu, održava bezbednom. Tamo su vršeni eksperimenti sa širenjem mirisa pomorandže, za koji se pokazalo da ima umirujuće dejstvo, pa bi stoga mogao povećati nivo bezbednosti i smanjiti agresiju – kako uopšte, tako i veoma lokalno i u „realnom vremenu“, npr. kada senzori negde uhvate mnogo vike pa se miris ciljano širi.
Ove vrste tehnika se takođe koriste na fudbalskim stadionima. Pametni mikrofoni koji vise u blizini fanatičnih pristalica snimaju napeve i analiziraju ih. Kada se pojave rasistički slogani, pozitivne poruke se automatski prikazuju na bilbordima kako bi se uticalo na atmosferu na stadionu – što se naziva i „detekcija raspoloženja“.
Ovo je drugačije od “muve” u pisoaru
„Mentalno vođenje i uticaj postaju sve važniji za tehnološke kompanije, posebno u oblasti bezbednosti i zdravlja. Mora se voditi ne samo telo, već i psiha, um. Ovo se zaista razlikuje od «klasičnog vođenja» – npr. « muve » koja podstiče muškarce da ne uriniraju pored, već u pisaor – jer se radi sa ogromnom količinom podataka i može se kontinuirano personalizovati. Prilikom detekcije povećanja brzine, svi vozači se upozoravaju da voze sporije, dok psihomoć može biti skrojena po meri, na primer, kroz mikro-ciljanje, ili tako što se korisnicima Fejsbuka prikazuju određene poruke koje se ne pojavljuju na vremenskoj liniji drugih, ili u drugom obliku. Ili sa aplikacijom kao što je Waze.“
Waze stavljate u istu kategoriju kao Apple Watch i Amazonovo digitalno zvono na vratima
„Takvu vrstu proizvoda nazivam luksuznim nadzorom. Danas ljudi žele da nadgledaju sebe i spremni su da plate za to. To je zanimljivo. Na nadzor se uvek gledalo kao na nešto što dolazi od države. Odatle potiču sve distopijske priče – Kina, Orvel. Sa luksuznim nadzorom vidite da ljudi plaćaju veliku sumu novca da bi dobrovoljno nadgledali sebe. To ilustruje prelazak sa moć disciplinovanja na psihomoć.“
Moć disciplinovanja poznajemo od francuskog filozofa Mišela Fukoa. Za Fukoa, nadzor je bio utkan u arhitekturu, na primer u školama i zatvorima, ili u nešto poput rasporeda. Takođe, nadzor je bio fizički: telo je “trenirano”i disciplinovano da bi bilo poslušno i produktivno. Tokom 1990-ih, nadzor je postao umrežen. Kamere na ulici su povezane jedna sa drugom i kontrola je stoga svuda. Sada, u trećoj fazi, kamere za nadzor su opremljene VI i algoritmima, kao što je tehnologija automatskog prepoznavanja lica. Više nas ne posmatraju samo policija i velike kompanije, već je i samo po sebi razumljivo da stalno nadziremo sami sebe, posebno u oblasti zdravlja, na primer preko Apple Watch, ali i u oblasti bezbednosti, sa pametnim zvonom na vratima i Teslinim sistemom kamera. Stoga se sve više pretvaramo iz skupa mišića u skup podataka. Apple Watch i dalje disciplinuje, ali pomera fokus sa tela na um.
Šta nam takav razvoj događaja govori?
„Taj nadzor je upotrebljiv. Ti podaci su postali dragoceni. Takođe je postao mekši, u smislu da ga često više ne prepoznajemo kao nadzor. I to je stvar normalizacije. Nadzor je postao sastavni deo naših života, a to će se samo povećavati.”
„Vidite da nadzor pomoću veštačke inteligencije i algoritama više ne koristi samo policija, već iznad toga – organizacije kao što je Europol, ispod toga – kada građani patroliraju u komšiluku i koriste aplikacije kao što su Veiligebuurt ili Citizen, a pored toga – tehnološke kompanije, kao što su Amazon i Gugl, koje sve više olakšavaju brigu o bezbednosti tako što razvijaju pametne uređaje sa ugrađenim kamerama, mikrofonima i opremom za praćenje.”
Šuilenburg je karijeru započeo u Državnom tužilaštvu, gde je radio šest godina i pripremao se za tužioca. Tada je prešao u akademsku zajednicu. Želeo je da čita više, da više istražuje, da ide dublje. Nakon više od deset godina rada na Vrije Universiteit, već nekoliko godina je specijalni profesor na Univerzitetu Erazmus.
Njegovu poziciju jedan dan u nedelji finansira nezavisna istraživačka organizacija TNO, koja, između ostalog, razvija alate za policiju. To čine na osnovu ideje da oni, kao organizacija, imaju mnogo tehničke ekspertize, ali manje etičke i pravne ekspertize, dok su takva znanja takođe neraskidivo povezana sa razvojem tehnologije.
I upravo o tome govori Schuilenburgova nova knjiga, Učiniti nadzor javnim: Zašto bi trebalo da budete više svesni veštačke inteligencije i algoritama.
On veruje da, zbog toga što se tehnologija još uvek prečesto dizajnira i primenjuje iz ‘tehnološko-ekonomske’ perspektive, javne vrednosti kao što su privatnost, nediskriminacija, transparentnost i preuzimanje odgovornosti gube u odnosu na vrednosti kao što su bezbednost i efikasnost. Kada se kasnije ispostavi da je nešto pošlo naopako u dizajnu, kao na primer sa aplikacijom Waze, pozivaju se pravnici. Ali tada je već kasno.
Možete li da objasnite šta podrazumevate pod „obelodanjivanjem nadzora“?
„Ovaj koncept se sastoji iz tri elementa. Prvi je da se pokaže šta je to nadzor. Mnogi ljudi ne prepoznaju Apple Watch, Fitbit i Amazonovo zvono na vratima kao nadzor. Stalno ste pod nadzorom, ali ljudi to ne doživljavaju tako.”
Koliko je to loše?
„Dalje dolazite do drugog aspekta iznošenja nadzora u javnost, a to je da moramo shvatiti da se nadzor ne odnosi samo na vodeće vrednosti, kao što su bezbednost i efikasnost, vrednosti koje potpadaju pod dominantnu tehnološko-ekonomsku viziju. Tu su i usidrene javno-pravne vrednosti, kao što su nediskriminacija i privatnost. I vrednosti procesa, kao što su transparentnost i odgovornost. Uvek postoji bitka između ove tri vrednosti– vodećih, usidrenih i zasnovanih na procesu – u kojoj usidrene vrednosti i vrednosti zasnovane na procesu često gube.”
Šta je posledica zanemarivanja tih vrednosti?
„Nešto poput Allowance Affair, na primer, gde je sistem odlučivanja sadržao algoritam koji se samoučio a koji se fokusirao na ugrožena naselja, samohrane majke, ljude određene nacionalnosti. Naravno, diskriminatorska strana veštačke inteligencije i algoritama je takođe u velikoj meri prisutna i u aplikaciji Waze. Značajno je da se slična aplikacija ranije zvala ‘Ghetto Tracker’. Ovo ilustruje kako se takva tehnologija gradi na političkim i ekonomskim strukturama u kojima je rasizam duboko ukorenjen. Rasizam i teritorijalna stigmatizacija ponovo ulaze u društvo kroz zadnja vrata preko tehnoloških alata – preko nevidljivih podataka i algoritama. To je oblik nasilja nad podacima, algoracizam, koji u isto vreme retko prepoznajemo kao ‘nasilje’ i kriminalizujemo.”
„Ali odgovornost takođe često izostaje. Kao država, morate biti odgovorni za to zašto i kako koristite određene alate VI. To u ovom trenutku često nije moguće, dok je javna odgovornost zaista suštinska karakteristika države.”
„A to će samo postajati teže kada VI u određenoj meri počne da donosi sopstvene odluke. U tom pogledu ovo vreme je potpuno drugačije od vremena Maksa Vebera, sa klasičnom birokratijom sa pravilima i zakonima u kojima se – u principu – sudi bez poštovanja ličnosti. Onda ste kao vlast mogli jasno da kažete: vidite, ovo pravilo se primenjuje na ovaj način. Sa VI alatima, odgovornost se više ne može dodeliti jednoj tački. To se odvija najmanje na tri nivoa: tokom prikupljanja podataka, kada je nejasno, na primer, kako su podaci dobijeni, tokom obrade podataka putem algoritama, kada može biti nejasno kako takav algoritam funkcioniše, i na kraju na izlazu, kada se donese odluka. Da li je čovek umešan u to ili ne? I da li on može da odstupi od tehnološke procene ili automatski sledi sistem? ”
Zar je toliko teško izbeći takav tehnološki sud?
„Često sam o tome razgovarao sa sudijama. Kažu: to je oruđe, savet, svakako mogu da odstupim. Ali znamo od Fukoa i Vebera da vas birokratija, norme i pravila disciplinuju. Možete jednom da odstupite, ali ako to dovede do toga da pacijent sa TBS dobije odsustvo i uradi nešto loše, to ne radite drugi put. Pored toga, primamljivo je prepustiti se tehnologiji. Onda možete kriviti sistem kada nešto krene naopako, kao što se desilo sa Benefits Affair.”
„Zato je, a time dolazite do trećeg stuba javnog nadzora, toliko važno da diskusija o veštačkoj inteligenciji i algoritmima ne dođe na poslednjem mestu, već da bude u prvom planu, pre nego što se prikupe podaci ili naprave alati. U tom slučaju možete bukvalno okupiti publiku oko stvaranja nove tehnologije. Ovde se radi o širenju izvan samo te ‘kodirajuće elite’: bele, heteroseksualne muške grupe koja donosi sve odluke u vezi sa razvojem alata i nije dovoljno svesna njihove moći i javnih vrednosti kao što su privatnost, odgovornost i nediskriminacija.”
„Na primer, možete okupiti etičare, advokate i ljude sa terena. Ovo može čak ići toliko daleko da uključuje prirodu, jer VI nadzor dovodi do ogromnih emisija CO2 i troši mnogo energije. Ali takođe se radi o prikupljanju drugih oblika znanja koji se često ne mogu kodifikovati ili uhvatiti u bitovima i bajtovima. Američki sociolog Džejms Skot ovo znanje naziva mētis, što se odnosi na lokalno i kontekstualno iskustveno znanje koje je često neuhvatljivo, kao što je farmer koji zna kada je vreme za žetvu ili policajac koji oseća da se negde nešto dešava.”
„Ideja je da pustite tu publiku i te različite vrste znanja da razmisle i odmere od samog početka. Jer kada tehnologija bude tu, ništa se neće promeniti. Osnovne odluke se donose u preliminarnoj fazi. Dakle, morate biti tamo.”
Schuilenburg je u Savetodavnom komitetu za policijsku etiku. Dva puta godišnje sa drugim naučnicima razgovara o brojnim aktuelnim dešavanjima u policiji koja dovode do etičkih pitanja i dilema, ili do pitanja kojih bi oni trebalo da budu svesni. Primer: U današnje vreme, poremećaji često počinju na mreži. Koliko policija ima ovlašćenja da to nadgleda? Kroz ovakve vrste pitanja i razmišljanja članovi Komiteta daju savete rukovodstvu Nacionalne policije.
Prema Šuilenburgu – on naglašeno pokušava da ostane neutralan – policija pokušava da postanu sve prijemčivija za ova pitanja. Ali čak i unutar policije, i dalje se uglavnom radi o bezbednosti, a manji značaj pridaje se vrednostima kao što su privatnost i odgovornost. Policijski posao ne svodi se samo na otkrivanje zločina, već i na poverenje i legitimnost njihovih postupaka, koji su narušeni kada se koristi tehnologija koja je sama po sebi diskriminatorna, kaže Šuilenburg.
Bilo je mnogo kritika povodom pristupa 'prediktivne policije'
„To je bila dominantna priča u policiji dugo vremena: predviđanje gde će se zločin desiti. Holandija je bila prva zemlja u svetu koja je taj sistem uvela na nacionalnom nivou, u kome su se vodilo računa o pitanjima kao što je nediskriminacija, u svakom slučaju mnogo više nego u Americi, gde te sisteme ne razvija sama policija, već ih kupuju se od velikih tehnoloških kompanija, poput Palantira.”
„U Holandiji se uglavnom radi o predviđanju gde će zločin biti počinjen, dok se u Čikagu, na primer, radilo i o tome ko će to učiniti i ko će postati žrtva. Takve tehnologije su u velikoj meri popularizovali filmovi, kao što je Minority Report, i sama policija, koja je tvrdila da može da spreči 40 odsto provala u kuće.”
„Zanimljivo je da gotovo nema empirijskih dokaza da takvo predviđanje funkcioniše. Trenutno postoji pet do šest dobrih studija koje su nekoliko puta pokazale da ne postoji uzročno-posledična veza između tih „sistema predviđanja“ i smanjenja stope kriminala. Tako u Holandiji, ali i u drugim zemljama, vidite da se policija sve više udaljava od tog koncepta, i sve više se fokusira na algoritme koji gledaju unazad, ili ostaju ovde i sada. Ovo posebno vidite u EncroChat slučaju, u kojem policija ima milione poruka. Pošto je sve i svako pod nadzorom, i policija se našla u situaciji da raspolaže sa toliko podataka da gledanje ne unapred, već unazad postaje sve važnije i interesantnije.”
„Ovo izaziva preokret: u prošlosti je prvo postojala sumnja, a zatim je usledio nadzor. Sada je prvo prismotra pa tek onda sledi sumnja. Radi se o promeni paradigme. Sa ustavne perspektive, ovo dovodi do mnogih novih pitanja. Pravna realnost trenutno nije prilagođena ovakvom načinu prikupljanja i obrade podataka. To je zaista rupa u zakonu, jer nije jasno po kom osnovu policija može prikupljati, obrađivati i koristiti podatke za nove istrage. Nedavno je tehnologija prepoznavanja lica bila u vestima. Policija trenutno sama odlučuje kada i kako će ih koristiti, ali zakonska osnova za to nedostaje ili je nejasna.”
U svojoj knjizi oslikavate kriminologiju kao naučnu disciplinu koja kao da se nije zaista pokrenula u pravcu digitalizacije i koja zaostaje za realnošću u smislu istraživanja. Kako je to moguće?
„Kriminologija se tradicionalno fokusirala na ljude. Kao rezultat toga, ne postoji dovoljna svest o tome kako će sama veštačka inteligencija dovesti do potpuno novih oblika kriminala. Kriminal je naglo opao u svim oblastima od 2001. Izuzetak je sajber kriminal. Logično, društvo se digitalizuje, a i kriminal. Sada već možete videti pojavu njegovog naslednika: VI kriminala. VI kriminal se suštinski razlikuje od sajber kriminala. Ranije je hakovanje zahtevalo opsežno tehničko znanje. Za zločin sa veštačkom inteligencijom, jednostavno zamolite besplatne chat botove kao što je ChatGPT da napišu kod za prevarantske imejlove u kojima se od ljudi traži da doniraju novac.”
„Pored toga, domet je mnogo veći, jer su čitavi sektori zavisni od veštačke inteligencije. Na primer, samovozeći automobili već voze u San Francisku. Možete zamisliti da ako se hakuje centralni sistem veštačke inteligencije, sa njim mogu biti počinjeni teroristički napadi. Zapravo je pitanje trenutka kada će se ovako nešto dogoditi.”
Kako gledate na brz razvoj VI? Da li ovo treba prekinuti? Ili, pre svega, voditi u pravom smeru?
„Ovo drugo. Postoji određeni „inovacioni realizam“, odnosno ideja da je tehnološka inovacija neizbežna. Ima i dobrih aspekata u tome, ali uvek pokušavam da jasno stavim do znanja da ponekad možete dovesti u pitanje implementaciju određenih novih tehnologija. Sada to ne radimo dovoljno. Dok ponekad to uopšte nije potrebno. Dobar primer je Outlet centar u Roermondu, koji je morao da pronađe način kako da se nosi sa sve većom krađom iz prodavnica. Zbog toga je odlučeno da algoritmi skeniraju puteve oko Roermonda. Kada su automobili u prolazu imali istočnoevropske registarske tablice, postojala je velika šansa da će biti zaustavljeni.“
„Tada se opredeljujete za takozvano tehnološko rešenje, za koje već unapred znate da je u suprotnosti sa mnogim javnim vrednostima. A u isto vreme, ne obraćate dovoljno pažnje na činjenicu da analogno rešenje – tri čuvara u centru – može biti lakše, jeftinije, efikasnije i manje neetično od uvođenja nove tehnologije za koju niko tačno ne zna kako radi. Osnovni stav koji preovladava je da je tehnologija neutralna i da može da funkcioniše kao rešenje za skoro svaki društveni problem – što je Morozov nazvao „solucionizmom“.
„Ista stvar se dešava i na blagajni u supermarketima. Tehnologija se prvo koristi kao rešenje – u ovom slučaju da se uštedi na blagajni i samim tim poveća profit – ali u praksi se čini da ovo dovodi do većeg broja zloupotreba. Rešenje nije u tome da se ukloni samostalna blagajna, već da tehnologija mora postati još prodornija, na primer, instaliranjem više kamera za prepoznavanje lica.“
Ljudima je potreban i društveni kontakt
„Na primer, želite da vidite policiju na ulici, jer želite da možete da razgovarate sa njima i da od njih zatražite objašnjenje. Istraživanja takođe pokazuju da većina ljudi ovo smatra važnijim od efikasne borbe protiv kriminala i povećanja bezbednosti. Kada policija postane nevidljiva, društveni legitimitet se dovodi u pitanje.“
„Digitalizacija i VI zapravo smanjuju društvenu koheziju. Na nižem nivou to vidite, na primer, kada instalirate digitalno zvono na vratima, koje naravno nije zvono, već kamera za nadzor, baš kao što je Tesla postao kamera za nadzor vožnje. Na ovaj način delegirate odgovornost da se brinete jedni o drugima na tehnologiju. Pri tome, znamo da su mehanizmi društvene kontrole važni u borbi protiv nesigurnosti. To je ironično: tehnološke kompanije tvrde da ovim kamerama možete sprečiti provale u kuće, na primer, ali za to uopšte nema dokaza. Kao da to više nije ni važno.“
Ponekad se javlja prilično distopijski osećaj. Kuda to vodi?
„Nisam zainteresovan za distopijske slike. Nadzor je uvek predstavljen u scenarijima nalik naučnoj fantastici, u negativnom i pozitivnom smislu. Smatram da to odvlači pažnju. Ono što sam želeo da pokažem u svojoj knjizi je da se to već dešava. Već je ovde, samo što nije široko rasprostranjeno. I to će se dodatno povećati zbog normalizacije i napredovanja tehnološkog razvoja, ali ne moramo da govorimo o dalekim scenarijima, jer su efekti već tu. Sada! Samo što mi to ne vidimo.“
Autor: Tom Grosfeld
Izvor: Vrij Nederland >>
Pročitajte više: M. Schuilenburg (2024), Making surveillance public. Why you should be more woke about AI and algorithms, The Hague: Eleven 2024