Trgovački lanac Sainsbury’s privremeno je obustavio upotrebu sustava za prepoznavanje lica u jednoj svojoj trgovini nakon što je kupac pogrešno označen kao kradljivac i izbačen iz trgovine.
Optuženi 46-godišnji Matt Arnold je za Guradian izjavio da mu je bilo neugodno te da se osjećao prilično poniženo i bespomoćno.
Arnold, inače organizator komičarskih nastupa, kupovao je potrepštine za stand-up događaj u nogometnom klubu Dulwich Hamlet u Sainsbury’sovoj trgovini u East Dulwichu, na jugoistoku Londona. Nakon što je skenirao proizvode i karticu vjernosti Nectar, prišla su mu dvojica voditelja i rekla da ga ne mogu poslužiti zbog ranijeg incidenta. Zatražili su da napusti trgovinu i pokušali ga ispratiti.
Slijepo slušanje stroja
Na izlasku je na nadzornom monitoru iznad sebe vidio upozorenje s crvenim krugom oko svoga lica. Zamolio je zaposlenike da kupljene proizvode ostave u kolicima kako bi ih njegov prijatelj mogao preuzeti za večernji nastup koji je uskoro trebao početi u susjedstvu.
„Mislim da ih je taj zahtjev prilično zbunio, što je razumljivo, ali pristali su. Moj kolega Dave ušao je oko pet minuta poslije, platio i preuzeo robu. Zaposlenici se ni u jednom trenutku nisu zapitali zašto bi se kradljivac tako ponašao. Samo su slijepo poslušali naredbu stroja.“
Uprava Sainsbury’sa ispričala se Arnoldu sljedećeg dana i obustavila upotrebu Facewatchove tehnologije u toj trgovini do završetka istrage. Arnold smatra da bi sustav trebalo isključiti u svim poslovnicama, a zabrinjava ga i razmjer u kojem se umjetna inteligencija primjenjuje u društvu.
„Svatko može biti lažno optužen, a u nekom će trenutku to biti ranjiva osoba ili netko tko ima problema s mentalnim zdravljem, primjerice s anksioznošću. To je neizbježno“, rekao je.
Upozorio je i na posljedice koje bi takvo iskustvo moglo imati na mlađu osobu ili nekoga tko se ne može ili ne želi zauzeti za sebe kao što je to učinio on.
Isti sustav već pogrešno označavao kupce
Britanski trgovački lanac koristi tehnologiju prepoznavanja lica kako bi otkrio kradljivce i druge počinitelje kaznenih djela. Iz kompanije tvrde da je svrha sustava zaštititi zaposlenike od zlostavljanja i napada, no tehnologija je već prouzročila niz problema.
U rujnu prošle godine Warren Rajah izbačen je iz Sainsbury’sove trgovine u londonskoj četvrti Elephant and Castle nakon što ga je isti Facewatchov softver pogrešno identificirao. Slični slučajevi zabilježeni su u trgovinama lanaca Home Bargains i B&M.
Sainsbury’s je obustavio nadzor u trgovini u kojoj se incident dogodio, ali Arnold upozorava da je riječ o centraliziranom sustavu i pita zašto se njegova upotreba ne obustavi u svim poslovnicama.
„Ako mogući problem postoji u East Dulwichu, bilo da je riječ o samoj umjetnoj inteligenciji ili načinu njezine primjene, onda postoji i u svim drugim trgovinama.“
Arnold kaže da ga zabrinjava sve veća primjena umjetne inteligencije u društvu.
„Ne sviđa mi se kultura nadzora, ali razumijem da je on katkad potreban. Ono što nije potrebno jest dopustiti strojevima da donose odluke, a zatim očekivati od ljudi da ih bez razmišljanja izvršavaju.“
Kompanije odgovornost pripisuju zaposlenicima
Sainsbury’s tvrdi da tehnologija nije pogriješila. „Kontaktirali smo s gospodinom Arnoldom i ispričali mu se zbog iskustva u našoj trgovini u Dulwichu. Incident je prouzročen ljudskom pogreškom, a ne tehnologijom prepoznavanja lica“, izjavio je glasnogovornik kompanije.
Iz Sainsbury’sa navode da Facewatchov sustav ima stopu točnosti od 99,98 posto te da svaku podudarnost provjerava posebno osposobljen voditelj. I Facewatch tvrdi da njegova tehnologija nije odgovorna za incident.
Pročitajte još:
„Trgovcu je poslano ispravno upozorenje, ali je zatim došlo do ljudske pogreške u načinu na koji je ono obrađeno u trgovini“, priopćila je kompanija.
Privremeno isključivanje sustava u toj poslovnici opisali su kao mjeru opreza kojom se želi spriječiti slanje novih upozorenja dok zaposlenici ne prođu dodatnu obuku.
