Conţinut
- Bias Beauty AI
- Biasul de gen în limbi
- 2. Discriminarea de gen și vârstă la locul de muncă
- Eșecul recunoașterii faciale
- Bias de recidivism
La pachet:
În ultimii ani, AI a fost tot mai mult adoptată și aplicată la toate, de la evaluarea frumuseții până la evaluarea riscului de recidivă. În acest sens, a acceptat, de asemenea, standarde care susțin părtinirea și discriminarea în mai multe cazuri.
Avansul tehnologiei are potențialul de a democratiza cu adevărat accesul la informații și oportunități. Cu toate acestea, atunci când, în unele cazuri, este utilizat în moduri care consolidează ideea că în societatea noastră unii oameni sunt mai egali decât alții.
Ceea ce am văzut din următoarele șapte cazuri în care inteligența artificială (AI) este folosită în mod deliberat pentru a exclude anumite categorii sau în care pur și simplu reflectă prejudecățile încorporate de programatorii săi umani cu efect discriminatoriu.
Bias Beauty AI
Frumusețea poate fi în ochiul privitorului, dar atunci când această viziune subiectivă poate programa AI, aveți părtinire în program. Rachel Thomas a raportat la un astfel de episod într-o competiție de frumusețe de la beauty.ai în 2016. Rezultatele au arătat că tenurile mai deschise au fost apreciate mai atractiv decât cele întunecate.
Anul următor, „FaceApp, care utilizează rețele neuronale pentru a crea filtre pentru fotografii, a creat un„ filtru de fierbinte ”care a luminat pielea oamenilor și le-a oferit mai multe caracteristici europene.”
Biasul de gen în limbi
Thomas citează, de asemenea, un exemplu documentat de traduceri care duc peste așteptările stereotipate ale carierei. Punctul de plecare este de două propoziții: "Ea este doctor. Este asistentă."
Dacă le traduceți în limba turcă și înapoi în engleză, veți obține felul de rezultate pe care le-ați fi așteptat de la un joc de telefon.
În loc să obțineți ceea ce ați început, veți primi un fel de așteptare din anii 1950, „El este doctor. Ea este asistentă”. Ea explică că se datorează pronumelui singular neutru de gen în limba turcă, care va atribui genul în funcție de așteptări și prejudecăți stereotipice. (Citește Femeile în AI: întărirea sexismului și a stereotipurilor cu tehnica.)
Deși filtrarea prejudecăților rasiale și de gen în imagini și limbaj sunt cauzatoare de vexare, acestea nu sunt tocmai același lucru cu discriminarea activă rezultată din IA, dar s-a întâmplat, de asemenea.
Dovada acesteia a fost o captură de ecran a limitărilor impuse pentru un anunț din categoria sa de locuințe, care a permis opțiunea de a restrânge audiența prin verificarea excluderilor de categorii precum afro-americanii, americanii asiatici sau hispanicii. Anunțul poate fi vizualizat aici.
Așa cum subliniază ProPublica, efectul discriminatoriu al unor astfel de anunțuri este ilegal atât în baza Legii privind locuința echitabilă din 1968, cât și în Legea drepturilor civile din 1964. Singura apărare în acest caz a fost că anunțul nu era pentru locuințe în sine, așa cum nu era ” despre o proprietate sau o casă de vânzare sau de închiriat.
Cu toate acestea, au existat și alte cazuri de direcționare care indică prejudecăți rasiale și care au motivat diverse entități să aducă acțiuni civile împotriva rețelei sociale. După cum a raportat Wired, a decis în sfârșit să își adapteze tehnologia de direcționare a anunțurilor ca urmare a soluționării a cinci cazuri legale care au acuzat-o că a permis discriminarea împotriva minorităților prin anunțuri în martie 2019.
În raportul său privind soluționarea, ACLU a subliniat cât de insidioase ar putea fi astfel de reclame vizate, întrucât minoritățile și femeile nici nu își dau seama că nu li se oferă același acces la informații, locuințe și oportunități de muncă care sunt împărtășite bărbaților albi.
Pe măsură ce mai multe persoane apelează la internet pentru a găsi locuri de muncă, apartamente și împrumuturi, există un risc real ca direcționarea publicitară să se reproducă și chiar să agraveze prejudecățile rasiale și de gen existente în societate. Imaginează-ți dacă un angajator alege să afișeze reclame pentru joburi de inginerie doar bărbaților - nu numai utilizatorii care nu sunt identificați ca bărbați nu vor vedea niciodată aceste reclame, dar nu vor ști niciodată ce le-a lipsit.
La urma urmei, rareori avem o modalitate de a identifica anunțurile pe care nu le vedem online. Faptul că această discriminare este invizibilă pentru utilizatorul exclus face mai dificilă oprirea.
2. Discriminarea de gen și vârstă la locul de muncă
Printre cazurile legale s-a numărat discriminarea ilegală în locuințe, vizată. În raportul său privind soluționarea, ProPublica a spus că a testat platforma și a reușit să achiziționeze „anunțuri legate de locuințe pe grupuri excluse, precum afro-americanii și evreii, iar anterior a găsit anunțuri de muncă care exclud utilizatorii în funcție de vârstă și sex plasate de companii care sunt nume de gospodărie. ”
O serie de anunțuri de locuri de muncă ACLU au descoperit că erau destinate în mod explicit numai bărbaților dintr-o anumită categorie de vârstă, deoarece utilizatorii au putut găsi când dau clic pe răspunsul la motivul pentru care li s-a arătat acel anunt specific, fiind prezentate într-un alt articol cu fir. ACLU a pus acțiunea în fața rețelei sociale și a companiilor care au plasat reclamele pe motivul că acestea încalcau atât legile privind munca, cât și drepturile civile.
Discriminarea împotriva angajării persoanelor de peste 40 de ani încalcă Legea federală privind discriminarea în vigoare (ADEA). Însă direcționarea anunțurilor de muncă numai către persoanele sub această vârstă este unul dintre lucrurile activate de platformă.
ProPublica a pus accentul pe unul dintre rapoartele sale care expunea ce reclame de locuri de muncă au valorificat această formă ilegală de excludere în funcție de vârstă. „Denumirile casnice” includ Verizon, UPS, Uber, Target, Statefarm, Northwestern Mutual, Microsoft, J Street, HusbSpot, IKEA, Fund For The Public Interest, Goldman Sach, OpenWorks și în sine, printre altele.
Eșecul recunoașterii faciale
„Recunoașterea facială este exactă, dacă ești un tip alb”, a declarat titlul unui articol din New York Times publicat în februarie 2018. Acesta a citat rezultate care au găsit o corelație distinctă între tonul pielii și identificarea defectuoasă:
„Cu cât pielea este mai întunecată, cu atât apar mai multe erori - până la aproape 35% pentru imaginile cu femei cu pielea mai închisă la culoare, potrivit unui nou studiu care rupe un teren nou prin măsurarea modului în care tehnologia funcționează la oameni de rase și genuri diferite."
Rezultatele sunt creditate lui Joy Buolamwini, cercetător la MIT Media Lab și fondator al Ligii Algoritmice a Justiției (AJL). Domeniul ei de cercetare îl constituie prejudecățile care stau la baza AI-ului, rezultând astfel de rezultate obișnuite atunci când vine vorba de recunoașterea fețelor care nu se potrivesc cu norma albă masculină setată pentru model.
Buolamwini a prezentat problema prejudecății rasiale și de gen pentru recunoașterea facială într-o discuție TED din 2017, la care s-a referit la începutul lui 2018 în videoclipul „The Gender Shades Project” din MIT Lab:
<
Descrisul din descrierea videoclipului este faptul că lăsând prejudecata AI de necontrolat, "va stârni vârsta automatizării și va agrava in continuare inegalitatea, dacă este lăsat la dispoziție". Riscurile nu sunt decât „pierderea câștigurilor realizate cu mișcarea drepturilor civile și mișcarea femeilor, sub falsa presupunere a neutralității mașinii”.
Descrierea videoclipului adaugă avertismentul pe care mulți alții l-au subliniat acum, așa cum am văzut în „Women in AI: Reinforcing Sexism and Stereotypes with Tech”: „Sistemele automatizate nu sunt în mod absolut neutre. Ele reflectă prioritățile, preferințele și prejudecățile - codificate privirea - a celor care au puterea de a modela inteligența artificială. "
Pe 25 ianuarie 2019, Buolamnwini a publicat o postare medie care se bazează pe propriile sale cercetări și pe cea a cercetătorilor suplimentari, care subliniază modul în care defectele AI determină erori în reîncărcarea Amazon și au cerut companiei să înceteze să vândă serviciul AI către departamentele de poliție.
În timp ce Rekognition se poate lăuda cu o precizie de 100% pentru recunoașterea bărbaților cu piele ușoară și cu o precizie de 98,7% chiar și pentru bărbații mai întunecați, când a fost vorba de femei, precizia a scăzut la 92,9% pentru femeile mai ușoare. Și mai clară a fost scăderea bruscă până la o precizie de doar 68,6% pentru femeile mai întunecate.
Dar Amazon a refuzat să recidiveze. Un articol Venture Beat a citat o declarație a Dr. Matt Wood, directorul general de învățare profundă și AI la AWS, în care a insistat că rezultatele cercetătorilor nu reflectau modul în care se utilizează efectiv AI-ul, explicând:
„Analiza facială și recunoașterea facială sunt complet diferite în ceea ce privește tehnologia de bază și datele utilizate pentru a le instrui. Încercarea de a folosi analiza facială pentru a măsura exactitatea recunoașterii faciale este necorespunzătoare, întrucât nu este algoritmul prevăzut pentru acest scop. "
Dar nu doar cei afiliați marilor centre de cercetare au considerat că algoritmii sunt foarte problematici. ACLU a efectuat propriul test la un cost rezonabil de 12,33 dolari, potrivit raportului Gizmodo. S-a constatat că Rekognition se potrivește cu 28 de membri ai Congresului cu fotografii cu infractorii.
"Identificările false au fost făcute atunci când ACLU din California de Nord a însărcinat Rekognition cu fotografii potrivite ale tuturor celor 535 de membri ai Congresului împotriva a 25.000 de fotografii disponibile public."
Întrucât 11 din cei 28 erau oameni de culoare, aceasta a reflectat o rată de eroare semnificativă de 39% pentru ei. În schimb, rata de eroare în ansamblu a fost mai acceptabilă cu 5%. Șase membri ai grupului Black Caucus din Congres, care s-au numărat printre cei care au fost recunoștinți legați de călduțe, și-au exprimat îngrijorarea într-o scrisoare deschisă către CEO-ul Amazon.
Bias de recidivism
Biasul încorporat în AI împotriva persoanelor de culoare devine o problemă mai gravă atunci când înseamnă mai mult decât o simplă eroare de identificare. Aceasta a fost constatarea unei alte investigații ProPublica în 2016. Consecințele unei astfel de prejudecăți nu sunt altceva decât libertatea individuală cuplată cu ignorarea riscului real al persoanei a cărei culoare a pielii este favorizată de algoritm.
Articolul se referea la două cazuri paralele care implică un făptuitor alb și unul negru. Un algoritm a fost folosit pentru a prezice care este probabil să încalce din nou legea. Cel negru a fost evaluat cu un risc ridicat, iar cel alb un risc scăzut.
Predicția a greșit-o complet, iar cel alb care s-a eliberat a trebuit din nou să fie închis. Acest lucru este extrem de problematic, deoarece instanțele de judecată se bazează pe punctaj pentru a decide cu privire la condițiile de libertate condiționată, iar asta înseamnă că prejudecățile rasiale incluse în program înseamnă un tratament inegal în condițiile legii.
ProPublica și-a pus algoritmul la test, comparând scorurile de risc de peste 7.000 de persoane care au fost arestate în județul Broward, Florida, în 2013 și 2014, cu numărul care a adus noi acuzații penale împotriva lor în următorii doi ani.
Ceea ce au descoperit a fost că doar 20% din predicțiile pentru repetarea infracțiunilor cu caracter violent s-au făcut adevărate, iar mai multe infracțiuni minore au avut loc doar pentru 61% dintre cei cu scoruri care indică risc.
Problema reală nu este doar lipsa de acuratețe, ci prejudecățile rasiale implicate:
- Formula a fost în special susceptibilă să-i semnalizeze pe inculpații negri ca viitori infractori, etichetându-i în mod greșit în acest fel cu aproape dublul ratei în calitate de inculpați albi.
- Pârâții albi au fost considerați greșit ca risc scăzut mai des decât inculpații negri.
De fapt, aceasta s-a tradus într-o rată de eroare de 45% pentru oameni de culoare și 24% pentru alb. În ciuda acelei statistici clare, Thomas a raportat că Curtea Supremă din Wisconsin a confirmat încă utilizarea acestui algoritm. Ea detaliază și alte probleme asociate cu algoritmii de recidivă.