Sztuczny rekruter Amazona dyskryminował kobiety
Jak dowiedzieli się reporterzy Reutersa, Amazon stworzył algorytm sztucznej inteligencji, który miał pomóc w rekrutacji pracowników. Narzędzie zostało jednak porzucone gdy okazało się, że... dyskryminuje kobiety.
W 2014 roku w Amazonie powstał specjalny zespół, którego zadaniem było zbudowanie automatycznego asystenta biorącego udział w rekrutacji. Chcieli, by to działało w ten sposób, że dajesz mu do analizy 100 życiorysów, on wybiera 5 najlepszych i tych ludzi się zatrudnia, mówi osoba zaznajomiona ze sprawą. Narzędzie miało przyznawać każdemu z kandydatów od 1 do 5 gwiazdek i na tej podstawie wskazywać osobie prowadzącej rekrutację, na kogo warto zwrócić uwagę.
Amazon stworzył 500 modeli komputerowych, które przeanalizowały CV znajdujące się w bazie danych firmy i wybrały z nich 50 000 kluczowych terminów. W 2015 roku narzędzie było gotowe. Miało ono przeczesywać sieć w poszukiwaniu odpowiednich kandydatów. Okazało się jednak, że SI najwyraźniej nie lubi kobiet. Stało się tak prawdopodobnie dlatego, że było trenowane na CV kandydatów do Amazona z ostatnich 10 lat. A o pracę starli się tam głównie mężczyźni. Sztuczna inteligencja doszła więc do wniosku, że to mężczyźni są preferowani i przyznawała mniej punktów tym CV, w których pojawiały się takie słowa jak "women's" (np. w stwierdzeniu women's chess club capitan), odfiltrowywała też kandydatki, które ukończyły dwie żeńskie szkoły.
Inżynierowie Amazona naprawili te problemy, jednak postanowiono nie wdrażać narzędzia w obawie, że istnieją jeszcze inne elementy, które powodują, że przyznaje ono mniej punktów kobietom.
Amazon twierdzi, że narzędzie nigdy nie zostało wdrożone. Nieudana próba pokazuje jednak, jak niedoskonała jest sztuczna inteligencja. To tym większy problem, że coraz więcej firm chce automatyzować część procesu rekrutacji. W 2017 roku przeprowadzono badania, z których wynika, że 55% amerykańskich menedżerów HR uważa, iż w ciągu najbliższych pięciu lat SI będzie standardowo wykorzystywane w ich pracy.
Ze zdobytych przez Reutersa informacji wynika, że Amazon powołał nowy zespół, który tym razem ma stworzyć narzędzie wspomagające rekrutację pod kątem osiągnięcia jak największej różnorodności wśród kandydatów.
Komentarze (30)
Przemek Kobel, 11 października 2018, 13:07
To znaczy, że tych nieróżnorodnych będą odstrzeliwać? (w końcu to jeszcze kandydaci, a nie pracownicy)
A tak w ogóle to tyle lat zastanawiano się, jak pokonać wszechmocne korporacje, a tu bach - będą niszczyć się same.
wilk, 11 października 2018, 14:50
Gdzie tu sens, gdzie logika? A nie, zapomniałem, że to wirusowe zlewaczczenie zachodu. Wnioski są wyłącznie jednoznaczne — winni są ci ohydni zbyt inteligentni i ambitni mężczyźni. Koniecznym jest natychmiastowe wprowadzenie rozwiązań z „Harrisona Bergerona”.
Oj, Mariuszu…
Tak jest, parytety dla karłów i rudych. Zawsze o tym mówię.
thikim, 11 października 2018, 15:23
Ja patrzyłem dalej w przyszłość i uważam że powinien być parytet na stanowiskach profesorskich i dla tych co nie ukończyli podstawówki
A pracodawca powinien zatrudniać połowę pracowników pracowitych a połowę leniwych.
Nie można dyskryminować leniwych i głupich.
Złodzieje i bandyci nie powinni być dyskryminowani w pracach w agencjach ochroniarskich czy w Policji.
No i pedofile nie powinni być dyskryminowani w dostępie do dzieci.
A teraz czekam która z poprawności wzbudzi największe kontrowersje
BTW. Przypomina mi się wywiad z uczestnikiem marszu równości, coś ala (piszę z pamięci):
po co tu jesteś?
chcę obniżenia wieku od którego można seks uprawiać.
chcesz ru... 12-stolatki?
Tak.
LOL
mankomaniak, 11 października 2018, 15:38
Dopóki (a) to firma prywatna i (b) nie ma to związku z przepisami prawa, to mogą sobie odstrzeliwać kogo pragną. Mogą zatrudniać więcej pedofili, bo potrafią rozmawiać z dziećmi i je przyciągać, cokolwiek, ich sprawa. Jeśli państwo się wtrynia, to już problem, wtedy władzę trzeba zmienić.
Przemek Kobel, 11 października 2018, 18:06
Ja nie lubię robić łopatą, ale tym razem będzie wyjątek:
KANDYDAT to osoba, która zobaczyła ogłoszenie o pracę i złożyła papiery jako ktoś zainteresowany ofertą. Jakim niby sposobem doprowadzić do parytetu w tej grupie? Bo jeśli okaże się, że do pracy przy rozładunku węgla było 30 chętnych facetów i pięć kobiet, to jeszcze można zorganizować szwadron i 25 seksistów posłać w niebyt. Będzie 5 kobiet i 5 podludzi. Ale jeśli zgłosi się 30 facetów i ani jednej niewiasty? To już nawet odstrzał nie pomoże. Może przymusowa terapia hormonalna. Hm...
mankomaniak, 11 października 2018, 18:27
Ale o co ci chodzi? O jakim ty parytecie mówisz, skoro firma prywatna nie chce facetów? Będziesz kazał mi jeść codziennie 2-3 jabłka, bo to np. optymalny parytet wg naukowców, chociaż ja nie chcę jeść jabłek?
Afordancja, 12 października 2018, 06:40
ale o czym w ogóle tutaj rozmowa? O odstrzeliwaniu i celowym zwiększaniu różnorodności przy przyjmowaniu i o parytetach to zapewne wasza i dziennikarska fantazja.
Źle dobrano próbkę uczącą, być może modele, na skutek tego model przyjął, że kobiety nie są pożądane a to ewidentnie błędne podejście, bo na pewno nie o to chodziło bo przyjdzie powiedzmy twarda kobieta specjalista i zostanie zdyskwalifikowana za to, że jest kobietą, no słabe.
Tutaj przerysowana analogia.
Zapewne chodzi aby uwzględnić różnorodność w danych wejściowych, aby nie wychodziły na wyjściu bzdury w postaci "kobieta -> odpada"
wilk, 13 października 2018, 03:54
O, taka metodologia badań jest intrygująca. Trzeba dobierać próbkę tak długo, aż uzyskamy oczekiwane rezultaty.
Próbka nie została dobrana źle. Po prostu kobiety tak jak i unikają kierunków STEM, tak samo nie kwapią się, jak widać, do stanowisk w Amazonie lub zwyczajnie kandydatki były słabsze. Zauważ, że algorytm analizował CV (przyjęte i odrzucone). Czyli co, to jednak nie algorytm był błędny, a HR mizoginiczne?
Tutaj chyba też trzeba by dobierać inne próbki (och wait, przecież to statystyka!):
https://www.theguardian.com/us-news/2018/oct/11/washington-state-supreme-court-strikes-down-death-penalty
To jest właśnie goniące własny ogon lewicowe podejście naginające rzeczywistość tak, aby odpowiadała ideologii.
KONTO USUNIĘTE, 13 października 2018, 21:50
Jak się nie widzi sensu i logiki, to po co te przytyki do ruchów postępowych?
Trenowała SI na facetach? No to wdrukowała sobie, że preferowanym hobby musi być piłka nożna, MMA czy wyścigi po Słowacji, ulubionym napojem piwko a w danych antropometrycznych kobietom wychodził anormalny
stosunek obwodu klatki piersiowej do talii.
Typowe : niedowidzi, niedosłyszy ale bzdurkę napisać musi.
ex nihilo, 13 października 2018, 23:52
Czyli... no tego... prawica jest niej zideologizowana i mniej nagina rzeczywistość do ideologii? Jaja sobie robisz, aboco?
Coby jasność była: wszelkie ideologie, -izmy i inne takie mam... no dokładnie w tym samym miejscu.
Ergo Sum, 14 października 2018, 01:02
To nie program był wadliwy tylko chory nakaz jakiś parytetów jest wadliwy
wilk, 14 października 2018, 04:06
A widzisz, sęk w tym, że właśnie nie tylko. Po prostu kobiety stanowiły mniejszość. Niestety nie podali procentów, w źródle jest „most”. Nazwijmy to — błędem, było to, że nie obrobili tych danych przed nakarmieniem nimi AI. Zakładam, że „płeć” nie była jawnie podana, więc fuzzy-logic sobie wybrało optymalne kryteria. Akurat język angielski jest szczególnie neutralny płciowo, więc mogli skorygować pozostałe określenia w CV. Niemniej na czymś i tak musi się AI skupić, więc jak myślisz? Zapewne wówczas zacznie „dyskryminować” wybrane uczelnie, kierunki lub poprzednich pracodawców. I co teraz? Ktoś nie goni własnego ogona?
Nie sposób tak nazwać ideologię, która tworzy problemy, by bohatersko z nimi walczyć.
Nic nie pisałem o prawicy. W kwestii zrównywania niezrównywalnego ponad wszelką logikę i korzyści prym wiedzie wspomniana ze stron.
Odetnijmy się jednak faktycznie od ideologii, by nie robić offtopu. Niepotrzebnie ją do tego wmieszałem. Zdanie na ten temat mam jasne, uznajmy jednak neutralnie, że mamy inną ocenę sytuacji. (to AI zostało zdyskryminowane za zbyt dobre robienie tego, co miało robić :>)
mankomaniak, 14 października 2018, 11:40
Jak nie była, jak była? Chyba wyraźnie jest w artykule napisane
Więc co to za brednie.
Oczywiście to ma sens: zła uczelnia -> odrzucamy, dobra uczelnia -> przyjmujemy. I stąd logiczny wniosek: kobieta -> odrzucamy. Facet -> przyjmujemy.
wilk, 15 października 2018, 03:03
No nie była. W artykule nie widzę informacji, aby w CV było podane, że to a to należy do kobiety. AI wywnioskowała sobie „coś” na podstawie pojawiających się słów. W tym przypadku na podstawie jednego słowa przed terminem „klub szachowy”. Władze Amazonu doszły zaś do wniosku, że owe „coś” jest dyskryminacją. Jestem dość przekonany, że w podobny sposób potraktowani mogli zostać mężczyźni, którzy wpisali iż chodzą na aerobik i są mistrzami w dzierganiu. Podobnież kandydaci mogliby pisać, że są „glutaminian sodu chess club captain”. Efekt byłby ten sam, ale afery by nie było.
Nie ma żadnej informacji jakoby AI posiłkowało się zewnętrznymi rankingami uczelni. Tabula rasa nie wie co to dobra/zła uczelnia. W podobny sposób j.w.
Może prościej: AI nie stało się dyskryminującym rasistowskim Skynetem, a jedynie ujednoliciło preferencje zatrudnieniowe na dane stanowiska w tej firmie. Hint: statystyka. Ta sama, która okazała się rasistowska, bo jedna z ras ma statystyczną skłonność popełniać najcięższe przestępstwa. Która? Odpowiem jak Tadeusz Sznuk: nie wiem, choć się domyślam.
ex nihilo, 15 października 2018, 03:49
Różne rodzaje dyskryminacji były i są faktem. Niektóre mogą być obiektywnie uzasadnione (w sensie "słuszne/usprawiedliwone/...") przyczyny, inne nie - np. wynikają z uprzedzeń, ideologii itp. pierdół. Jest - chyba całkiem sensowna - tendencja do likwidacji dyskryminacji z powodu uprzedzeń, ideologii, i też takich, które może kiedyś miały obiektywne uzasadnienie, ale teraz je straciły.
Nic dziwnego w tej sytuacji, że układ szuka nowego położenia równowagi odchylając się w różne strony. "Lewica" działa w tym przypadku jak czynik przyspieszający, "prawica" hamujący. To socjofizyka, o której wspominał tu parę dni temu Jarek.
No tu jest pytanie, czy faktycznie jest to zależne od cech razowych, czy może od jakichś zewnętrznych w stosunku do rasy warunków - np. istniejącej przez wiele pokoleń dyskryminacji.
Edycja: "rasowych" oczywiście miało być, a nie "razowych".
wilk, 15 października 2018, 04:48
Jeśli je utraciły i stały się przesądem, to jak najbardziej tak. Oczywiście nie można uznawać tego układu jako trwale stabilnego i od wyznaczonej chwili wymuszać w przyszłość absolutny zakaz wszelkiego podważania pod straszakiem rychłej kary. Niektóre przyczyny wynikały z ciemnych zaułków ewolucji społeczeństw, dominacji pewnych ideologii, inne z historycznych konfliktów, a jeszcze inne z nastrojów — obaw, niechęci lub agresji. Problem w tym, że wypuszczanie walca i zrównywanie wszystkiego dla niektórych jest narzędziem do osiągania konkretnych egoistycznych celów, czasem kolokwialnie mówiąc — głupich, a walec jest elastyczny, by pasował do światopoglądu naszego, a nie walcowanych, a przy okazji omijał wybrane wyjątki. Gorzej, gdy walec jest używany zamiast koparki lub spychacza, jako lewar, by przeforsować coś zupełnie innego zastraszając nierozwalcowanymi jeszcze wybojami.
Statystyki nie obchodzi rasa, nie jest rasistowska (a może jest…). Fakt jest faktem, powód jest irrelewantny (tak samo pracodawcy nie obchodzi, że chciałeś iść na Harvard, ale nie udało się i poszedłeś na zwykłą stanówkę, faktem może być jednak to, że ukończyłeś ją na najlepszej lokacie). Tutaj zaś użyto walca anty-dyskryminacji jako lewara, spychacza, by usunąć z góry upatrzoną pewną przeszkodę (kara śmierci jest be), ale z której problem w ogóle nie wynikał. Kierowców tego walca nie obchodził faktyczny problem, a przeszkoda.
Gorzej, gdy bieg do przodu jest biegiem na oślep ku przepaści. Zresztą samo określenie co jest postępowe, a co hamulcowe jest wybitnie nacechowane ideologicznie. Istotna jest rozwaga, a nie populistyczne podchwytywanie mody, która często bywa upodobaniami mniejszości.
mankomaniak, 15 października 2018, 10:08
Jak nie była jak była. Pośrednio to wynika, dla AI nie trzeba formalnego nazewnictwa. W kobiecych zawodach szachowych mogły brać teoretycznie udział też osoby trans-płciowe, transseksualiści, którzy czuli się kobietami. Zamiast przyznać się do błędu, brniesz w swój fanatyzm.
Nie zrozumiałeś mojej uwagi. Miałem na myśli to, że o ile ukończenie dobrej uczelni może stanowić obiektywny sygnał, żeby kogoś przyjąć, o tyle generalizowanie tego na płeć jest totalną bzdurą. Przeszłość danej osoby ma wpływ na jej przyszłość (a więc też wykonywanie pracy), natomiast fakt, że w przeszłości było niewiele kobiet na danym stanowisku, nie oznacza przecież ich brak w przyszłości będzie pogarszać efektywność firmy.
Oczywiście można tak jak ty ze swoim fanatyzmem kontynuować trend firmy bez kobiet, tylko że to jest tak jakby się chciało kupować tylko akcje danej firmy, bo przez ostatnie 10 lat jej kurs tylko rósł, a więc się zakłada, że tak będzie dalej. Niestety w ten sposób wielu topi majątek.
KONTO USUNIĘTE, 15 października 2018, 10:17
O tak
, to już da się ocenić a priori. Pamiętam
, że wspólnota pierwotna też mocno oponowała przeciwko wszelkim zmianom ustrojowym. Mamy demokracji nie ulepszać, czy mamy cofnąć się znów do jakiegoś autorytaryzmu?
OK.Kończę OT
Jeszcze tylko:
To już manipulacja: nie o upodobania mniejszości przecież chodzi, tylko o niedyskryminowanie mniejszości.
MrVocabulary (WhizzKid), 15 października 2018, 19:18
Na podstawie tego, co przeczytałem, sądzę, że ten rekruter jednak działał źle. Jeśli było mało kobiet zatrudnionych względem mężczyzn, i zaczął powiązywać tę dysproporcję z byciem kobietą, to zapewne problemem jest to, że odrzucał też te kobiety, które były lepsze od przynajmniej części zatrudnionych mężczyzn.
KONTO USUNIĘTE, 15 października 2018, 19:44
A propos, miło Mr Vocabulary widzieć.
MrVocabulary (WhizzKid), 15 października 2018, 19:53
Dzięki – niestety, życiowy galimatias zamienił mnie z uczestnika w podglądacza forumowych debat
I ja się cieszę, że nie uległeś denominacji
wilk, 16 października 2018, 00:44
Cały czas wysnuwasz błędne wnioski na podstawie tego, jak ludzie nadają znaczenie słowom. AI nie została poinformowana o płci, nie wie czym jest płeć, rasa itd. Koniec i kropka. Przyjęła założenie, iż termin „woman's” pojawiał się najczęściej u odrzucanych kandydatów, zatem jest on w jakiś sposób niepożądany i przypasowała mu niski lub negatywny współczynnik, który powodował spadek oceny całego CV. To absolutnie nie znaczy, że dyskryminuje kobiety, a wyłącznie oznacza, że uznaje takich kandydatów za mniej adekwatnych, bo tak robili ludzie (statystycznie). Zresztą skoro AI zostało wytrenowane na danej próbce, to stosowało się do takiego właśnie wzorca (człowiekowi trudno byłoby wyciągnąć wnioski z tysięcy CV, dla maszyny to ułamki sekund). A to, że dla ludzie widzą w tym dyskryminację, to trzeba zastanowić się gdzie leży ich problem. Za dużo naoglądaliście się Hollywoodzkich SF. ;-)
Tak, pisałem o tym przecież w aluzji o szydełkowaniu. Ale co to zmienia, skoro takie osoby okazywały się statystycznie gorsze i odpadały? Czy firma musi zacząć zatrudniać kapitanów klubów szachowych za ich sekretne talenty czy ogólną ocenę pożytku dla firmy? Mój fanatyzm kazał pozdrowić Twój fanatyzm.
Ty za to nie rozumiesz z tego co tu zaszło ni w ząb. Dla AI NIE ma czegoś takiego jak płeć. AI operowało na leksemach, na zależnościach między nimi. Gdybyś zadał temu AI, by rozdzieliło kandydatów według płci, to by tego nie zrobiło, bo nie w tym celu zostało stworzone. Zostało stworzone, by podzielić na tych, co się nadają i tych co się nie nadają.
Tak, dla człowieka. I tak też na podstawie historycznych ewaluacji dokonało AI.
Brednie. Zaprzestań pomówień. „A o pracę starli się tam głównie mężczyźni.” — dysproporcja wynika wyłącznie z decyzji kobiet, nie rekruterów.
Nieadekwatne, bez związku z tym o czym traktuje artykuł. Podobnie jak o AI, nie masz pojęcia o giełdzie.
Niedyskryminowanie — jak najbardziej, to raczej oczywiste. Forsowanie każdych zachcianek, by się przypodobać lub pod naciskiem „walca” — absolutnie nie.
Dokładnie tak, ale nie do końca. Tak samo jak szydełkujących mężczyzn. Widocznie odkrył pewne zależności, które powodują pieczenie pewnej części ciała przez niektórych. Samo pojęcie „lepszości” w tym przypadku jest trochę niewłaściwe, bo to właśnie lepszość jest informacją wyjściową, wnioskiem. Natomiast jak widzę wszyscy rozmówcy tutaj zakładają, że lepszość jest jedną z informacji na wejściu. Algorytm opierał się na uśrednionych trendach zatrudnień wyznaczonych przez ludzi. Rozwiązania tego sztucznego „problemu” są banalne: czarne listy, sztuczne przydzielanie wag czy używanie tylko dodatnich współczynników, co też dokona nowy wspaniały zespół, by na wyjściu nie wychodziła „lepszość”, a „różnorodność”.
Edit: To, że dokonałem edycji posta po godzinie i dopisałem «„A o pracę starli się tam głównie mężczyźni.” — dysproporcja wynika wyłącznie z decyzji kobiet, nie rekruterów.» ktoś o progresywnych poglądach także może uznać za dyskryminacją. Przepraszam, zachowałem się jak szowinistyczny, ksenofobiczny, rasistowski, mizoginiczny administrator.
mankomaniak, 16 października 2018, 08:03
Niczego nie przyjęła, po prostu tak było dotychczas.
Z logiką na bakier. Już sam fakt, że portal, którego jesteś administratorem nazwał artykuł "Sztuczny rekruter Amazona dyskryminował kobiety", a ty twierdzisz, że wcale nie dyskryminował. Zapewne za chwilę zmienisz tytuł, żeby nie wyszło jak bardzo się w swoich poglądach mylisz.
Wszyscy dobrze rozumiemy, że AI nie ma emocji, nie jest seksistowskie, nie kieruje się ideologią prawicową itp. i nie musisz tych oczywizów tłumaczyć jak dzieciom. To z czym mamy tutaj do czynienia to jest po prostu rodzaj analizy dyskryminacyjnej, bardzo często stosowanej w finansach, gdzie odrzuca się, czyli dyskryminuje, firmy czy klientów, którzy nie spełniają określonych kryteriów. Jeśli np. klientem banku będzie matka wychowująca samotnie dziecko, to może być to jeden z negatywnych czynników przy przyznawaniu kredytu, bo ma mniejsze źródło finansów. I jest to zupełnie obiektywne, bo wytłumaczalne. Widać, że ty nawet nie słyszałeś o tym specjalistycznym przecież terminie, skoro mieszasz potoczne rozumienie dyskryminacji z formalną metodą odrzucania elementów zbiorów. Dodatkową przesłanką, że mam rację, będzie twoje pytanie "Gdzie tu sens, gdzie logika? " o sformułowanie, że algorytm dyskryminuje kobiety.
Ni w ząb ty nie rozumiesz o czym mowa. Ja tylko zacytowałem twoje słowa:
Nie mówię więc, że AI coś generalizuje, tylko że ty generalizuesz. Stwierdziłem, że o ile uczelnia jest obiektywnym sygnałem dla pracodawcy, o tyle z płcią już tak nie jest. To dlatego niektóre czynniki należy pozostawić, bo są obiektywnie zrozumiałe, a niektóre można cenzurować, jeśli nie mają żadnych logicznych podstaw. Czyli to człowiek musi nadać znaczenie danemu czynnikowi, czy rzeczywiście jest istotny. Dlatego twoje uogólnianie jest z góry błędne i wynika z dwóch możliwych przyczyn:
a) ideologicznych. Przesłanką będzie tu np. zdanie: "wirusowe zlewaczczenie zachodu. Wnioski są wyłącznie jednoznaczne — winni są ci ohydni zbyt inteligentni i ambitni mężczyźni ".
b) nierozumienie, że działanie na danej próbie z przeszłości może obciążać wynik, jeśli się je stosuje do danych w przyszłości (kandydatki mogą się poprawić, tak jak giełda może się zmienić). Formalnie chodzi tu więc o podział badania na in-sample i out-of-sample, a także data snooping bias. Dla ciebie to są rzeczy obce, a robisz z siebie eksperta w tej dziedzinie.
Afordancja, 16 października 2018, 11:11
Jesne, z tą uwagą, że celem algorytmu nie jest dobieranie popularności kwapienia się, a to osiągnięto.
Czy uważasz, że dowolna kobieta, startująca tam, jeżeli jest kobietą (bo tak wychodzi z algorytmu) powinna być skreślona, bo jest kobietą?
To zwykły błąd predykcji/klasyfikacji w zasadzie.
I nie chodzi o to aby w wynikach częściej wypadały kobiety, tylko aby jeżeli byłby by lepsze to powinny wypaść.
Dorabiacie filozofię do zwykłych błędów