Algorytm lepiej wykrywa fake newsy niż człowiek
Opracowany na University of Michigan algorytm przewyższa ludzi w identyfikowaniu fałszywych informacji, tzw. fake news. Podczas testów algorytmu okazało się, że jest on w stanie wyłapać aż 76% fałszywych informacji. W przypadku ludzi efektywność wynosi 70%. Ponadto wykorzystywany przez algorytm mechanizm analizy lingwistycznej może zostać użyty do zidentyfikowania fake newsów nawet w przypadku, gdy są one zbyt świeże, by można było skonfrontować je z innymi źródłami.
Profesor Rada Mihalcea, która stworzyła wspomniany algorytm, mówi, że przyda się on na przykład witrynom, które są zalewane fałszywymi informacjami po to, by generować kliknięcia lub manipulować opinią publiczną.
Szczególną ważną rolę do odegrania mogą mieć w agregatorach treści, gdzie pracownicy takich witryn mogą nie być w stanie na czas wyłapać fałszywych informacji pobranych z innych witryn czy serwisów społecznościowych. Ponadto obecnie najczęściej weryfikuje się fake newsy poprzez ich skonfrontowanie z wieloma źródłami przez człowieka. To powolna metoda i zanim taka fałszywa informacja zostanie obnażona, wiele osób zdąży ją przeczytać, a do sprostowania większość z nich nigdy nie dotrze.
Analiza lingwistyczna, polegająca na wyłapywaniu charakterystycznych zwrotów, struktur gramatycznych, słownictwa czy interpunkcji, działa szybciej niż ludzie i może znaleźć znacznie szersze zastosowanie. Narzędzie tego typu może np. nadawać poszczególnym informacjom rangę, informując czytelnika o ich wiarygodności. Może też posłużyć do oznaczenia treści, którą następnie pracownicy serwisu czy agregatora muszą sprawdzić.
Profesor Mihalcea mówi, że obecnie istnieje sporo algorytmów służących analizie lingwistycznej. Problemem w opracowaniu wykrywacza fake newsów nie było zbudowanie algorytmu, ale znalezienie odpowiedniego zestawu danych, na których algorytm ten może być uczony.
Algorytm taki nie może być np. trenowany z użyciem treści satyrycznych, które często opowiadają nieprawdziwe historie, jednak w szczególny sposób, który nie jest przydatny do nauki wykrywania fake newsów.
Zespół Mihalcei stworzył więc własny zestaw fake newsów i przy pomocy dużej grupy ochotników dokonał czegoś na kształt inżynierii wstecznej, by przeanalizować, jak prawdziwa informacja może z czasem zostać przerobiona na typowy fake news. W ten bowiem sposób powstaje większość krążących po internecie fałszywych informacji.
Początkowo naukowcy zwrócili się do społeczności Amazon Mechanical Turk i znaleźli tam chętne osoby, które na pieniądze stworzyły z krótkich prawdziwych informacji ich fałszywe wersje, naśladując przy tym styl prawdziwych informacji. Uczeni zebrali 500 par takich prawdziwych i fałszywych informacji,; oznaczyli je odpowiednio i wykorzystali je podczas nauki algorytmu.
W końcu pobrali z internetu zestaw prawdziwych oraz fałszywych informacji i za jego pomocą je sprawdzali. Okazało się, że algorytm charakteryzuje się trafnością dochodzącą do 76 procent.
Komentarze (8)
wilk, 23 sierpnia 2018, 01:47
A co jeśli ten artykuł to fake news? ;-)
KONTO USUNIĘTE, 23 sierpnia 2018, 06:17
Kwestia wiarygodności dotychczasowego autorytetu: zaufania. To samo info podane np. w TVP, byłoby już podejrzane.
thikim, 23 sierpnia 2018, 10:50
Ludzie potrafią się przystosować
Zaczną kopiować normalne artykuły zmieniając jedno czy dwa słowa
Ksen, 23 sierpnia 2018, 11:14
A jaki był procent fałszywych wykryć w porównaniu z ludźmi?
Afordancja, 23 sierpnia 2018, 13:23
Wtedy część która porównuje z już istniejącymi danymi wykryje je jako fake newsy.
thikim, 23 sierpnia 2018, 15:53
No to powodzenia życzę. To już AI. A zapomniałem - AI jeszcze nie istnieje
Afordancja, 23 sierpnia 2018, 17:11
hm... nie bardzo rozumiem o co Ci chodzi. Machine learning już isnieje. Systemy do rozpoznawania plagiatów istnieją Która informacja w internecie szybciej się znalazła istnieje.
Czyli na moje, to jeżeli coś jest plagiatem, późniejszym, ale są jeżeli na przykład w jednym czasowniki są bez nie (na szybko wymyślam), a w drugim z nie. Prawdopodobieństwo fake newsa rośnie. Lub też zmienione są "Dwa trzy słowa" to też fake news. Tu nie trzeba wiele AI, zwykła "statystyka".
Nerexis, 28 sierpnia 2018, 10:57
Jestem ciekaw, jak sobie radzi z tzw. 'deep fakes'?