Trzy różne rzeczy: przyjąć poradę, mieć rację i być pewnym

Wynik eksperymentu układa się w pozorny paradoks. Uczestnicy chętniej zmieniali odpowiedź, gdy poradę opisano jako pochodzącą od algorytmu. Po zakończeniu zadania byli też bardziej pewni swojego rozwiązania. Ich odpowiedzi częściej okazywały się jednak błędne niż wtedy, gdy tę samą rolę odgrywała porada przypisana innym ludziom.

Te trzy obserwacje dotyczą różnych rzeczy. Przyjęcie porady oznaczało tutaj zmianę pierwszej odpowiedzi po zapoznaniu się z sugestią. Trafność mówiła, czy końcowe rozwiązanie było poprawne. Pewność siebie była oceną uczestnika, jak bardzo wierzy w swoją odpowiedź.

Zmiana odpowiedzi może pomóc, gdy pierwsze rozwiązanie było błędne i sugestia prowadzi do właściwego wyniku. Może też zaszkodzić, gdy uczestnik porzuca poprawną odpowiedź pod wpływem złej porady. Z kolei wysoka pewność siebie opisuje przekonanie o jakości rozwiązania, a nie jego rzeczywistą poprawność. Badanie rozdzieliło te miary, dzięki czemu pokazało, że większa skłonność do przyjęcia rekomendacji nie musi oznaczać lepszego wyniku.

Jak sprawdzono wpływ etykiety źródła porady

Eksperyment opisano w artykule „Human preferences toward algorithmic advice in a word association task”, opublikowanym w Scientific Reports. W prerejestrowanym badaniu online wzięły udział 154 osoby z USA zrekrutowane przez Amazon Mechanical Turk. Analiza objęła 2772 obserwacje odpowiedzi.

Uczestnicy rozwiązywali zadania Remote Associates Test, czyli testu zdalnych skojarzeń. W każdym zadaniu otrzymywali trzy słowa i mieli znaleźć czwarte, które łączy się z każdym z nich. Przykładowy zestaw Base, Room i Bowling prowadzi do słowa BALL, ponieważ można mówić o baseballu, ballroomie i bowling ball.

Pojedyncza próba przebiegała etapami. Najpierw uczestnik podawał własną odpowiedź i oceniał pewność, że jest ona poprawna. Następnie otrzymywał poradę. Mógł przy niej pozostać albo zmienić swoje rozwiązanie, po czym ponownie oceniał pewność siebie.

Kluczową zmienną było opisane źródło porady. Jednej grupie mówiono, że widzi wynik algorytmu wytrenowanego do rozwiązywania podobnych zadań. Drugiej przedstawiano poradę jako konsensus innych osób, które wykonywały to zadanie. Każdy uczestnik pozostawał w jednym z tych warunków przez całe badanie.

Same porady przygotowali badacze. Uczestnikom nie przedstawiano odpowiedzi wygenerowanych przez realny system, którego wcześniejszą skuteczność mogliby ocenić. Eksperyment izolował więc wpływ etykiety źródła i oczekiwań związanych z tą etykietą.

Algorytm skuteczniej skłaniał do zmiany odpowiedzi

Porada opisana jako algorytmiczna częściej prowadziła do rewizji pierwszego rozwiązania. Uczestnicy zmieniali odpowiedź w 31% z 2772 obserwacji. W warunku porady przypisanej innym ludziom robili to w 18% przypadków. Różnica wyniosła około 13 punktów procentowych.

W modelu mieszanym, który uwzględniał powtarzanie wielu prób przez tych samych uczestników, iloraz szans zmiany odpowiedzi dla porady opisanej jako algorytmiczna wyniósł 1,923 względem porady społecznej. Efekt utrzymał się po uwzględnieniu trudności zadania, jakości porady, poprawności pierwszej odpowiedzi, początkowej pewności oraz czasu odpowiedzi.

Porady nie były jednakowe. W połowie przypadków podawały prawidłowe rozwiązanie. W pozostałych wskazywały odpowiedź pasującą do dwóch z trzech słów, lecz nie do wszystkich. Zadania miały trudność od średniej do bardzo wysokiej, a sugestie pojawiały się w trzech formatach: jako bezpośrednia podpowiedź, informacja probabilistyczna albo możliwość kupienia porady za 0,10 USD.

Zmienność tych elementów pozwalała sprawdzić, czy większa skłonność do zmiany ogranicza się do jednego sposobu prezentowania sugestii. W analizie utrzymywała się niezależnie od formatu, trudności i jakości porady. Nie oznacza to, że wszystkie próby były identycznymi sytuacjami decyzyjnymi. Zakup porady wprowadzał dodatkowy element motywacyjny, a różne poziomy trudności zmieniały wymagania stawiane uczestnikom.

Większa uległość nie przyniosła lepszych odpowiedzi

Sama możliwość skorzystania z porady pomagała. Odsetek poprawnych odpowiedzi wzrósł z 65% przed poradą do 72,3% po poradzie. Różnica między źródłami sugestii pokazała jednak, że częstsze przyjmowanie rady opisanej jako algorytmiczna nie dawało lepszego rezultatu.

Po poradzie opisanej jako algorytmiczna poprawnych było 66,54% odpowiedzi. Po poradzie społecznej odsetek ten wyniósł 79,66%. Różnica sięgała około 13,12 punktu procentowego na niekorzyść warunku algorytmicznego.

Badacze sprawdzili także same przypadki, w których uczestnik zmienił odpowiedź. W tej grupie poprawność wynosiła 35,4% po poradzie opisanej jako algorytmiczna i 48,4% po społecznej. Gdy uwzględniono wyłącznie osoby, które początkowo odpowiedziały błędnie, a następnie zmieniły rozwiązanie, właściwą odpowiedź uzyskiwano odpowiednio w 39,7% i 54,5% przypadków.

Ten dodatkowy podział pokazuje, że różnicy nie da się wyjaśnić wyłącznie częstszym porzucaniem poprawnych odpowiedzi przez osoby otrzymujące poradę opisaną jako algorytmiczna. Nawet wśród uczestników, którzy mieli początkowo błędne rozwiązanie, zmiana częściej prowadziła do poprawnej odpowiedzi po poradzie przypisanej innym ludziom.

Dlaczego pewność siebie rosła mimo gorszej trafności

Uczestnicy, którym poradę opisano jako algorytmiczną, deklarowali po jej otrzymaniu większą końcową pewność siebie niż osoby z warunku społecznego. Porównanie uwzględniało ich początkową pewność, więc wynik nie wynikał po prostu z tego, że jedna grupa od początku bardziej wierzyła w swoje odpowiedzi.

Na samoocenę wpływały trzy elementy: źródło porady, jej jakość oraz współdziałanie tych czynników. Dobra sugestia zwiększała pewność bardziej niż zła. Etykieta algorytmiczna podnosiła ją jednak także wtedy, gdy porada była niskiej jakości. W tym warunku błędna sugestia mogła więc wzmacniać przekonanie o końcowym rozwiązaniu, mimo że rozwiązanie częściej było niepoprawne.

Autorzy opisują ten układ jako potencjalny przejaw automatyzacyjnego uprzedzenia. Termin ten oznacza skłonność do nadmiernego polegania na rekomendacji automatycznego systemu, także wtedy, gdy człowiek mógłby ją krytycznie sprawdzić. W tym eksperymencie jest to interpretacja wzorca wyników, a nie bezpośrednio zmierzony mechanizm psychologiczny.

Losowy przydział do warunku algorytmicznego lub społecznego pozwala przypisać etykiecie źródła przyczynowy wpływ na zachowanie w tym zadaniu. Eksperyment nie rozstrzyga, dlaczego etykieta działała. Mogła zwiększać wiarę w kompetencje maszyn, sugerować większą obiektywność, nadawać poradzie technologiczny autorytet albo zmniejszać skłonność do samodzielnej kontroli. Badanie nie mierzyło tych możliwości osobno.

Co z tego wynika dla systemów człowiek–algorytm

Wynik ma znaczenie dla sposobu myślenia o kontroli człowieka nad systemem. Sam fakt, że użytkownik może zaakceptować albo odrzucić rekomendację, nie gwarantuje skutecznej kontroli. Jeżeli sugestia oznaczona jako algorytmiczna łatwiej skłania do zmiany odpowiedzi, a zarazem zwiększa pewność końcowego rozwiązania, człowiek może formalnie pozostawać w pętli decyzyjnej i jednocześnie słabiej sprawdzać otrzymaną wskazówkę.

Eksperyment nie porównywał konkretnych sposobów ograniczania tego efektu. Nie wiadomo więc, czy pomogłyby ostrzeżenia, informacje o niepewności, wymaganie uzasadnienia decyzji, prezentowanie alternatywnych odpowiedzi albo trening użytkowników. Są to kierunki dalszych badań, a nie rozwiązania przetestowane w opisanym doświadczeniu.

Projektanci systemów człowiek–algorytm muszą rozdzielić dwa cele: ułatwienie korzystania z dobrej rekomendacji i zachowanie zdolności do wykrywania złej. Pytanie pozostaje otwarte: jak budować interfejsy, które wspierają krytyczną ocenę porady, zamiast wzmacniać samo posłuszeństwo wobec etykiety technologicznego źródła?

Granice wyniku: zadanie skojarzeniowe to nie decyzja wysokiej stawki

Zakres wniosku wyznacza przede wszystkim charakter próby i zadania. W eksperymencie uczestniczyły 154 osoby z USA rekrutowane przez Mechanical Turk. Rozwiązywały krótkie zadania wymagające myślenia konwergencyjnego, czyli znalezienia jednego rozwiązania spełniającego określone kryteria. Nie badano lekarzy, pilotów, analityków, menedżerów ani osób podejmujących decyzje o wysokiej stawce.

Eksperyment dotyczył postrzeganego źródła porady. Uczestnicy nie współpracowali przez dłuższy czas z konkretnym algorytmem, którego jakość mogliby poznać na podstawie wcześniejszych sukcesów i błędów. Porady przygotowali badacze, a informacja o ich pochodzeniu była częścią manipulacji eksperymentalnej.

Badanie mierzyło zmianę odpowiedzi, trafność oraz samoocenę pewności. Nie mierzyło bezpośrednio zrozumienia porady, deklarowanego zaufania, kalibracji pewności ani wpływu wyjaśnień, ostrzeżeń i audytu rekomendacji. Dlatego nie można wskazać jednego rozstrzygniętego mechanizmu psychologicznego stojącego za zaobserwowanym efektem.

Wynik pokazuje, że w tym zadaniu etykieta algorytmicznego źródła zwiększała skłonność do zmiany odpowiedzi i końcową pewność, choć obniżała trafność względem porady przypisanej innym ludziom. Nie dowodzi, że użytkownicy zawsze bardziej ufają wszystkim systemom AI. Nie pozwala też stwierdzić, że identyczny efekt wystąpi przy generatywnych modelach językowych ani w medycynie, prawie czy pracy zawodowej. Takie zastosowania wymagają osobnych badań, uwzględniających konsekwencje błędów, doświadczenie użytkowników i sposób przedstawiania niepewności.