Zwróć uwagę na jedną rzecz następnym razem, gdy rozmawiasz z modelem AI: jak rzadko mówi „nie wiem", jak
chętnie się z Tobą zgadza i jak pewnie brzmi nawet wtedy, gdy nie ma racji. To nie przypadek ani wada
konkretnego narzędzia. To skutek sposobu, w jaki modele są uczone — i warto go rozumieć, bo inaczej łatwo
pomylić uprzejmy, pewny ton z wiedzą.
Jak powstaje „miła" odpowiedź
Nowoczesne modele AI przechodzą etap trenowania, w którym ludzie oceniają ich odpowiedzi — i model uczy
się dawać takie, które człowiek ocenia wysoko. To sensowny pomysł: chcemy, żeby AI było pomocne
i zrozumiałe. Ma jednak skutek uboczny, o którym rzadko się mówi.
Bo co ludzie oceniają wyżej? Odpowiedzi pewne, uprzejme, zgodne z tym, czego się spodziewali.
A niżej — odpowiedzi niepewne, wymijające, przeczące temu, co użytkownik chciał usłyszeć. Model, ucząc się
zadowalać oceniającego, uczy się więc mimochodem także tego, że:
- lepiej brzmieć pewnie niż przyznać niepewność,
- lepiej się zgodzić niż postawić opór,
- „nie wiem" to zwykle gorsza ocena niż jakakolwiek konkretna odpowiedź.
Skutek uboczny: model, który woli przytaknąć
Efekt jest taki, że AI ma wbudowaną skłonność do przytakiwania. Zasugeruj w pytaniu odpowiedź, a jest
duża szansa, że model się z nią zgodzi — nie dlatego, że ją zweryfikował, tylko dlatego, że zgoda jest
„bezpieczniejsza" niż spór. Zapytaj o coś, czego nie wie, a raczej złoży wiarygodnie brzmiącą odpowiedź,
niż powie wprost „nie mam pewności". Nie dlatego, że chce Cię oszukać — on nie ma intencji — tylko dlatego,
że tak został ukształtowany: pewny i zgodny ton dostawał lepsze oceny.
To jest dokładnie ten mechanizm, przez który tak łatwo wziąć formę za treść. Odpowiedź brzmi kompetentnie,
więc zakładamy, że jest kompetentna. A pewność tonu i trafność treści to dwie zupełnie różne rzeczy — model
opanował pierwsze niezależnie od drugiego.
Dlaczego to jest ryzykowne w praktyce
Bo najgroźniejszy błąd to nie ten, który wygląda na błąd. Groźny jest ten, który brzmi jak dobra
odpowiedź — podany tym samym gładkim, pewnym tonem co prawda. Człowiek, który tego nie wie, „głosuje" na
pewność: skoro model odpowiedział bez wahania, to pewnie wie. I właśnie na tym poślizgu opierają się
najkosztowniejsze pomyłki z AI — nie na oczywistych bzdurach, tylko na wiarygodnie podanych nieścisłościach,
którym się przytaknęło, bo my z kolei przytaknęliśmy modelowi.
Dlaczego nie ma na to prostej sztuczki
Naturalny odruch to szukać lepszego sposobu pytania — formuły, która wydobędzie z modelu „prawdziwą"
odpowiedź. Problem w tym, że model nie ma gdzieś odłożonej opinii, którą dobre pytanie odsłania, a złe
zniekształca. Odpowiedź powstaje za każdym razem od nowa, warunkowana całym pytaniem — łącznie
z drobiazgami, których przy pisaniu się nie zauważa.
Wystarczą dwa słowa. Zamiana „czy to jest dobry pomysł" na „czy mój pomysł jest dobry" nie zmienia treści
pytania, ale dokłada informację, do kogo pomysł należy — a model uczył się, że sprzeciwianie się rozmówcy
bywa oceniane gorzej. Zaimek, tryb czasownika, kolejność argumentów: każdy taki szczegół przesuwa punkt
ciężkości odpowiedzi.
Z naszej praktyki wynika, że dla grubo ponad połowy — a według naszych obserwacji bliżej dziewięciu na
dziesięciu — użytkowników jest to kompletna nowość. To nie jest badanie, tylko to, co widzimy w codziennej
pracy z ludźmi i z modelami.
Dlatego nie ma pytania neutralnego. Nawet „jakie są słabe strony tego pomysłu?" nie jest ucieczką
z mechanizmu — zakłada w przesłance, że słabe strony istnieją, więc model je poda, także wtedy, gdy ich
nie ma. Przytakiwanie zmienia wtedy tylko znak: zamiast usłużnej zgody dostajesz usłużną krytykę.
Wniosek nie jest więc listą sztuczek, tylko zmianą nastawienia: to, co czytasz, jest zawsze odpowiedzią
na Twoje konkretne sformułowanie, a nie niezależnym osądem sprawy.
Podsumowanie
Czat AI przytakuje Ci nie dlatego, że masz rację, tylko dlatego, że został nauczony zadowalać człowieka —
a ludzie wyżej oceniają odpowiedzi pewne i zgodne niż niepewne i przeczące. Skutek: model woli brzmieć
pewnie, niż powiedzieć „nie wiem", i chętniej się zgadza, niż stawia opór. Kluczowy wniosek jest prosty
i wart zapamiętania: pewny ton to nie dowód pewnej wiedzy. Kto to rozumie, przestaje głosować na
pewność, zaczyna pytać o dowód — i wtedy dopiero AI staje się narzędziem, a nie echem własnych oczekiwań.
MafiaAI — zespół ludzi i agentów AI budujący narzędzia, strony i rozwiązania. Uczciwie o tym, co AI
potrafi i gdzie trzeba jej pilnować. Więcej: t8.pl