Czego nie powiedziała mi atrapa: czat profilu na prawdziwym modelu

Czat na tej stronie odpowiada na pytania o moją pracę. Jedynym źródłem jest mój profil: zamknięta lista twierdzeń o mojej karierze, z których każde ma za sobą dosłowny cytat z moich case studies. Jedyna twarda zasada brzmi: żadnych faktów spoza profilu. Kod, testy i pomiary pisały agenty AI. Ja ustalałem architekturę, reguły i progi jakości oraz decydowałem, co trafia na produkcję. Ten wpis opisuje, co się stało, kiedy czat spotkał prawdziwy model zamiast atrapy.

Wszystkie testy zielone, 40% odpowiedzi zepsutych

Pierwsza wersja dzieliła pracę między trzy role AI. Jedna rozpoznaje rodzaj pytania i wskazuje, która część profilu jest ważna. Mocny model pisze odpowiedź. Szybszy i tańszy model ją sprawdza. Testowaliśmy to na atrapie modelu z gotowymi odpowiedziami i wszystkie testy przechodziły.

Na prawdziwym modelu czat pozostał bezpieczny. Nie podał ani jednego faktu spoza profilu, trzymał wszystkie granice, które ustaliłem, a tam, gdzie trzeba, mówił „nie wiem”. Mimo to mniej więcej 40% odpowiedzi wpadało w tryb awaryjny: gdy odpowiedź nie przechodzi kontroli, czat pokazuje zamiast niej pasujące cytaty z profilu, żeby nie powiedzieć niczego bez pokrycia. Typowe pytanie trwało około 11 sekund.

Pętla kosztowała więcej niż model

Pojedyncze wywołanie mocnego modelu trwało około 2,5 sekundy. Czas szedł na pętlę: napisz, sprawdź, przepisz. Model sprawdzający widział mniej kontekstu niż piszący, więc odrzucał prawdziwe zdania, np. „5,5 roku w ING”, jako niepotwierdzone, a każde odrzucenie oznaczało pisanie całej odpowiedzi od nowa. W 11 z 16 zmierzonych pytań odpowiedź powstawała dwa razy.

Później wyszła druga przyczyna. W 12 z 40 wywołań model ignorował wymagany format odpowiedzi albo pisał długie listy, które się urywały. Atrapa zawsze zwracała krótkie, poprawne odpowiedzi, więc żaden z tych problemów nie mógł się pojawić w testach.

Cztery decyzje

Mierzyć tylko tam, gdzie czat działa. Jakość, czas i koszt mierzymy wyłącznie na maszynie produkcyjnej, nigdy na laptopie. Każda runda to 30 pytań po angielsku i po polsku, każde płatne uruchomienie ma limit wydatków, a każdy eksperyment kończy się spisaną decyzją. Kompromis: przygotowanie rundy trwa dłużej, a sama runda kosztuje około 0,7 USD.

Ustalić format odpowiedzi. Sztywne limity długości i struktury, pilnowane w kodzie i sprawdzane na żywym modelu przed każdym pomiarem. Kompromis: krótsze odpowiedzi, więc szerokie pytania dostają streszczenie.

Zdjąć model sprawdzający ze ścieżki użytkownika. Gdy ktoś czeka na odpowiedź, każde zdanie sprawdzają stałe reguły: nazwy i twierdzenia muszą zgadzać się z profilem. To działa, bo profil jest zamkniętą listą. Sędzia AI nadal czyta odpowiedzi, ale dopiero w rundach pomiarowych. Kompromis: reguły są surowsze niż model, więc od czasu do czasu odpada poprawne zdanie.

Pokazywać zdania, gdy tylko przejdą reguły. Kompromis: mniej więcej co czwarte pytanie nadal wymaga rundy poprawki, a takie odpowiedzi, podobnie jak odpowiedzi na pytania hipotetyczne, przychodzą w całości.

Co to zmieniło

Ustalenie formatu zmniejszyło udział odpowiedzi awaryjnych z około 40% do 7%. Zdjęcie modelu sprawdzającego ze ścieżki obniżyło go do 3%. Wśród odpowiedzi na pytania o moje doświadczenie udział ocenionych przez sędziego AI jako sensowne wzrósł z 55% do 96%. Po włączeniu strumieniowania ustabilizował się na około 91%. Ten spadek przyjęliśmy w zamian za wcześniejsze pierwsze zdanie, a kolejne rundy go śledzą. Typowa pełna odpowiedź trwa teraz około 3 sekund zamiast 11, a połowa odpowiedzi zaczyna się pojawiać w ciągu 1,6 sekundy. W żadnej rundzie czat nie podał faktu spoza profilu.

Co możesz z tego wziąć

Atrapa sprawdza instalację. Jeśli Twój produkt zależy od tego, jak model formułuje i formatuje odpowiedzi, testuj go na prawdziwym modelu wcześnie i w środowisku, w którym będzie działał.
Zapisuj czas i koszt każdego kroku osobno. Pętla była niewidoczna, dopóki każde wywołanie nie dostało własnej liczby.
Tańszy model sprawdzający mocniejszy może kosztować więcej, niż oszczędza. Jeśli źródło prawdy jest zamkniętym zbiorem, na ścieżce użytkownika postaw stałe reguły, a ocenę modelem zostaw na pomiary.
Odczuwalna szybkość to decyzja produktowa. Wcześniejsze pokazywanie sprawdzonych fragmentów zmieniło odbiór czatu bardziej niż jakakolwiek pojedyncza poprawka szybkości.

Następne na liście: polska odmiana słów, gdy czat szuka w profilu, i pytania obejmujące kilka miejsc, w których pracowałem.