Cognitive Mirror: AI, które mówi, czego nie wie

W jednym zdaniu

Cognitive Mirror to krótka sesja z AI, która sprawdza, jak się uczysz, i kończy się jedną zmianą do wprowadzenia.

Problem

Większość osób, które porzucają kurs online, uznaje, że brakuje im dyscypliny. Częściej problemem jest zły obraz własnej nauki: ludzie przeceniają, ile zrozumieli, i powtarzają metody, które u nich nie działają. Platformy odpowiadają na to większą ilością treści. Prawie nikt nie patrzy na sam sposób uczenia się konkretnej osoby.

Jak wygląda sesja

Rozmowa o prawdziwej, niedawnej próbie nauczenia się czegoś. Potem krótkie zadanie, w którym przed sprawdzeniem podajesz, na ile jesteś pewny odpowiedzi. Na końcu raport: 5 wymiarów, przy każdym dowód z rozmowy i poziom pewności, oraz jedna zmiana na start. Gdy danych jest za mało, raport mówi to wprost, zamiast zgadywać.

Co postanowiłem

• Model tylko zbiera obserwacje. Z rozmowy wyciąga tylko proste fakty: czy coś padło, ile razy, którą z kilku opcji wybrano. Ocenę i poziom pewności liczy reguła w kodzie, a pewność „wysoka” wymaga co najmniej 2 niezależnych sygnałów. Model nie może sam uznać, że jest pewny.
• Granice etyczne są wymaganiem, nie zastrzeżeniem w stopce. Produkt nie stawia diagnoz klinicznych i ma jawną ścieżkę do specjalisty. Wykrywanie sytuacji, w której trzeba kogoś tam skierować, jest osobnym, testowanym krokiem, bo pomiar pokazał, że to najłatwiej gubiony element.
• Prywatność jest w architekturze. Rozmowy i raporty są szyfrowane, zgody są zapisywane, a do modelu trafia tylko to, czego potrzebuje. Ocenę prawną zostawiłem prawnikowi i przygotowałem dla niego listę pytań, zamiast udawać, że kod ją zastąpi.
• Silnik jest za API, więc dostawcę modelu można zmienić bez ruszania zasad oceny.

Pomiar zamiast obietnic

Ta sama rozmowa oceniona drugi raz potrafiła dać inny wynik. Zamiast poprawiać to na wyczucie, zbudowałem warstwę pomiaru nad zamrożonymi zasadami oceny i opisałem wyniki, także te złe:

• Gdy mały lokalny model analizował rozmowę w jednym dużym wywołaniu, zgadzał się z modelem produkcyjnym w 20 z 26 punktów i przeoczył sytuację wymagającą skierowania do specjalisty. Po rozbiciu na osobne wywołania dla każdego wymiaru: 25 z 26, a skierowanie zostało wykryte. Pomógł inny układ pracy; większy model nie był potrzebny.
• Test na parafrazach, czyli tej samej odpowiedzi powiedzianej innymi słowami: model produkcyjny dał ten sam wynik w 39 z 40 przypadków, mały model w 37 z 42.
• Przy powtórzeniu z losowością modelu ustawioną wysoko bramka jakości nie przeszła. Okazało się, że wersja produkcyjna w ogóle nie ustawiała tego parametru, więc najbardziej podejrzana była konfiguracja.

Żadnej poprawki nie wdrożyłem automatycznie. Każda czeka na decyzję człowieka. Tabela właściwości pomiarowych, opisana według schematu COSMIN, generuje się prosto z danych pomiaru.

Projekt interfejsu

Interfejs projektuję w etapach, a każdy kończy się moją decyzją. Za mną są fundamenty, raport, sesja z eskalacją, zgody, konto, płatności i strony publiczne, w 4 językach: polskim, angielskim, ukraińskim i rosyjskim. Kilka decyzji wynika wprost z rzetelności pomiaru: pole pewności nie ma wartości domyślnej ani suwaka, żeby nie podpowiadać odpowiedzi, a wycofanie zgody to jedno kliknięcie z możliwością cofnięcia.

Czego jeszcze nie wiem

• Produkt nie miał realnych użytkowników, a instrument nie jest zwalidowany empirycznie ani recenzowany naukowo. Dokumentacja mówi to tymi słowami.
• Płatności działają tylko w trybie testowym. Przegląd prawny i niezależny przegląd bezpieczeństwa czekają na decyzję, czy idę w produkt, czy w badanie.
• Wersje ukraińska i rosyjska to projekt ekranów, nie zwalidowany instrument w tych językach.

Ta lista jest częścią dowodu. Pokazuje, gdzie kończy się to, co udało mi się sprawdzić.

Moja rola

Ustalam zakres, zasady, granice etyczne i bramki akceptacji kolejnych faz. Kod, testy i pierwsze wersje dokumentacji pisze model.