Kelter: silnik agentów AI odporny na pomyłki modelu

W jednym zdaniu

Kelter to środowisko uruchamiania agentów AI, w którym model podpowiada kolejny krok procesu, a przebiegiem pracy kieruje przewidywalny program. System jest dzięki takiej architekturze odporny na błędy modeli.

Problem

Agent AI to program, który sam wykonuje zadanie krok po kroku: szuka informacji, korzysta z narzędzi, zapisuje wyniki. W większości dzisiejszych rozwiązań całym procesem steruje model językowy. Kiedy się pomyli, proces się sypie.

Firmy wybierają więc największe i najdroższe modele, bo tylko one mylą się na tyle rzadko, żeby dało się na nich polegać. Do tego każda nowa funkcja często oznacza przebudowę aplikacji.

Pomysł

Odwróciłem role. Model proponuje, co zrobić dalej. Program wokół niego sprawdza propozycję, wykonuje ją i pilnuje porządku: ponawia nieudane kroki, zapisuje każde zdarzenie i nie dopuszcza działań spoza ustalonej listy.

Dla biznesu oznacza to, że ten sam proces działa na dużym modelu w chmurze i na małym modelu na własnym serwerze. Od modelu zależy jakość decyzji. To, czy proces dojdzie do końca w porządku, zależy już od programu.

Co już działa

Kelter działa jako aplikacja webowa, aplikacja desktopowa i usługa w kontenerze. Umie przekazywać zadania innym agentom i przyjmować je od nich, rozpisać pracę na plan kroków i policzyć koszt każdego przebiegu. Do zrobienia zostały podpisanie aplikacji desktopowej i wdrożenie na docelowy serwer. Repozytorium jest na razie prywatne.

Na tle innych narzędzi

Pojedyncze elementy Keltera istnieją w innych narzędziach. Nowe jest ich połączenie: system, który traktuje model jak wymienną część i utrzymuje porządek procesu nawet na małym, tanim modelu. Kelter to działający i sprawdzalny dowód tej tezy. Nie próbuje konkurować z dużymi platformami bogactwem integracji.

Czy to gotowe narzędzie

Dla innych firm jeszcze nie. Ma jednego autora, nie ma zewnętrznych użytkowników ani niezależnego przeglądu bezpieczeństwa. Jako otwarty eksperyment jest gotowy: każdą obietnicę da się sprawdzić skryptem, a decyzje projektowe są spisane.

Kelter będzie używany w Exocortex R&D. Po tym pierwszym realnym zastosowaniu chcę go otworzyć publicznie, z doświadczeniem z laboratorium jako dowodem.

Dlaczego to należy do portfolio

Kelter pokazuje to samo co laboratorium i Gromatik: niezawodność systemu z AI ma wynikać z mechanizmu, który da się sprawdzić, a nie z nadziei, że model się nie pomyli. Na rozmowie o roli lidera to dowód, że rozmawiam z inżynierami o agentach na poziomie architektury.

Moja rola

Kelter wymyśliłem, zaprojektowałem i zbudowałem sam, pracując z agentami AI. Jest moją własnością intelektualną.