TypeSafe AI predstavio je Jev, model koji ne pokušava konkurirati ChatGPT-u u pisanju, razgovoru ili složenom zaključivanju, nego sniziti cijenu milijuna malih odluka koje kompanije svakodnevno donose unutar svojih sustava.
Poslovna teza je jednostavna: ako se rutinske AI odluke mogu donositi dovoljno brzo i gotovo zanemarivo jeftino, automatizacija postaje isplativa i ondje gdje je danas korištenje velikih modela preskupo.
Jev je predstavljen 15. rujna kao prvi TypeSafeov takozvani System One model. Umjesto generiranja teksta bira među unaprijed definiranim mogućnostima, vraća strukturirani rezultat i procjenu vjerojatnosti.
Kompanija navodi da je za njega razvila novu arhitekturu, paralelnu obradu izlaza i vlastitu metodu treniranja Reinforcement Learning for Calibrated Decisions, odnosno RLCD.
Takav model može odlučiti kojoj kategoriji pripada dokument, treba li neki zahtjev poslati prodaji ili korisničkoj podršci, postoji li signal povećanog rizika ili treba li određeni slučaj proslijediti čovjeku. TypeSafe takve primjene opisuje kao „pametne if-naredbe“ koje mogu klasificirati, usmjeravati, bodovati i određivati sljedeći korak poslovnog procesa.
Ključna brojka je cijena. Jev prema objavljenom cjeniku stoji 0,042 dolara za milijun ulaznih tokena, dok se izlaz ne naplaćuje, a vrijeme odgovora kreće se od 70 do 500 milisekundi. TypeSafe za velike jezične modele u svojoj usporedbi navodi raspon od 0,20 do 10 dolara za milijun ulaznih tokena, uz višestruko skuplji izlaz.
Kod pojedinačnog poziva razlika je mala, ali kod sustava koji dnevno obrađuju milijune dokumenata, transakcija ili korisničkih zahtjeva postaje dio poslovne računice. Umjesto da se veliki model koristi u svakom koraku, Jev bi mogao preuzeti rutinske odluke, klasični programski kod precizno definirane zadatke, a skuplji modeli uključivali bi se tek kada su potrebni analiza, zaključivanje ili stvaranje sadržaja.
To je posebno važno za AI agente, koji prije izvršenja jednog zadatka često moraju donijeti desetke manjih odluka. Ako se za svaku koristi veliki model, trošak i vrijeme izvršenja brzo rastu. Jeftiniji sloj odlučivanja mogao bi zato biti jedan od načina da se agenti iz demonstracijskih projekata prebace u masovniju poslovnu primjenu.
TypeSafe da Jev u pojedinim poslovnim procesima može biti 193,6 puta brži i 444,6 puta jeftiniji od sustava temeljenih na velikim modelima.
Model ne može proizvesti proizvoljan tekst ili vrijednost izvan unaprijed definirane strukture, ali i dalje može odabrati pogrešnu mogućnost. Zato uz odluku vraća procjenu sigurnosti, što sustavu omogućuje da nesigurne slučajeve pošalje čovjeku.
Najzanimljiviji financijski dio priče nalazi se u samom imenu modela. Jev je nazvan po ekonomistu Williamu Stanleyju Jevonsu, poznatom po paradoksu prema kojem veća učinkovitost korištenja nekog resursa ne mora smanjiti njegovu ukupnu potrošnju. Ako korištenje postane dovoljno jeftino, pojavljuju se nove primjene i ukupna potražnja raste.
Pročitajte još:
TypeSafe istu logiku primjenjuje na umjetnu inteligenciju. Ako cijena pojedine AI odluke dovoljno padne, kompanije možda neće samo zamijeniti skuplji model jeftinijim, nego će početi automatizirati procese koje danas uopće ne pokušavaju automatizirati. Time bi jeftiniji AI mogao povećati ukupnu potrošnju računalne inteligencije, a s njom i potražnju za čipovima, podatkovnim centrima, računalnom infrastrukturom i poslovnim softverom.
U tome je i glavna poslovna teza iza Jeva: najveća vrijednost neće biti u uštedi na postojećim AI zadacima, nego u tome koliko će novih procesa postati dovoljno jeftino da ih se prvi put isplati automatizirati.
