Kineski tehnološki div ByteDance trenira novi model umjetne inteligencije koji bi mogao imati do 10 bilijuna parametara, čime bi se po veličini približio najnaprednijim modelima američkog Anthropica, piše Financial Times pozivajući se na osobe upoznate s projektom.
Tvrtka, najpoznatija kao vlasnik TikToka, tek je u ranoj fazi razvoja modela. Trenutačno traje njegovo početno treniranje, odnosno pre-training, koje obično traje između tri i šest mjeseci, nakon čega bi uslijedilo dodatno prilagođavanje i eventualno puštanje modela u uporabu.
Konačan broj parametara još nije određen, no model bi mogao dosegnuti njih 10 bilijuna.
To bi bilo oko tri puta više od Moonshotova modela Kimi K3, koji je trenutačno najveći javno predstavljeni kineski AI model.
Broj parametara određuje dio kapaciteta modela za pohranu i obradu informacija, ali sam po sebi nije dovoljan pokazatelj njegovih mogućnosti. Na kvalitetu modela značajno utječu i podaci na kojima je treniran, način treniranja i arhitektura sustava.
ByteDanceov projekt pokazuje koliko brzo kineske tehnološke kompanije pokušavaju smanjiti tehnološki jaz u odnosu na vodeće američke AI laboratorije.
Posljednjih tjedana modeli kineskih kompanija Moonshot i Alibaba ostvarili su dobre rezultate na nizu testova, približavajući se vodećim američkim sustavima u pojedinim područjima.
ByteDance je u razvoju umjetne inteligencije dosad bio manje otvoren od dijela kineskih konkurenata jer većinu svojih modela ne objavljuje kao otvorene sustave.
Istodobno, njegov SeeDance ubraja se među naprednije svjetske modele za generiranje videa, dok je Doubao najpopularniji potrošački AI proizvod u Kini, s oko 324 milijuna mjesečno aktivnih korisnika.
ByteDance je tijekom posljednje tri godine snažno povećao ulaganja u umjetnu inteligenciju, izgradnju podatkovnih centara i zapošljavanje istraživača.
Kompanija razvija i poslovanje svoje cloud jedinice Volcano Engine, preko koje prodaje AI rješenja kompanijama, a ima i ambicije razvijati vlastite čipove za umjetnu inteligenciju.
Za razvoj temeljnih AI modela zadužen je tim Seed, koji vodi bivši znanstvenik Google DeepMinda Wu Yonghui. Tim ima oko 2.000 zaposlenih u Kini i inozemstvu te uključuje istraživače, infrastrukturne inženjere, stručnjake za označavanje podataka i prevoditelje.
ByteDance se pritom odlučio za relativno samostalan pristup razvoju svojih modela i, prema izvorima FT-a, više od godinu dana ne oslanja se na takozvanu destilaciju modela konkurenata.
Destilacija je postupak u kojem se manji model trenira tako da oponaša znanje i rezultate većeg, naprednijeg modela. Takav pristup može ubrzati razvoj, ali ByteDanceovo vodstvo smatra da je za stvaranje modela koji bi mogao nadmašiti konkurente potreban vlastiti razvoj od temelja.
Pročitajte još:
Osnivač kompanije Zhang Yiming nedavno je od tima Seed zatražio da dugoročno cilja na „vodeće svjetske sposobnosti modela”, čak i ako to znači da će ByteDance kratkoročno zaostajati za nekim konkurentima.
Takav pristup pokazuje da se utrka između kineskih i američkih kompanija u razvoju najnaprednijih AI modela sve manje svodi samo na sustizanje američkih laboratorija, a sve više na pokušaj preuzimanja tehnološkog vodstva.
