Mentionsy

Remig pracuje w biotechnologicznej firmie Ingenix AI.

No można powiedzieć, że jestem osobą, która zajmuje się researchem AI-owym, czyli nie jestem biotechnologiem.

Bo jeżeli przejdziemy w ogóle do pipeline'u treningowego, to pierwszym etapem treningu jest pre-training i tam dajemy taki czysty tekst.

Chciałbym zamknąć to klamrą, że nie płacimy, oprócz tego, że musimy zainwestować w infrastrukturę.

W naszym świecie jakby informatycznym i tym AI-owym ten boom już był wcześniej.

Tylko, że problem jest też taki, który chłopacy musieli rozwiązać z Cyfronetu, że to jest architektura ARM-owa, czyli to jest nie intelowa architektura, tylko to jest ARM, czyli to jest zupełnie inna architektura procesora i wiele wtedy oprogramowania po prostu było bardzo trudne do zainstalowania na tym super komputerze.

I myślę, że ich będzie niedługo więcej przy okazji uruchomienia fabryk AI-owych.

Czyli to jest Bielik i oczywiście Plum, czyli Hive AI, obecnie konsorcjum naukowe, też dużo jakby modeli, które i też dedykowane do języka polskiego.

Czyli mamy dwie ekipy, które dzisiaj rozwijają bym powiedział zawodowo modele językowe, a drugie to jest mimo wszystko budowanie kompetencji w Polsce, które mogłyby przy okazji budowy fabryk AI-owych plus chęć do tego, żebyśmy mieli sztuczną inteligencję polską własną

W ogóle ja w IT jestem od bardzo dawna, więc obserwuję to z dużym zainteresowaniem, co się dzieje na tym rynku.

Adam Czajka, cała ekipa OpenAI.

No zdecydowanie więcej i błyskotliwość, umiejętność w ogóle myślenia w kontekście AI, w kontekście rozwiązywania problemów.

To są ludzie, którzy są już wykształceni przez jakby ten system, który już mówi o AI.

Narzędzi, które nam pomagają robić research AI-owy jest łatwiej, natomiast młodzież obecnie, ja jestem po prostu zachwycony potencjałem tego, co mamy w Polsce i na czym możemy budować świetną polską sztuczną inteligencję, ale powiem więcej.

AISAI.

Nie, nie jest materiałem źródłowym dlatego, że człowiek po pierwsze filtruje dane, czyli usuwa szum, który jest niezbędny w procesie bardzo dobrej generalizacji, czyli po pierwsze, żeby modele bardzo dobrze albo AI obrazowało bardzo dobrze świat, musi być ten szum, a człowiek ma to do siebie, że upraszcza pewne rzeczy, czyli jeżeli ja widzę pewną obserwację,

Więc dzisiaj wszystko co jest w internecie jest ciekawe z punktu widzenia ludzi AI-owych, ponieważ wszystko co jest w internecie opisuje w sposób dość słaby świat.

Czyli żeby inteligencja była szeroka, czyli mówimy general, żeby to była superintelligence, to AI musi wejść w interakcję z rzeczywistym światem.

To jest niezwykle fascynujący, bardzo przeszłościowy temat, ale jeszcze kilka takich naiwnych pytań z mojej perspektywy dla ciebie oczywistych.

Chain of Thought, czyli

Chain of thought to jest w ogóle taki strumień myśli, czyli musiał mieć bogatszy strumień myśli w języku polskim, żeby rozwiązać tego.

Inne pytanie naiwnego laika.

I karta graficzna, to mi się kojarzy z lepszym obrazkiem w Tomb Raiderze, albo lepiej chodził Quake, po prostu nie było, dzisiaj młodzież, mój syn mówi, że laguje.

I o ile CPU również przetwarza równolegle, my tutaj mówimy po pierwsze o wielowątkowości plus wektoryzacji, czyli jeszcze jakby takiej dodatkowej technice, która jest zaimplementowana w CPU.

Dlatego, że on nie był przewidziany historycznie do przetwarzania takich rzeczy jak AI.

Dodatkowo są jakieś architektura, taili i tak dalej, które powoduje, że dochodzi bardzo, bardzo wydajny na operacjach matematycznych.

Ma powstawać chyba GAIA w Krakowie.

Czyli mówię tak, prawdopodobnie nie zmieni to mojego, mówię prawdopodobnie, bo nic nie jest pewne, nie zmieni mojego sposobu pracowania nad AI-em, może kiedyś w przyszłości, natomiast ja jestem znowuż patriotycznie bardzo tutaj oddany temu, żeby

To jest web scrapping tam, gdzie możemy pozyskać dane, czyli jeżeli wchodzimy na stronę internetową, gdzie jest napisane, że nie można stosować do AI, te dane nie są pozyskiwane,

Okazało się, że najlepsze datasety, które są wymieniane przez społeczność AI-ową, czyli na przykład FineWeb 2.0, który jest podstawą trenowania wielu modelów, przez nasze klasyfikatory one nie przeszły, wiele tekstów jest zepsutych.

Kolejnym etapem jest etap testowania modelu, czyli mamy pre-training.

I teraz w Polsce zarówno Plum jak i my robimy pre-training kontynuowany.

Tak, ten słynny RL, który gdzieś pojawił się razem z pracą OpenAI, dlatego że OpenAI

I Microsoft, nie Microsoft tylko OpenAI i OpenAI wszystkie swoje modele od dawna stosował tę metodę.

Mówimy o instytucji, która zaczyna rozwijać, chyba na Politechnice, jeżeli nie mylę, warszawskiej lub na Uniwersytecie Warszawskiej, jeżeli chodzi o wyjaśnialność w AI.

Czy ty, patrząc do środka modeli językowych, szczególnie tego, który tworzysz... Dobrze, że mocno siedzisz, bo to jest pytanie... Normalnie byś spał z krzesła, jeśli chodzi o naiwność być może tego pytania, ale chcę, żeby ono właśnie tak zażyjało.

Modele AI-owe z tokenizacji na token-free, takie podejście, czyli nie będzie w ogóle tokenizacji, tylko reprezentacja będzie zupełnie inaczej, tekstu robione i tak dalej.

Natomiast biologia jest o tyle specyficzna, że jest bardzo dużo tematów do zrobienia, czyli z jednej strony mówimy, że AI tutaj pomaga, ale ja widzę duże opóźnienie w obszarze biologicznym używania AI.

Znaczy mam takie organoletyczne doświadczenia, kiedy jestem na konferencji, dużej konferencji badań klinicznych i tam jest trak AI-owy, mówią ludzie rzeczy takie, które się mówiło w 2021, w 2022 i to nie jest tylko moja opinia.

I ludzie odchodzili z kwitkiem, czyli dużo jest zainteresowania, jednocześnie...

Jeszcze mało tego jest, bo tutaj trzeba być sprawiedliwym, bardzo dużo firm ma rozwinięte AI.

Jest bardzo duże zainteresowanie firmami i optymalizacją procesu odkrywania leków, dlatego że proces odkrywania leków czy wprowadzania na rynek w ogóle leków jest procesem bardzo długotrwałym i bardzo, ale to bardzo kosztownym.

Trudno powiedzieć, dlatego że biologia jest... Ja się nie znam na biologii, to od razu powiem, bo dla mnie to było w ogóle bardzo cenne doświadczenie przejścia z różnych obszarów AI-owych do świata biotechnologii.

I jakby tutaj zasiliłem tą ekipę jako researcher od AI.

Dla mnie to było w ogóle szokujące, że modele językowe, modele, które budujemy, AI-owe,

W tym szumie, też mówiłem o tej roli szumu w ogóle w AI, w tym szumie coś jesteśmy w stanie znaleźć.

To było zadanie bardzo trudne i ja muszę powiedzieć, że to były trzy miesiące dla mnie w ogóle, które zmieniły mój sposób myślenia o AI.

Na pewno 2026 rok będę z dużym zainteresowaniem obserwował, co się zmienia, a wiem, że w lutym będzie się działo, bo co roku podczas roku chińskiego dużo się dzieje.

Biotechnologicznej Ingenix AI.