Mentionsy

Zapraszam, jest gęsto i wartko, jest o samym sposobie działania AI, a nie ma zmiłuj, trzeba wiedzieć jak działają narzędzia, które już teraz są naszą codziennością.

Pan doktor zajmuje się geometrią algebraiczną, jest jedynym polskim naukowcem, póki co zaproszonym do udziału w międzynarodowym projekcie Frontier Math, koordynowanym przez Epoch AI.

Tam głównie używaliśmy do testów jednego takiego modelu od OpenAI, który normalnie jest dostępny publicznie.

rozumiemy to bardzo pojedynczo, powiedziałbym, bardzo lokalnie, ale jak już użyjemy tych modeli językowych, to wszystko jest zaimplementowane, to nagle w tej dużej skali te proste interpretacje gdzieś nam uciekają, więc jakby ta prosta, naiwna interpretacja, że te wektory oznaczają pewne sensy, ona działa do pewnego momentu, a później...

Ale w pewnym sensie ta intuicja jest taka trochę geometryczna, więc jak na przykład ktoś pisze mi równanie algebraiczne, to ja nie widzę tam tylko liter X i jakichś kwadratów i tak dalej.

albo jakieś relacje algebraiczne i to bardzo pomaga później rozumować o tych rzeczach.

Ale na przykład może mieć bardzo słabą intuicję algebraiczną, czyli powiedzmy do tego momentu, kiedy to się dzieje nie na symbolach, to się czuje bardzo dobrze, ale później na przykład pojawia się jakiś problem.

My jakby patrzymy przez interfejs, że mamy jedno okienko, do którego wpisujemy swoje pytania i swoje oczekiwania i jakieś dokumenty, maile, pragnienia, tajemnice.

zadania, które mu się podaje, są jakby przetłumaczone na taki specjalny format i on znajduje dowody tych twierdzeń, ale jak popatrzymy pod spodem, jak dokładnie działa ten model, to sobie można zainstalować na swoim komputerze, to okazuje się, że każdy krok, każdy token, to jest jakaś konstrukcja geometryczna,

Jedyny pomysł, który na razie się zrodził w głowach różnych mądrych ludzi, to jest to, że jak się doda jeszcze więcej wag, czyli jakby ten model się powiększy, jego reprezentacja będzie większa, no to jest szansa na to, że on i będzie dobrze rozwiązywał zadania matematyczne i sobie poradzi w szachy i napisze fraszkę i skróci mi maila i może mi opowiada coś sensownego o polityce.

Czyli tak naprawdę taka robocza definicja rozumowania w modelach jest taka trochę naiwna.

Ostatnio słuchałem ciekawego wywiadu z panem Ryszardem Szubartowskim, nauczycielem naszych informatyków, którzy między innymi w OpenAI pracują.

No właśnie, to jest tak, że jest na przykład jakieś znane twierdzenie, powiedzmy hipotezy Wejla, to dotyczy geometrii algebraicznej, takie dosyć ciekawe twierdzenie, które w pewnym sensie nam mówi, że jak mamy wielomiany i liczymy liczbę rozwiązań nad resztami modulo P, gdzie P jest liczbą pierwszą, to jest jakaś porządna regularność w tych wszystkich rzeczach.

To trochę jest takie naiwne, ale

Ale wydaje mi się to, po pierwsze zupełnie jakby nie jest to w głównym nurcie moich zainteresowań teraz, a dwa, że tu by musiał powstać jakiś taki ciekawy mechanizm jakiegoś sprzężenia zwrotnego, czyli że coś w tych tokenach na przykład, można sobie wyobrazić taki eksperyment myślowy i pójdźmy w tą stronę.

I to jest chyba to, co do nas należy, dobre promptowanie w tym sensie, jakie dobre pytanie możemy zadać maszynie, a jakie pytania są na przykład bez sensu, bo nie wiem, czy kiedyś AI odpowie mi na pytanie o sens życia, mam głębokie wątpliwości w tej sprawie, ale może.

To tak na koniec, gdzie pan się ustawia w tej dyskusji, gdzie z jednej strony mamy takie stanowisko, że w zasadzie możemy zwijać zabawki, bo prędzej czy później w ciągu kilku lat AI zrobi za nas wszystko, będzie lepsza w diagnozowaniu, w matematyce, w programowaniu, w...

Byłoby fajnie, żeby te pozytywne strony, ze strony AI dotyczyły całego społeczeństwa, bo teraz mam wrażenie, że to jest punktowo, na przykład to wspiera właśnie naukowców czy specjalistów.

Podobno tak naprawdę udowodniona została słabsza, dość prosta wersja tego problemu, a sam problem być może pozostawał nierozwiązany właściwie dlatego, że przez lata nikt się nim poważniej nie zainteresował.

Bardzo serdecznie dziękuję i przy okazji też podziękuję, polecę wam serwis Trajektorie.pl, gdzie jest dużo fajnych treści dotyczących AI, tak na bieżąco i nie hype'owo, tylko właśnie mocno z naukowej strony.

Napiszcie też proszę, jaki temat o AI warto jeszcze zrobić.