Mentionsy

Tym razem przygotowaliśmy do Was podsumowanie marca w świecie sztucznej inteligencji, kodowania z AI i uczenia maszynowego.

Z tej strony Marcin Czarkowski.

ARC-AGI-3, czyli benchmarka, który miał swoją premierę zaledwie kilka dni temu i już stał się obiektem gorących debat w środowisku AI.

I pierwsze zastanowimy się kto cały czas będzie miał silną pozycję w świecie technologii i biznesu, dlaczego ten model wyceniania w oparciu o dostępy najprawdopodobniej przejdzie do lamusa i jakie firmy typu SaaS będą musiały się bać o swoje przetrwanie i najpewniej piwotować, aby przetrwać w tej nowej rzeczywistości.

Odcinek pełen mięsa, więc nie ma na co czekać i przejdźmy do pierwszego tematu, czyli Arc-AGI-3.

No ale dzisiaj porozmawiamy o tezie przeciwnej, takiej, która wywodzi się z fundacji ArcPrize.

Założyciele tej fundacji patrzą na ten cały potencjał sztucznej inteligencji w ogóle obecnej generacji modeli nieco inaczej, co udowadniają wydając na rynek ARC-AGI-3.

No bo kiedy Arc-AGI-3 został wydany, to okazało się, że ludzie, którzy brali udział w tym badaniu, którzy byli taką próbką kontrolną dla agentów AI, byli w stanie przejść 100% środowisk testowych, czyli można powiedzieć takich plansz, po których poruszamy się, rozwiązując zadania w tym benchmarku.

Natomiast, co właśnie zaznaczył Marcin we wstępie, najlepsze LLM-y, te same, które piszą dla nas kod, które tłumaczą dokumenty, na podstawie których chcemy też automatyzować procesy w naszych firmach, notują wyniki rzędu 0,37%, 0,26%, 0,25%, a jednemu z dostawców niestety nie udało się nawet ruszyć powyżej absolutnego zera.

I zresztą Arc-AGI-3 to potwierdza.

Natomiast, żeby porozmawiać o całym temacie testowania AI i całej historii Arc-AGI, to na początku chcemy Wam przedstawić autora tego badania, czyli właśnie François Chollet.

Tak więc François Chollet jest researcherem z Googla i jedną z najbardziej opiniotwórczych postaci w świecie deep learningu.

No i jak Przemku wyglądało ARC-AGI-1?

Wtedy to nasz przyjaciel François publikuje pierwszy korpus danych właśnie testowych, czyli taki abstraction and reasoning korpus, skąd właściwie wywodzi się właśnie ta nazwa ARC.

To jest taki zbiór, który dziś znamy jako ARC-AGI.

No i ten Arc-AGI niestety gdzieś tam się załamał pod takim podejściem.

Drugi problem był jeszcze bardziej poważny, o tym również Marcin mówi na naszym kanale YouTube przeprogramowani, czyli właśnie overfitting na wiedzę.

A to wszystko dlatego, że te dane, te zadania po prostu zaczęły się pojawiać w internecie odpowiednio często i same modele zaczęły znać konwencję Arc AGI-1, pomimo tego, że nikt ich tego wprost nie uczył.

I to się potwierdziło w momencie, kiedy Arc AGI-1 pojawił się na rynku.

Ten sam Arc AGI-1 zawierał zaledwie 100 zadań.

Zadania z Arc-AGI-1.

Jeden z zespołów The Architects, zwycięski zespół, osiągnął 53,5% skuteczności na prywatnym datasecie, a na publicznym leaderboardzie wyniki szły jeszcze wyżej.

Wtedy już była ta świadomość problemów, które wcześniej zidentyfikowaliśmy i postanowiono tę sytuację naprawić, wydając drugą wersję tego benchmarku, czyli Arc-AGI-2.

Przyliterowano same zadania w Arc AGI 2.

No ale mieliśmy kolejne konkursy i tutaj najwyższy wynik to było 24%, no czyli znacznie niżej w przypadku Arc AGI, no ale cały czas mieliśmy tak naprawdę ten sam problem.