Mentionsy

To tutaj jest bardzo szybki interconek, więc można bardzo szybko przesyłać pewne informacje między CPU a GPU i robić tak zwany offloading pewnych rzeczy.

I trudno było znaleźć w nauce, w ogóle w środowisku naukowym takie zadania, bo inne symulacje wykorzystywały bardzo dużo CPU, czyli raczej to była wektoryzacja obliczeń, a nie taka, bym powiedział, wirtualizacja na obliczenia równoległe na GPU i szukano takich...

Kwestia związana z limitami na GPU, kwestia języka polskiego świetlnego i w ogóle kwestia nie wiadomo czego.

O co chodzi akurat z GPU w kontekście sztucznej inteligencji?

W ogóle karty graficzne czy GPU to jest temat na kilka godzin mówienia.

Ja w ogóle zachęcam osoby do tego, żeby naszych widzów poznawali jakby to, co siedzi w środku GPU.

Jak to w ogóle wygląda w kontekście GPU, bo to jest pasjonująca w ogóle architektura i można na tym spędzić wiele godzin i myślę, że wiele miesięcy studiując w ogóle czym to jest.

Natomiast GPU to jest specjalizowany układ,

Tak jak powiedziałem, architektura GPU jest bardziej złożona, bo mamy trzy poziomy pamięci.

Pamięć charakteryzuje pamięć, czyli tam VRAM, czy HBM to się nazywa, czyli High Bandwidth Memory, to jest pamięć, która charakteryzuje GPU.

Procesor, czyli GPU, to jest bardzo dużo rdzeni.

Co więcej, to od razu też mogę technicznie powiedzieć, że kernele robi się tak zwane fused kerneling, czyli kilka operacji się robi na raz, żeby ograniczyć transmisję danych w GPU.

Bo GPU działa tak, że jeżeli my załadujemy dane do HBM, czyli to jest high bandwidth memory, czyli to jest ta podstawowa pamięć,

I proces przesyłania nawet w GPU informacji między tymi cache'ami jest wolny.

I głównym ograniczeniem w modelach językowych, mówimy o tym, że to jest memory-bound problem, czyli modele językowe są tak duże, że musimy bardzo dużo przesyłać informacji w GPU.

I głównym ograniczeniem nie jest liczba operacji zmiennoprzecinkowych na sekundę, jak się mówi o teraflopsach, czyli czy petaflopsach na dużych komputerach obliczeniowych, tylko prędkość przesyłu na GPU, na magistralach GPU wewnątrz.

I dlatego optymalizuje się wszystkie przesyły danych w środku GPU między cache'ami.

I wszystkie te rzeczy są optymalizowane, czyli mówimy o optymalizacji wewnątrz GPU, magistra, które przesyłają po prostu informacje.

Po drugie, GPU wystarcza mocy do obliczeń.

Natomiast optymalizujemy przesył, optymalizujemy przesył między GPU, czyli tutaj mamy takie technologie jak SXM, NV-linki i tak dalej.

Świat ma w setkach tysięcy GPU pojedyncze LABY.

Wychodzi CEO NVIDII i mówi, że będzie Vera Rubin, czyli nowa architektura NVIDII, czyli znowuż Vera to jest CPU, Rubin to jest GPU, nowa architektura i mówi, że to będzie skok dziesięciokrotny, czyli od Hopera, który jest dzisiaj bardzo powszechnie używany na całym świecie.

Mówi nam na przykład AGH, że mamy dwa tygodnie na wytrenowanie modelu, bo będzie wtedy komputer dostępny i mówi nam tyle GPU będzie dostępnych.