Na rynek trafiają już komputery z procesorami AI (tzw. NPU), które mogą wykonywać zadania związane ze sztuczną inteligencją lokalnie, w trybie offline. AMD, Intel, Qualcomm czy Apple już promują albo przygotowują się do promowania "komputerów AI". Nvidia ma jednak odmienne zdanie.

Niedawno trafiła do sieci wewnętrzna prezentacja Nvidii, gdzie firma wyjaśnia korzyści GPU nad NPU (jednostki przetwarzania neuronowego) do obsługi lokalnych aplikacji generatywnej AI. Warto odnotować, że gigant kart graficznych może postrzegać NPU z innych firm jako zagrożenie, bo układy te przejmują na siebie zadania kojarzone z GPU.

Zobacz również:

• Najszybszy Helios w Cyfronecie
• Copilot znaczy po polsku wsparcie
• Tesla uruchomiła produkcję procesora Dojo drugiej generacji

Od wprowadzenia Meteor Lake pod koniec ubiegłego roku Intel starał się promować laptopy z tymi procesorami i wbudowanymi NPU jako nową klasę "komputera AI", zaprojektowaną do wykonywania operacji GenAI bez polegania na ogromnych centrach danych w chmurze. Microsoft i Qualcomm planują wprowadzić więcej komputerów AI na rynek jeszcze w tym roku, a Apple spodziewa się dołączyć do tego trendu w 2024 r. z nadchodzącymi procesorami M4 i A18 Bionic. AMD również ma już odpowiednie układy z rodziny Ryzen.

Nvidia uważa, że jej karty graficzne RTX, dostępne na rynku od 2018 roku, są jednak znacznie lepiej przystosowane do zadań AI. Sugeruje to, że NPU są niepotrzebne i że miliony "komputerów AI" tak naprawdę znajdziemy już w obiegu.

AI na GPU lepiej niż na NPU?

Microsoft twierdzi, że wydajność AI osiągająca 40 bilionów operacji na sekundę (TOPS) będzie konieczna dla komputerów AI nowej generacji, ale prezentacja Nvidii twierdzi, że GPU RTX już osiągają 100-1300 TOPS. Producent GPU stwierdził, że układy takie jak dostępne obecnie karty graficzne RTX serii 30 i 40 są doskonałymi narzędziami do tworzenia treści, produktywności, chatbotów i innych aplikacji wykorzystujących duże modele językowe (LLM).

Dla takich zadań mobilne GeForce RTX 4050 rzekomo przewyższają procesory Apple M3, a stacjonarny RTX 4070 osiąga "wydajność flagowego modelu" Apple'a w Stable Diffusion 1.5.

Aby pokazać unikalne możliwości swojej technologii, Nvidia wprowadziła dużą aktualizację dla ChatRTX. Ten chatbot, napędzany przez TensorRT-LLM Nvidii, działa lokalnie na każdym komputerze wyposażonym w GPU RTX serii 30 lub 40 z minimum 8 GB VRAM. ChatRTX wyróżnia się tym, że może odpowiadać na zapytania w wielu językach, przeszukując dokumenty lub playlisty na YouTube dostarczone przez użytkowników. Jest kompatybilny z formatami pdf, doc, docx i XML.

Wielu producentów liczy na to, że uda im się zwiększyć sprzedaż laptopów, oferując "komputery AI" jako znacznie lepsze niż to, co znajdziemy dziś na rynku. Jeśli jednak to Nvidia ma rację, może się okazać, że wiele osób (posiadaczy nowoczesnych kart RTX) nie będzie miało powodu do zakupu nowego sprzętu — wystarczy, że zainstaluje odpowiednie oprogramowanie. Czekamy na pierwsze niezależne testy.