Wąskie gardło sztucznej inteligencji. Same procesory graficzne już nie wystarczą
Co jakiś czas udaje się nam przekazać Wam porcję technologicznej wiedzy dotyczącej rozwoju AI niejako „od kuchni”. Praktycznie każdy, kto choć trochę orientuje się w nowoczesnych technologiach, wie, że za sukcesem współczesnych modeli AI stoją szybkie procesory graficzne. Ale one same nie wystarczają. Czas zatem na kolejną pigułę wiedzy.
Rozwój modeli językowych wymaga łączenia tysięcy procesorów graficznych (GPU) w duże klastry obliczeniowe. Okazuje się jednak, że wzrost wydajności samych układów GPU nie rozwiązuje wszystkich problemów infrastrukturalnych. Wyzwaniem przy dużej skali stało się sprawne przesyłanie informacji – opóźnienia oraz straty pakietów danych krążących między serwerami. Aby wyeliminować to ograniczenie, w centrach danych wdraża się dwie nowe klasy urządzeń: układy DPU oraz karty AI NIC, które przejmują kontrolę nad ruchem sieciowym.
Dla odbiorców usług chmurowych to ważna zmiana w architekturze sprzętu. Pokazuje ona, że budowa systemów do obsługi algorytmów to obecnie nie tylko kwestia liczby rdzeni obliczeniowych, ale przede wszystkim logistyki sieciowej i optymalizacji kosztów.
Układy DPU, czyli odciążenie procesora z zadań infrastrukturalnych
Tradycyjne procesory (CPU) w serwerach chmurowych są mocno obciążone. Oprócz obsługi właściwych aplikacji muszą zarządzać ruchem sieciowym, pamięcią masową, szyfrowaniem danych oraz monitorowaniem bezpieczeństwa. W tym miejscu zastosowanie znajduje DPU (Data Processing Unit) – wyspecjalizowany procesor pomocniczy, którego zadaniem jest przejęcie obowiązków infrastrukturalnych.
Dzięki oddelegowaniu procesów sieciowych i bezpieczeństwa do układu DPU, główny procesor serwera zyskuje wolne zasoby do obsługi aplikacji, a akceleratory graficzne mogą bez zakłóceń skupić się na obliczeniach związanych z pracą sztucznej inteligencji. Jednostki DPU są w pełni programowalne. Pozwala to operatorom chmur na dostosowywanie parametrów sieci i zabezpieczeń do nowych wymagań bez konieczności wymiany fizycznego sprzętu w szafach serwerowych.
Czy takie układy są już stosowane? Oczywiście, w swoim portfolio mają je wszyscy liczący się dziś gracze na rynku, wystarczy wymienić Nvidię z ich serią BlueField-3 (najnowsza generacja DPU), Marvell z układami Octeon 10, Broadcom z chipami z serii Stingray czy AMD z rodziną układów AMD Pensando. Swój pomysł na sprzęt tego typu ma też Intel, ale nazywa je nie DPU lecz IPU (Infrastructure Processing Unit). Ich układy (np. Intel Mount Evans opracowany wspólnie z Google) realizują dokładnie te same zadania, co DPU konkurencji, zarządzając siecią, wirtualizacją i pamięcią masową na poziomie dedykowanego chipu.
Apple i Broadcom zacieśniają współpracę. Miliardy dolarów na amerykańskie chipy
AI NIC jako inteligentny akcelerator łączności klastrów
O ile DPU odpowiada za ogólne zarządzanie infrastrukturą, o tyle AI NIC (AI Network Interface Card) to karta sieciowa zaprojektowana pod kątem komunikacji wewnątrz klastrów obliczeniowych. Współczesne systemy rozproszone wymagają stałej synchronizacji pracy setek kart graficznych. Klasyczne sieci Ethernet nie były projektowane z myślą o wzorcach komunikacji generowanych przez tysiące współpracujących akceleratorów AI. Nie chodzi o samą przepustowość – współczesny Ethernet oferuje już połączenia 400 Gb/s, a nawet 800 Gb/s. Problemem pozostają opóźnienia, synchronizacja oraz zarządzanie ogromną liczbą jednoczesnych transmisji między akceleratorami.
Karty klasy AI NIC eliminują te opóźnienia za pomocą kilku rozwiązań inżynieryjnych:
- Wielościeżkowe przesyłanie pakietów (packet spray): rozbijanie strumienia danych i wysyłanie go kilkoma drogami jednocześnie,
- Unikanie zatłoczonych ścieżek transmisji: dynamiczne kierowanie ruchem omijające zatory sieciowe,
- Selektywna retransmisja: ponowne przesyłanie wyłącznie zagubionych fragmentów, a nie całych pakietów danych.
Wdrożenie technologii AI NIC pozwala ograniczyć opóźnienia i utrzymać wysoką niezawodność sieci. Karty te stają się dla łączności sieciowej tym, czym układy graficzne są dla samej sztucznej inteligencji – wyspecjalizowanym komponentem, bez którego infrastruktura zwalnia pod wpływem natłoku przesyłanych danych.
Podsumowanie: sieć staje się nowym procesorem
Ewolucja klastrów obliczeniowych pokazuje wyraźnie, że era oceniania superkomputerów wyłącznie przez pryzmat wydajności pojedynczego chipu bezpowrotnie mija. W architekturze nastawionej na masowe przetwarzanie danych przez sztuczną inteligencję to sieć staje się jednym z najważniejszych elementów systemu.
Bez zaawansowanych układów DPU i kart AI NIC, potężne akceleratory graficzne marnowałyby czas na oczekiwanie na kolejne pakiety informacji, co przy milionowych operacjach generowałoby gigantyczne straty finansowe i energetyczne. Ostatecznie o sprawności systemów AI decyduje dziś nie to, jak szybko pojedynczy układ GPU potrafi liczyć, ale jak sprawnie cała infrastruktura potrafi ze sobą rozmawiać.
