Nvidia prezentuje konwersacyjną AI z RTX – nie wymaga dostępu komputera do internetu
Nvidia opublikowała informacje i udostępniła wczesną wersję rozwojową swojego nowego chatbota AI Chat with RTX.
Największe novum w tym projekcie, to fakt, że dzięki niemu użytkownicy komputerów z Windows będą mogli uruchomić lokalnie, tj. bez konieczności łączenia się z internetem, konwersacyjną, sztuczną inteligencję opartą na LLM, czyli dużym modelu językowym. Oczywiście jest jeden warunek. Pecet, na którym zamierzamy dokonać takiej próby musi być wyposażony chip Nvidia RTX.
Nie jest wymagany przy tym konkretny model karty/chipu graficznego z serii RTX. Nvidia deklaruje, że Chat with RTX powinien działać na każdym procesorze graficznym RTX z serii 30 i 40, pod warunkiem, że GPU ma możliwość wykorzystania co najmniej 8 GB VRAM, co nieco zawęża pole dostępnych rozwiązań.
Co potrafi Chat with RTX? Na przykład nie musisz już tracić cennych godzin na lekturę długich dokumentów, czy oglądanie wielu filmów na YouTube. Materiały te (zarówno wideo jak i tekst) możesz „wysłać” do lokalnie działającej sztucznej inteligencji z poleceniem, by wygenerowała podsumowania. Przy czym oczywiście nie trzeba wysyłać plików wideo (z YT), wystarczy sam link. Jeżeli szukasz odpowiedzi na pytanie, w którym z 512 odcinków lubianego podcastu padła jakaś konkretna fraza czy opinia, to myślę, że Chat with RTX może się w takich zadaniach bardzo przydać.
Na obecnym etapie Chat with RTX (pamiętajmy, to wczesna wersja) jeszcze ma wiele błędów, potrafi nie pobrać właściwej transkrypcji do filmu, czasem się gubi w podsumowaniach, czy nie zapamiętuje kontekstu (nie pamięta i nie potrafi nawiązać do poprzedniego pytania). Jednak najważniejszą „wadą” w kontekście zwykłego użytkownika jest to, że póki co Chat with RTX wygląda jak narzędzie dla programistów, a nie dla zwykłych ludzi. Potrzebny jest lokalny serwer WWW, instancja Pythona, a sama AI od Nvidii wykorzystuje open source’owe modele LLM takie jak Mistral czy LLaMa 2 do analizy zapytań. Aplikacja jest też duża (ok. 40 GB), a jej instalacja wymaga pewnych kompetencji technicznych (sprawne posługiwanie się wierszem polecenia wskazane).
Niemniej fakt, że mamy do czynienia z wczesną wersją nie powinien przesłaniać tego, że oto mamy do czynienia z zaawansowanym modele AI zdolnym do działania lokalnie na komputerze. Choć nie na każdym, a raczej z tych mocniejszych. Sam Python pochłonie kilka GB pamięci RAM.
