Apple opracowuje model językowy, który generuje długie teksty nawet 128 razy szybciej
Naukowcy Apple i Ohio State University przedstawili nowy model językowy FS-DFM (Few-Step Discrete Flow-Matching), zdolny do generowania pełnych fragmentów tekstu w zaledwie 8 szybkich krokach, osiągając jakość porównywalną z tradycyjnymi modelami dyfuzyjnymi wymagającymi ponad tysiąca iteracji.
Kluczowe różnice:
- Autoregresywne modele LLM (np. ChatGPT) generują tekst sekwencyjnie, token po tokenie.
- Modele dyfuzyjne wytwarzają wiele tokenów jednocześnie, udoskonalając je w wielu krokach.
- Flow-matching pozwala uzyskać końcowy wynik w jednym przebiegu, pomijając wieloetapowe iteracje.
FS-DFM korzysta z trzystopniowej metody: dostosowuje się do różnych liczby iteracji, wspiera go model „nauczycielski” dla większej precyzji oraz optymalizuje każdy krok, aby przyspieszyć generowanie tekstu.
W testach model osiągnął niższą perplexity (dokładniejszy, naturalniejszy tekst) i stabilniejszą entropię (bardziej spójny dobór słów) w porównaniu z większymi modelami dyfuzyjnymi, nawet przy mniejszej liczbie parametrów (1,7 – 0,17 mld).
Apple planuje udostępnić kod i checkpointy FS-DFM, aby umożliwić dalsze badania i reprodukcję wyników.
Krzysztof Kołacz
🎙️ O technologii i nas samych w podcaście oraz newsletterze „Bo czemu nie?”. ☕️ O kawie w podcaście „Kawa. Bo czemu nie?”. 🏃🏻♂️ Po godzinach biegam z wdzięczności za życie.
