Nowe badania Apple: roboty uczą się działać, oglądając świat oczami ludzi
Apple, we współpracy z MIT, Carnegie Mellon i innymi uczelniami, zaprezentowało nowy sposób trenowania humanoidalnych robotów.
W projekcie „Humanoid Policy ∼ Human Policy” roboty uczą się, analizując nagrania z perspektywy pierwszej osoby, zebrane za pomocą Apple Vision Pro.
Naukowcy stworzyli zbiór danych PH2D, zawierający ponad 25 tys. ludzkich i 1,5 tys. robotycznych demonstracji manipulacji obiektami. Dzięki temu udało się wytrenować jeden, uniwersalny model AI, który może sterować humanoidalnym robotem w rzeczywistym świecie.
Zamiast kosztownych i czasochłonnych sesji teleoperacyjnych, dane zebrano z pomocą aplikacji na Apple Vision Pro, wykorzystującej kamerę i technologię ARKit do śledzenia ruchu głowy i dłoni. Dla tańszej alternatywy badacze zaprojektowali też uchwyt na kamerę ZED Mini, kompatybilny np. z Meta Quest 3.
Dodatkowo, by dopasować tempo ruchów ludzi do możliwości robotów, nagrania spowolniono czterokrotnie na etapie trenowania.
Sercem projektu jest HAT – model AI, który uczy się na podstawie wspólnego formatu danych od ludzi i robotów. Zamiast oddzielnie analizować każdy typ źródła, HAT tworzy jedną uniwersalną „politykę działania”, co pozwala robotom lepiej radzić sobie z nowymi zadaniami.
Badanie otwiera nowe możliwości w dziedzinie robotyki i pokazuje potencjał integracji technologii Apple w automatyzacji przyszłości. Więcej szczegółów tutaj.
Więcej na temat robotów — nie tylko tych humanoidalnych, ale i przemysłowych — także w kontekście AI, usłyszysz w nowym odcinku mojego podcastu „Bo czemu nie?”.
Krzysztof Kołacz
🎙️ O technologii i nas samych w podcaście oraz newsletterze „Bo czemu nie?”. ☕️ O kawie w podcaście „Kawa. Bo czemu nie?”. 🏃🏻♂️ Po godzinach biegam z wdzięczności za życie.
