D2E: Bagaimana Keterampilan Bermain Game Anda Dapat Melatih Robot Masa Depan
Salah satu tantangan terbesar dalam robotika dan AI berwujud adalah data. Mengumpulkan sejumlah besar data dunia nyata yang diperlukan untuk melatih robot untuk melakukan tugas-tugas kompleks mahal, memakan waktu, dan seringkali tidak praktis.
Tapi bagaimana jika kita bisa menggunakan sejumlah besar data yang dihasilkan oleh orang-orang yang bermain video game untuk melatih robot masa depan? Inilah ide inti di balik D2E (Desktop to Embodied AI), sebuah kerangka kerja baru yang inovatif yang akan merevolusi cara kita melatih robot.
Hambatan Data dalam AI Berwujud
Tidak seperti model bahasa besar yang dapat belajar dari sejumlah besar teks di internet, model AI berwujud perlu belajar dari interaksi fisik dengan dunia. Hal ini telah menciptakan hambatan data yang telah memperlambat kemajuan penelitian robotika.
Solusi D2E: Dari Desktop ke Robot
D2E menawarkan solusi cerdas untuk masalah ini dengan menggunakan interaksi desktop, terutama dari video game, sebagai tempat pra-pelatihan untuk AI berwujud. Kerangka kerja ini terdiri dari tiga komponen utama:
- OWA Toolkit: Toolkit ini menangkap dan menyatukan beragam interaksi desktop ke dalam format standar dengan tingkat kompresi 152x yang mengesankan. Hal ini memungkinkan untuk mengumpulkan dan menyimpan sejumlah besar data dari berbagai macam game.
- Generalist-IDM (Model Dinamika Terbalik): Model yang kuat ini dapat memprediksi tindakan yang diambil dalam sebuah video hanya berdasarkan masukan visual. Ia dapat menggeneralisasi ke game yang belum pernah dilihat dan bahkan digunakan untuk “melabeli secara semu” sejumlah besar rekaman permainan YouTube, menciptakan kumpulan data yang lebih besar untuk pelatihan.
- Pra-pelatihan Visi-Aksi (VAPT): Di sinilah keajaiban terjadi. Kerangka kerja VAPT mengambil representasi yang dipelajari dari data desktop dan mentransfernya ke robot fisik, memungkinkan mereka untuk melakukan tugas-tugas dunia nyata.
Hasil yang Mengesankan
Kerangka kerja D2E telah menunjukkan hasil yang mengesankan pada berbagai tolok ukur robotika. Dengan menggunakan lebih dari 1.300 jam data (termasuk 1.000+ jam rekaman permainan YouTube yang dilabeli secara semu), model yang dilatih D2E mencapai:
- Tingkat keberhasilan 96,6% pada tolok ukur manipulasi LIBERO.
- Tingkat keberhasilan 83,3% pada tolok ukur navigasi CANVAS.
Hasil ini memvalidasi hipotesis inti D2E: bahwa keterampilan sensorimotor yang dipelajari dari interaksi digital dapat ditransfer secara bermakna ke tugas-tugas fisik dunia nyata.
Masa Depan Robotika Ada di Sini
D2E adalah perubahan paradigma untuk AI berwujud. Dengan memanfaatkan sumber daya data permainan desktop yang luas dan sebagian besar belum dimanfaatkan, ini memberikan solusi praktis dan dapat diskalakan untuk hambatan data yang telah lama mengganggu bidang ini. Masa depan robotika mungkin lebih dekat dari yang kita kira, dan itu mungkin hanya didukung oleh berjam-jam yang tak terhitung jumlahnya yang kita semua habiskan untuk bermain video game.