RTFM: Masuki Dunia Buatan AI secara Real-Time
Bayangkan bisa masuk ke dalam dunia 3D yang sepenuhnya dihasilkan oleh AI, dan menjelajahinya secara real-time. Inilah janji RTFM (Real-Time Frame Model), model dunia generatif baru dari World Labs yang mendorong batas-batas AI interaktif.
Jenis Model Dunia Baru
Model dunia generatif adalah batas berikutnya dalam AI, yang menjanjikan untuk menciptakan dunia yang persisten, interaktif, dan akurat secara fisik. Namun, mereka sangat menuntut secara komputasi.
RTFM dirancang untuk mengatasi tantangan ini secara langsung, dengan tiga prinsip utama dalam pikiran:
- Efisiensi: RTFM dapat berjalan pada framerate interaktif pada satu GPU H100, membuatnya dapat diakses oleh lebih banyak pengembang dan peneliti.
- Skalabilitas: Model ini dirancang untuk dapat diskalakan dengan lebih banyak data dan komputasi, memastikan bahwa ia dapat terus meningkat seiring dengan semakin kuatnya perangkat keras.
- Persistensi: Dunia yang dihasilkan oleh RTFM bersifat persisten, artinya dunia tersebut tidak akan hilang saat Anda tidak melihatnya. Anda dapat menjelajah selama yang Anda inginkan dan selalu kembali ke lokasi yang pernah dikunjungi sebelumnya.
Model Dunia sebagai Perender yang Dipelajari
Pipeline grafis 3D tradisional mengandalkan representasi 3D eksplisit seperti jerat segitiga atau percikan Gaussian. RTFM mengambil pendekatan yang berbeda, bertindak sebagai “perender yang dipelajari.”
Ini adalah transformator difusi autoregresif yang belajar menghasilkan tampilan 2D baru dari sebuah adegan berdasarkan satu atau lebih gambar masukan, tanpa pernah membuat model 3D eksplisit. Ia belajar untuk memodelkan efek kompleks seperti pantulan, bayangan, dan suar lensa hanya dengan mengamatinya dalam data pelatihannya.
“Juggling Konteks” untuk Dunia yang Persisten
Salah satu tantangan terbesar untuk model bingkai autoregresif adalah persistensi. Saat pengguna menjelajahi dunia, model perlu bernalar atas serangkaian bingkai yang terus bertambah, yang dapat dengan cepat menjadi mahal secara komputasi.
RTFM memecahkan masalah ini dengan teknik cerdas yang disebut “juggling konteks.” Setiap bingkai di dunia memiliki pose (posisi dan orientasi) di ruang 3D. Saat menghasilkan bingkai baru, model mengambil bingkai terdekat dari memori spasialnya untuk membentuk konteks khusus. Hal ini memungkinkan RTFM untuk mempertahankan dunia yang persisten selama interaksi yang lama tanpa harus bernalar atas jumlah bingkai yang terus bertambah.
Masa Depan AI Interaktif
RTFM adalah sekilas tentang masa depan AI interaktif. Dengan menciptakan model dunia yang efisien, dapat diskalakan, dan persisten, World Labs membuka jalan bagi generasi baru pengalaman yang imersif dan interaktif. Dari game dan hiburan hingga robotika dan simulasi, kemungkinannya tidak terbatas.