DiT360: Era Baru Pembuatan Gambar Panorama Berbasis AI

Dunia AI generatif bergerak dengan kecepatan sangat tinggi, dan salah satu batasan baru yang paling menarik adalah penciptaan gambar panorama dengan fidelitas tinggi. Insta360 Research, bekerja sama dengan beberapa universitas, telah memperkenalkan kerangka kerja terobosan yang disebut DiT360, dan ini siap untuk mengubah permainan.

Tantangan Gambar Panorama

Menciptakan gambar 360 derajat yang realistis dengan AI telah menjadi tantangan yang signifikan. Rintangan utamanya adalah kurangnya data panorama skala besar dan berkualitas tinggi untuk melatih model. Hal ini sering kali menghasilkan gambar dengan distorsi geometris, tekstur yang tidak realistis, dan jahitan yang terlihat.

DiT360: Pendekatan Hibrida

Alih-alih hanya berfokus pada desain model, para pencipta DiT360 mengambil pendekatan yang berpusat pada data. Mereka mengembangkan kerangka kerja pelatihan hibrida yang memanfaatkan data gambar perspektif tradisional dan data panorama. Ini dilakukan pada dua tingkat:

1. Regularisasi Tingkat Gambar: Model belajar dari perpustakaan besar foto standar untuk memahami realisme dan keragaman, dan kemudian menerapkan pengetahuan itu pada gambar panorama. Ini membantu untuk mengatur output dan meningkatkan kualitas persepsi.
2. Supervisi Tingkat Token: Setelah pemrosesan gambar awal, kerangka kerja menggunakan beberapa teknik cerdas di tingkat “token” (representasi data yang digunakan AI). Ini termasuk:
   • Circular Padding: Untuk memastikan kontinuitas yang mulus di batas gambar.
   • Yaw Loss: Untuk membuat model kuat terhadap variasi rotasi.
   • Cube Loss: Untuk membuat model sadar dan mampu mengoreksi distorsi.

Apa yang Bisa Dilakukan DiT360?

Hasilnya mengesankan. DiT360 unggul dalam beberapa tugas:

• Teks-ke-Panorama: Buat gambar panorama yang menakjubkan dari deskripsi teks sederhana.
• Inpainting: Secara cerdas mengisi bagian yang hilang dari gambar panorama yang ada.
• Outpainting: Memperluas gambar yang ada untuk menciptakan tampilan panorama yang lebih luas.

Mengapa Ini Penting

DiT360 merupakan langkah maju yang signifikan dalam AI generatif. Dengan menggabungkan berbagai sumber data dan teknik pelatihan, ia mencapai tingkat realisme dan fidelitas geometris dalam gambar panorama yang sebelumnya tidak dapat dicapai. Teknologi ini memiliki implikasi besar untuk realitas virtual, visualisasi arsitektur, dan pembuatan konten kreatif.

Seiring AI terus berkembang, pendekatan inovatif seperti DiT360 menunjukkan bahwa masa depan media generatif bukan hanya tentang model yang lebih besar, tetapi pelatihan yang lebih cerdas.