StreamingVLM: Pemahaman AI Real-Time untuk Aliran Video Tanpa Batas
Menganalisis video panjang dengan AI selalu menjadi tantangan besar. Model Bahasa Visi (VLM) tradisional berjuang dengan biaya komputasi dan kebutuhan memori yang sangat besar untuk memproses ribuan bingkai. Kini, para peneliti dari Lab HAN MIT telah memperkenalkan solusi: StreamingVLM.
Masalah dengan Video Panjang
Pendekatan sebelumnya untuk pemahaman video memiliki dua kelemahan utama:
- Biaya Kuadratik: Mekanisme perhatian di sebagian besar model memiliki biaya komputasi yang tumbuh secara kuadratik dengan panjang video, membuatnya sangat mahal untuk memproses aliran panjang.
- Jebakan Jendela Geser: Solusi umum adalah menggunakan “jendela geser” yang hanya melihat segmen kecil video pada satu waktu. Namun, pendekatan ini kehilangan konteks jangka panjang, karena model tidak dapat mengingat apa yang terjadi di awal video.
Solusi StreamingVLM
StreamingVLM memperkenalkan pendekatan baru yang cerdas yang menghindari jebakan ini. Ini memungkinkan pemahaman real-time yang stabil dari aliran video dengan panjang yang hampir tak terbatas.
Inovasi utamanya adalah cache Key-Value (KV) yang ringkas. Alih-alih menyimpan setiap bingkai dalam memori, StreamingVLM secara cerdas merangkum masa lalu dan mempertahankan cache berukuran tetap yang kecil dari informasi terpenting. Ini memungkinkan model untuk mempertahankan konteks jangka panjang tanpa biaya kuadratik.
Kinerja yang Mengesankan
Hasilnya luar biasa. StreamingVLM dapat memproses aliran video hingga 8 bingkai per detik pada satu GPU H100. Dalam perbandingan langsung pada tolok ukur video panjang baru, ia mengungguli GPT-4o mini dalam 66,18% kasus.
Terlebih lagi, pendekatan pelatihan baru ini juga meningkatkan kinerja model pada tugas-tugas Tanya Jawab Video (VQA) umum, bahkan tanpa penyetelan khusus untuk tugas-tugas tersebut.
Mengapa Ini Penting
StreamingVLM adalah pengubah permainan untuk aplikasi AI dunia nyata. Bayangkan asisten AI yang dapat menonton pertandingan olahraga langsung dan memberikan komentar real-time, sistem keamanan yang dapat memantau umpan kamera langsung dan mengidentifikasi anomali, atau alat yang dapat menghasilkan teks dan ringkasan langsung untuk kuliah dan rapat.
Dengan memecahkan masalah pemahaman video panjang, StreamingVLM membuka pintu ke generasi baru aplikasi AI yang dapat merasakan dan memahami dunia secara real-time, sama seperti manusia.