TAG: Pendekatan Baru untuk Melawan Halusinasi Gambar AI
Model difusi telah merevolusi dunia pembuatan gambar AI, tetapi mereka memiliki masalah umum: halusinasi. Ini adalah contoh di mana model menghasilkan gambar yang aneh, terdistorsi, atau tidak masuk akal yang tidak secara akurat mencerminkan prompt masukan.
Sekarang, tim peneliti telah mengembangkan teknik baru yang disebut TAG (Tangential Amplifying Guidance) yang menawarkan solusi sederhana namun kuat untuk masalah ini.
Masalah Melayang dari Manifold Data
Model difusi bekerja dengan memulai dengan noise acak dan secara bertahap “menghilangkannya” menjadi gambar yang koheren. Namun, selama proses ini, lintasan pengambilan sampel terkadang dapat “melayang dari manifold data” – yaitu, dapat menyimpang ke area probabilitas rendah dari pengetahuan yang dipelajari model, yang mengakibatkan halusinasi.
Solusi TAG: Memperkuat Tangensial
TAG adalah metode inferensi plug-and-play, agnostik arsitektur yang membantu menjaga proses pengambilan sampel tetap di jalurnya. Ia bekerja dengan menguraikan setiap pembaruan menjadi dua komponen:
- Komponen Normal: Komponen ini sebagian besar adalah noise yang tidak terstruktur.
- Komponen Tangensial: Komponen ini berisi struktur semantik utama gambar.
TAG kemudian memperkuat komponen tangensial sambil membiarkan komponen normal tidak berubah. Ini memiliki efek mengarahkan proses pembuatan ke wilayah kepadatan yang lebih tinggi dari manifold data, menghasilkan gambar yang lebih sesuai dengan data pelatihan model.
Manfaat TAG
Salah satu keuntungan terbesar dari TAG adalah kesederhanaan dan efisiensinya. Ini adalah solusi “plug-and-play”, yang berarti dapat diterapkan pada model difusi yang sudah ada dan telah dilatih sebelumnya tanpa perlu pelatihan ulang. Ini juga tidak memerlukan evaluasi model tambahan, sehingga hanya menambahkan sedikit overhead komputasi.
Hasil yang Mengesankan
Para peneliti telah menguji TAG pada berbagai model difusi, termasuk Stable Diffusion 1.5, 2.1, XL, dan bahkan SD3 berbasis pencocokan aliran yang baru. Dalam semua kasus, TAG menunjukkan peningkatan kualitas gambar yang signifikan, mengurangi halusinasi, dan meningkatkan fidelitas secara keseluruhan.
Masa Depan Model Difusi
TAG adalah langkah maju yang signifikan untuk AI generatif. Dengan menyediakan cara yang sederhana dan efektif untuk memerangi halusinasi, ini memungkinkan kita untuk menghasilkan gambar berkualitas lebih tinggi dengan keandalan yang lebih besar. Seiring model difusi terus berkembang, teknik seperti TAG akan sangat penting untuk memastikan bahwa mereka menghasilkan hasil yang tidak hanya mengesankan, tetapi juga akurat dan dapat dipercaya.