Terobosan Teknologi Generasi Video AI dan Hubungannya dengan Web3

Kemajuan yang paling signifikan di bidang AI baru-baru ini adalah terobosan dalam teknologi generasi video multimodal. Teknologi ini telah berkembang dari awalnya menghasilkan video dari teks murni, hingga kini mampu mengintegrasikan teks, gambar, dan audio dalam proses generasi secara menyeluruh.

Beberapa contoh terobosan teknologi yang patut diperhatikan adalah:

1. Kerangka EX-4D yang diopen source oleh sebuah perusahaan teknologi besar, dapat mengubah video biasa menjadi konten 4D dengan sudut pandang bebas, dengan tingkat penerimaan pengguna lebih dari 70%. Teknologi ini memungkinkan video biasa untuk secara otomatis menghasilkan efek tampilan dari sudut mana pun, yang sebelumnya memerlukan tim pemodelan 3D profesional untuk dicapai.

2. Platform "Hui Xiang" dari suatu perusahaan mesin pencari mengklaim dapat menghasilkan video berkualitas "film" selama 10 detik hanya dengan satu gambar. Namun, kebenaran klaim ini masih perlu diverifikasi.

3. Teknologi Veo dari raksasa teknologi internasional dapat secara bersamaan menghasilkan video 4K dan suara lingkungan. Kunci dari teknologi ini terletak pada pencocokan pada tingkat semantik yang sebenarnya, yang mampu mencapai kesesuaian tepat antara gerakan gambar dan suara dalam situasi yang kompleks.

4. Teknologi ContentV dari sebuah platform video pendek memiliki 8 miliar parameter, dapat menghasilkan video 1080p dalam 2,3 detik, dengan biaya 3,67 yuan/5 detik. Meskipun kontrol biaya cukup baik, masih ada ruang untuk meningkatkan kualitas generasi dalam skenario yang kompleks.

Terobosan teknologi ini memiliki signifikansi besar dalam kualitas video, biaya produksi, dan skenario aplikasi. Dari sudut pandang teknis, kompleksitas pembuatan video multimodal bersifat eksponensial, melibatkan banyak titik piksel, koherensi temporal, sinkronisasi audio, dan konsistensi ruang 3D. Solusi saat ini adalah dengan melakukan dekomposisi modular dan kolaborasi kerja sama model besar.

Dalam hal biaya, biaya generasi telah secara signifikan dikurangi dengan mengoptimalkan arsitektur inferensi, termasuk strategi generasi berlapis, mekanisme penggunaan kembali cache, dan alokasi sumber daya dinamis.

Kemajuan teknologi ini telah memberikan dampak besar pada industri produksi video tradisional. Teknologi AI telah merampingkan proses yang sebelumnya memerlukan banyak peralatan, lokasi, aktor, dan pascaproduksi menjadi sekadar input kata kunci dan menunggu beberapa menit, serta dapat mencapai efek yang sulit dicapai dengan pengambilan gambar tradisional. Ini mungkin akan mendorong perombakan seluruh ekonomi kreator.

Lalu, apa hubungan antara perubahan teknologi AI Web2 ini dengan AI Web3?

1. Struktur permintaan daya komputasi telah berubah. Generasi video multimodal membutuhkan kombinasi daya komputasi yang beragam, yang menciptakan permintaan baru untuk daya komputasi yang tidak terpakai secara terdistribusi, berbagai jenis model penyesuaian terdistribusi, algoritme, dan platform inferensi.

2. Peningkatan kebutuhan pelabelan data. Menghasilkan video tingkat profesional memerlukan deskripsi adegan yang akurat, gambar referensi, gaya audio, jalur gerakan kamera, dan kondisi pencahayaan serta data profesional lainnya. Mekanisme insentif Web3 dapat mendorong para profesional untuk menyediakan materi data berkualitas tinggi.

3. Teknologi AI berkembang menuju kolaborasi modular, yang pada dasarnya merupakan kebutuhan baru untuk platform terdesentralisasi. Di masa depan, kekuatan komputasi, data, model, dan mekanisme insentif mungkin akan membentuk siklus positif yang saling memperkuat, mendorong penggabungan mendalam antara skenario Web3 AI dan Web2 AI.