Audio2Face bekerja dengan menganalisis fitur akustik seperti fonem, intonasi, hingga nuansa emosional dalam suara. Data tersebut kemudian diterjemahkan menjadi gerakan wajah karakter 3D yang akurat, baik untuk konten pra-rekam maupun interaksi real-time. Dengan kemampuan ini, pengembang dapat menghadirkan karakter virtual yang lebih hidup, ekspresif, dan mampu berkomunikasi dalam berbagai bahasa.
Dalam rilis terbarunya, NVIDIA tidak hanya membuka kode model, tetapi juga menyediakan SDK Audio2Face, plugin untuk Autodesk Maya dan Unreal Engine 5, serta kerangka pelatihan yang memungkinkan pengembang melatih ulang model sesuai kebutuhan spesifik.
Selain itu, tersedia pula model regresi, model difusi generasi ketiga, serta Audio2Emotion yang mampu mengidentifikasi emosi dari suara. Paket data sampel turut disediakan agar komunitas dapat langsung bereksperimen dan mengembangkan inovasi baru.
Teknologi ini sudah diadopsi luas oleh berbagai studio dan pengembang. Reallusion mengintegrasikan Audio2Face ke dalam iClone dan Character Creator, memudahkan kreator menghasilkan animasi wajah multibahasa dengan detail tinggi.
Studio Survios memanfaatkan teknologi ini dalam gim Alien: Rogue Incursion Evolved Edition untuk mempercepat proses animasi sekaligus meningkatkan imersi pemain. Sementara itu, The Farm 51 menggunakannya dalam Chernobylite 2: Exclusion Zone, yang memungkinkan animasi wajah lebih realistis tanpa memakan waktu produksi panjang.
Selain Audio2Face, NVIDIA juga mengumumkan pembaruan pada RTX Kit, termasuk SDK Neural Texture Compression yang mengurangi penggunaan memori tekstur tanpa mengorbankan kualitas, serta peningkatan pada RTX Global Illumination untuk pencahayaan tidak langsung berbasis ray tracing.
Di sisi infrastruktur, Activision berhasil memangkas 100 server lama menjadi hanya enam unit berbasis GPU RTX melalui teknologi vGPU, menghasilkan efisiensi energi hingga 72 persen dan mendukung lebih dari 250 ribu tugas harian.
Dengan dibukanya akses open source, NVIDIA berharap komunitas pengembang, peneliti, hingga mahasiswa dapat berkontribusi memperluas kemampuan Audio2Face. Langkah ini diyakini akan mempercepat lahirnya avatar digital yang lebih realistis, ekspresif, dan relevan dengan kebutuhan industri global.
Cek Berita dan Artikel yang lain di
Google News
Viral! 18 Kampus ternama memberikan beasiswa full sampai lulus untuk S1 dan S2 di Beasiswa OSC. Info lebih lengkap klik : osc.medcom.id
