Cosmos WFMs menawarkan kemampuan prediksi, generasi dunia yang terkontrol, dan penalaran untuk AI fisik. Salah satu fitur unggulan adalah model penalaran terbuka dan sepenuhnya dapat disesuaikan, memberikan pengembang kontrol yang belum pernah ada sebelumnya atas generasi dunia virtual. Selain itu, NVIDIA juga memperkenalkan dua cetak biru baru yang didukung oleh platform Omniverse dan Cosmos, memungkinkan generasi data sintetis skala besar dan terkontrol untuk pelatihan robot dan kendaraan otonom.
"Sama seperti model bahasa besar merevolusi AI generatif dan agentik, model fondasi dunia Cosmos adalah terobosan untuk AI fisik," kata Jensen Huang, pendiri dan CEO NVIDIA. "Cosmos memperkenalkan model penalaran terbuka dan sepenuhnya dapat disesuaikan untuk AI fisik dan membuka peluang untuk kemajuan langkah-fungsi dalam robotika dan industri fisik."
Cosmos Transfer untuk Generasi Data Sintetis
Cosmos Transfer WFMs dirancang untuk menerima input video terstruktur seperti peta segmentasi, peta kedalaman, pemindaian lidar, peta estimasi pose, dan peta lintasan untuk menghasilkan output video fotorealistik yang terkontrol.
Teknologi ini menyederhanakan pelatihan AI persepsi, mengubah simulasi 3D atau ground truth yang dibuat di Omniverse menjadi video fotorealistik untuk generasi data sintetis skala besar dan terkontrol.
Agility Robotics akan menjadi salah satu pengadopsi awal Cosmos Transfer dan Omniverse untuk generasi data sintetis skala besar dalam melatih model robot mereka. "Cosmos menawarkan kami kesempatan untuk menskalakan data pelatihan fotorealistik kami melebihi apa yang secara fisik dapat kami kumpulkan di dunia nyata," kata Pras Velagapudi, chief technology officer Agility Robotics.
Cetak Biru NVIDIA Omniverse untuk simulasi kendaraan otonom menggunakan Cosmos Transfer untuk memperkuat variasi data sensor berbasis fisik. Dengan cetak biru ini, Foretellix dapat meningkatkan skenario perilaku dengan memvariasikan kondisi seperti cuaca dan pencahayaan untuk dataset mengemudi yang beragam. Parallel Domain juga menggunakan cetak biru ini untuk menerapkan variasi serupa pada simulasi sensor mereka.
Cetak Biru NVIDIA GROOT untuk generasi gerakan manipulasi sintetis menggabungkan Omniverse dan Cosmos Transfer untuk menghasilkan dataset yang beragam dalam skala besar, memanfaatkan simulasi bertenaga OpenUSD dan mengurangi waktu pengumpulan dan augmentasi data dari hari ke jam.
Diperkenalkan pada pameran dagang CES pada Januari, Cosmos Predict WFMs menghasilkan keadaan dunia virtual dari input multimodal seperti teks, gambar, dan video. Model Cosmos Predict baru akan memungkinkan generasi multi-frame, memprediksi tindakan atau lintasan gerakan menengah ketika diberikan gambar input awal dan akhir. Dibuat khusus untuk post-training, model ini dapat disesuaikan menggunakan dataset AI fisik yang tersedia secara terbuka.
Dengan kekuatan komputasi inferensi dari sistem Grace Blackwell NVL72 dan domain NVLink yang besar, pengembang dapat mencapai generasi dunia secara real-time. 1X menggunakan Cosmos Predict dan Cosmos Transfer untuk melatih robot humanoid baru mereka, NEO Gamma.
Pengembang otak robot Skild AI memanfaatkan Cosmos Transfer untuk menambah dataset sintetis untuk robot mereka. Selain itu, Nexar dan Oxa menggunakan Cosmos Predict untuk memajukan sistem mengemudi otonom mereka.
Cosmos Reason adalah WFM terbuka dan sepenuhnya dapat disesuaikan dengan kesadaran spatiotemporal yang menggunakan penalaran rantai-pikiran untuk memahami data video dan memprediksi hasil interaksi - seperti seseorang melangkah ke zebra cross atau sebuah kotak jatuh dari rak - dalam bahasa alami. Pengembang dapat menggunakan Cosmos Reason untuk meningkatkan anotasi dan kurasi data AI fisik, meningkatkan model fondasi dunia yang ada, atau membuat model aksi bahasa visi baru.
Berdasarkan tugas hilir mereka, pengembang dapat melakukan post-training pada Cosmos WFMs menggunakan skrip PyTorch asli atau kerangka kerja NeMo di DGX Cloud. Pengembang Cosmos juga dapat menggunakan NeMo Curator di DGX Cloud untuk pemrosesan dan kurasi data yang dipercepat.
Sejalan dengan prinsip-prinsip AI yang dapat dipercaya, NVIDIA memberlakukan pagar pembatas terbuka di seluruh Cosmos WFMs. Selain itu, NVIDIA bekerja sama dengan Google DeepMind untuk mengintegrasikan SynthID untuk memberi watermark dan membantu mengidentifikasi output yang dihasilkan AI dari microservice NIM Cosmos WFM y
Cosmos WFMs tersedia untuk pratinjau di katalog API NVIDIA dan sekarang terdaftar di Vertex AI Model Garden di Google Cloud. Cosmos Predict dan Cosmos Transfer tersedia secara terbuka di Hugging Face dan GitHub. Cosmos Reason tersedia dalam akses awal.
Cek Berita dan Artikel yang lain di
Google News
