Di antara pengungkapan tersebut adalah node AI generatif baru dan alur kerja untuk pengembang ROS yang diterapkan ke platform Jetson untuk AI dan robotika edge. AI generatif memungkinkan robot untuk memahami dan memahami konteks lingkungan mereka, berkomunikasi secara alami dengan manusia, dan membuat keputusan adaptif secara mandiri.
AI Generatif Hadir di Komunitas ROS
ReMEmbR, dibangun di atas ROS 2, menggunakan AI generatif untuk meningkatkan penalaran dan tindakan robotik. Ini menggabungkan model bahasa besar (LLM), model bahasa visi (VLM) dan generasi yang ditingkatkan pengambilan untuk memungkinkan robot membangun dan menanyakan memori semantik jangka panjang dan meningkatkan kemampuan mereka untuk menavigasi dan berinteraksi dengan lingkungan mereka.
Kemampuan pengenalan suara didukung oleh node WhisperTRT ROS 2. Node ini menggunakan NVIDIA TensorRT untuk mengoptimalkan model Whisper OpenAI untuk mengaktifkan inferensi latensi rendah pada Jetson, menghasilkan interaksi manusia-robot yang responsif.
Robot ROS 2 dengan proyek kontrol suara menggunakan layanan NVIDIA Riva ASR-TTS untuk membuat robot memahami dan merespons perintah yang diucapkan. Laboratorium Propulsi Jet NASA secara independen mendemonstrasikan ROSA, agen bertenaga AI untuk ROS, yang beroperasi pada robot Nebula-SPOT dan robot Nova Carter di NVIDIA Isaac Sim.
Di ROSCon, Canonical mendemonstrasikan NanoOWL, model deteksi objek zero-shot yang berjalan pada modul sistem NVIDIA Jetson Orin Nano. Ini memungkinkan robot untuk mengidentifikasi berbagai objek secara real time, tanpa bergantung pada kategori yang telah ditentukan sebelumnya.
Pengembang dapat memulai hari ini dengan ROS 2 Nodes for Generative AI, yang menghadirkan LLM dan VLM yang dioptimalkan NVIDIA Jetson untuk meningkatkan kemampuan robot.
Meningkatkan Alur Kerja ROS Dengan Pendekatan 'Sim-First'
Simulasi sangat penting untuk menguji dan memvalidasi robot berkemampuan AI dengan aman sebelum penerapan. NVIDIA Isaac Sim, platform simulasi robotika yang dibangun di atas OpenUSD, menyediakan lingkungan virtual bagi pengembang ROS untuk menguji robot dengan menghubungkannya dengan mudah ke paket ROS mereka. Panduan Pemula baru untuk Alur Kerja ROS 2 Dengan Isaac Sim, yang mengilustrasikan alur kerja end-to-end untuk simulasi dan pengujian robot, sekarang tersedia.
Foxglove, anggota program NVIDIA Inception untuk startup, mendemonstrasikan integrasi yang membantu pengembang memvisualisasikan dan men-debug data simulasi secara real time menggunakan ekstensi kustom Foxglove, yang dibangun di atas Isaac Sim.
Kemampuan Baru untuk Isaac ROS 3.2
NVIDIA Isaac ROS, dibangun di atas kerangka kerja perangkat lunak ROS 2 sumber terbuka, adalah serangkaian paket komputasi yang dipercepat dan model AI untuk pengembangan robotika. Rilis 3.2 yang akan datang meningkatkan persepsi robot, manipulasi, dan pemetaan lingkungan.
Peningkatan utama pada NVIDIA Isaac Manipulator mencakup alur kerja referensi baru yang mengintegrasikan FoundationPose dan cuMotion untuk mempercepat pengembangan alur pick-and-place dan object-following dalam robotika.
Lainnya adalah NVIDIA Isaac Perceptor, yang menampilkan alur kerja referensi SLAM visual baru, deteksi multi-kamera yang ditingkatkan, dan rekonstruksi 3D untuk meningkatkan kesadaran dan kinerja lingkungan robot seluler otonom (AMR) dalam pengaturan dinamis seperti gudang.
Cek Berita dan Artikel yang lain di
Google News
