Aplikasi AI generatif baru ini menjadi semakin kompleks dan sering menggunakan beberapa model dengan kemampuan berbeda untuk menghasilkan teks, gambar, video, ucapan, dan lainnya. NVIDIA NIM secara dramatis meningkatkan produktivitas pengembang dengan menyediakan standar yang simpel untuk menambahkan AI generatif ke aplikasi mereka.
NIM juga memungkinkan perusahaan untuk memaksimalkan investasi infrastruktur. Misalnya, menjalankan Meta Llama 3-8B dalam NIM menghasilkan token AI generatif hingga 3x lebih banyak pada infrastruktur yang dipercepat daripada tanpa NIM. Ini memungkinkan perusahaan meningkatkan efisiensi dan menggunakan jumlah infrastruktur komputasi yang sama untuk menghasilkan lebih banyak respons.
Hampir 200 mitra teknologi — termasuk Cadence, Cloudera, Cohesity, DataStax, NetApp, Scale AI, dan Synopsys — mengintegrasikan NIM ke dalam platform mereka untuk mempercepat penerapan AI generatif untuk aplikasi khusus domain, seperti kopilot, asisten kode, dan avatar manusia digital. Hugging Face sekarang menawarkan NIM — dimulai dengan Meta Llama 3.
"Setiap perusahaan ingin menambahkan AI generatif ke operasinya, tetapi tidak setiap perusahaan memiliki tim peneliti AI yang berdedikasi," kata Jensen Huang, pendiri dan CEO NVIDIA. "Terintegrasi ke dalam platform apapun, dapat diakses oleh pengembang di mana saja, berjalan di manapun – NVIDIA NIM membantu industri teknologi menempatkan AI generatif dalam jangkauan untuk setiap organisasi."
Perusahaan dapat menerapkan aplikasi AI dalam produksi dengan NIM melalui platform perangkat lunak NVIDIA AI Enterprise. Mulai bulan depan, anggota Program Pengembang NVIDIA dapat mengakses NIM secara gratis untuk penelitian, pengembangan, dan pengujian pada infrastruktur pilihan mereka.
Kontainer NIM dibuat sebelumnya untuk mempercepat penerapan model untuk inferensi yang terakselerasi GPU dan dapat mencakup perangkat lunak NVIDIA CUDA, NVIDIA Triton Inference Server, dan perangkat lunak NVIDIA TensorRT-LLM.
Lebih dari 40 model NVIDIA dan komunitas tersedia untuk dimanfaatkan sebagai endpoint NIM di ai.nvidia.com, termasuk Databricks DBRX, model terbuka Google Gemma, Meta Llama 3, Microsoft Phi-3, Mistral Large, Mixtral 8x22B dan Snowflake Arctic.
Pengembang sekarang dapat mengakses layanan mikro NVIDIA NIM untuk model Meta Llama 3 dari platform Hugging Face AI. Ini memungkinkan pengembang dengan mudah mengakses dan menjalankan Llama 3 NIM hanya dalam beberapa klik menggunakan Hugging Face Inference Endpoints, yang didukung oleh GPU NVIDIA di cloud pilihan mereka.
Perusahaan dapat menggunakan NIM untuk menjalankan aplikasi untuk menghasilkan teks, gambar dan video, ucapan dan manusia digital. Dengan layanan mikro NVIDIA BioNeMo™ NIM untuk biologi digital, peneliti dapat membangun struktur protein baru untuk mempercepat penemuan obat.
Lusinan perusahaan layanan kesehatan menerapkan NIM untuk mendukung inferensi AI generatif di berbagai aplikasi, termasuk perencanaan bedah, asisten digital, penemuan obat, dan pengoptimalan uji klinis.
Dengan layanan mikro NVIDIA ACE NIM yang baru, pengembang dapat dengan mudah membangun dan mengoperasikan manusia digital yang interaktif dan hidup dalam aplikasi untuk layanan pelanggan, telehealth, pendidikan, game, dan hiburan.
Penyedia platform termasuk Canonical, Red Hat, Nutanix dan VMware (diakuisisi oleh Broadcom) mendukung NIM pada open-source KServe atau solusi perusahaan. Perusahaan aplikasi AI Hippocratic AI, Glean, Kinetica dan Redis juga menggunakan NIM untuk mendukung inferensi AI generatif.
Alat AI terkemuka dan mitra MLOps — termasuk Amazon SageMaker, Microsoft Azure AI, Dataiku, DataRobot, deepset, Domino Data Lab, LangChain, Llama Index, Replicate, Run.ai, Saturn Cloud, Securiti AI, dan Weights & Biases — juga telah menyematkan NIM ke dalam platform mereka untuk memungkinkan pengembang membangun dan menerapkan aplikasi AI generatif khusus domain dengan inferensi yang dioptimalkan.
Integrator sistem global dan mitra penyampaian layanan Accenture, Deloitte, Infosys, Latentview, Quantiphi, SoftServe, Tata Consultancy Services (TCS) dan Wipro telah menciptakan kompetensi NIM untuk membantu perusahaan dunia dengan cepat mengembangkan dan menerapkan strategi AI produksi.
Perusahaan dapat menjalankan aplikasi berkemampuan NIM hampir di mana saja, termasuk pada NVIDIA-Certified Systems dari produsen infrastruktur global Cisco, Dell, Hewlett-Packard Enterprise, Lenovo dan Supermicro, serta produsen server ASRockRack, ASUS, GIGABYTE, Ingrasys, Inventec, Pegatron, QCT, Wistron dan Wiwynn. Layanan mikro NIM juga telah diintegrasikan ke dalam Amazon Web Services, Google Cloud, Azure dan Oracle Cloud Infrastructure.
Pengembang dapat bereksperimen dengan layanan mikro NVIDIA di ai.nvidia.com tanpa biaya. Perusahaan dapat menerapkan layanan mikro NIM tingkat produksi dengan NVIDIA AI Enterprise yang berjalan pada NVIDIA-Certified Systems dan platform cloud terkemuka. Mulai bulan depan, anggota Program Pengembang NVIDIA akan mendapatkan akses gratis ke NIM untuk penelitian dan pengujian.
Cek Berita dan Artikel yang lain di
Google News
