Salah satu sorotan utama adalah sistem GB200 NVL72, yang mampu memberikan pengembalian investasi (ROI) hingga 15 kali lipat. Dengan investasi sekitar USD5 juta, sistem ini diproyeksikan menghasilkan pendapatan token senilai USD75 juta, menjadikannya solusi paling ekonomis untuk skala pusat data AI.
Tak hanya itu, GPU B200 juga mencatat efisiensi luar biasa. Berkat optimalisasi perangkat lunak, biaya komputasi dapat ditekan hingga USD0,02 per satu juta token, atau lima kali lebih murah dibandingkan generasi sebelumnya hanya dalam waktu dua bulan.
Dari sisi performa, B200 mampu memproses hingga 60.000 token per detik per GPU, dengan interaktivitas mencapai 1.000 token per detik per pengguna melalui dukungan TensorRT-LLM. Inovasi seperti speculative decoding pada model gpt-oss-120b-Eagle3-v2 bahkan mampu melipatgandakan throughput hingga 30.000 token per detik per GPU.
Untuk model padat seperti Llama 3.3 70B, Blackwell mencatat lebih dari 10.000 token per detik per GPU, empat kali lebih tinggi dibandingkan GPU H200. Selain itu, efisiensi energi juga meningkat signifikan: throughput per megawatt melonjak 10 kali lipat, sementara biaya per juta token turun hingga 15 kali lipat dibandingkan generasi sebelumnya.
Keunggulan ini lahir dari pendekatan hardware-software codesign yang menjadi ciri khas NVIDIA. Blackwell mengusung format presisi rendah NVFP4, konektivitas NVLink generasi kelima dengan bandwidth 1.800 GB/s, serta dukungan ekosistem luas melalui kolaborasi dengan komunitas open-source seperti SGLang, vLLM, dan FlashInfer.
Menurut NVIDIA, hasil benchmark ini menegaskan pergeseran AI dari sekadar uji coba menuju “AI factories” – infrastruktur yang mengubah data menjadi token dan keputusan secara real time. Dengan efisiensi biaya, kinerja, dan energi yang ditawarkan Blackwell, perusahaan kini memiliki fondasi lebih kuat untuk mengoptimalkan operasi AI berskala besar.
Cek Berita dan Artikel yang lain di
Google News
Viral! 18 Kampus ternama memberikan beasiswa full sampai lulus untuk S1 dan S2 di Beasiswa OSC. Info lebih lengkap klik : osc.medcom.id
