Menurut NVIDIA, pusat data modern telah berevolusi menjadi pabrik token AI. Output utama bukan lagi cuma soal komputasi mentah, tetapi juga jumlah token yang dapat dihasilkan. Dengan demikian, biaya per juta token menjadi indikator nyata yang mencerminkan integrasi perangkat keras, perangkat lunak, jaringan, serta tingkat utilisasi sistem.
Perbandingan antara GPU generasi Hopper dan Blackwell menjadi contoh nyata. Hopper mampu menghasilkan sekitar 90 token per detik per GPU dengan biaya sekitar USD4,20 per juta token.
Sementara itu, Blackwell melompat jauh dengan 6.000 token per detik per GPU dan biaya hanya USD0,12 per juta token. Meski harga sewa GPU Blackwell lebih tinggi, efisiensi energi dan output tokennya membuat biaya operasional turun drastis hingga 35 kali lipat.
NVIDIA menekankan bahwa optimisasi seperti penggunaan presisi FP4, speculative decoding, multi-token prediction, serta offloading KV-cache menjadi faktor penting dalam menekan biaya token. Cloud partner seperti CoreWeave, Nebius, Nscale, dan Together AI sudah mulai mengadopsi Blackwell untuk menghadirkan layanan AI dengan biaya token terendah.
Dengan fokus pada biaya per token, perusahaan dapat memperluas layanan AI secara lebih menguntungkan, sekaligus membuka peluang baru dalam penerapan generative AI di berbagai sektor. Paradigma ini diyakini akan menjadi standar baru dalam menilai total cost of ownership (TCO) untuk infrastruktur AI di masa depan.
Cek Berita dan Artikel yang lain di
Google News
