Jakarta: Penerapan kecerdasan buatan (artificial intelligence/AI) di tingkat korporasi kini menghadapi tantangan serius seiring melonjaknya biaya komputasi dan ketidakefisienan pemanfaatan infrastruktur perangkat keras. Dalam ajang Cloudera Evolve 2026 di Singapura, Chief Business Officer and GM of Applied AI Cloudera, Abhas Ricky, menyoroti salah satu kendala operasional terbesar dalam adopsi AI modern, yaitu fenomena GPU starvation serta lonjakan biaya berbasis token.
Abhas menjelaskan bahwa industri teknologi saat ini tengah bertransisi dari era pelatihan model menuju era inferensi. Kendati adopsi AI meningkat pesat, banyak perusahaan justru terbebani oleh tingginya biaya konsumsi token dan inefisiensi infrastruktur. Masalah GPU starvation kerap terjadi ketika unit pemrosesan grafis bernilai tinggi terpaksa menganggur hanya karena lambatnya pasokan data konteks dari arsitektur penyimpanan.
"GPU akan berdiri tanpa pasokan konteks data secara langsung, dan kondisi tersebut memicu pemborosan biaya yang sangat besar bagi perusahaan," ungkap Abhas di hadapan peserta Cloudera Evolve 2026 Singapore.
Guna menuntaskan persoalan tersebut, Cloudera mengumumkan kolaborasi strategis dengan penyedia arsitektur data AI, VAST Data. Integrasi layanan mikro dan manajemen data Cloudera dengan sistem operasi data VAST Data dirancang untuk memangkas latensi transfer data langsung ke prosesor grafis. Arsitektur gabungan ini diklaim mampu meningkatkan efisiensi pemrosesan data antara 50 hingga 80 persen, khususnya pada beban kerja komputasi berkinerja tinggi (high performance computing).
Selain mengoptimalkan pasokan data ke GPU, Cloudera juga memperkuat pilar komputasi terakselerasi melalui kemitraan dengan NVIDIA. Melalui integrasi NVIDIA NIM Microservices serta dukungan terhadap model canggih seperti Nemotron, perusahaan dapat memindahkan model AI dari tahap eksperimen ke produksi dalam hitungan hari, bukan lagi berbulan-bulan. Pada skenario tertentu, akselerasi dan deployment model ini tercatat mampu berjalan hingga 36 kali lebih cepat.
Menurut Abhas, efisiensi arsitektur komputasi dan penyimpanan menjadi kunci utama prediktabilitas ekonomi AI bagi pelaku bisnis. Saat ini, Cloudera mengelola lebih dari 30 Exabyte data enterprise global yang siap dimanfaatkan langsung sebagai sumber data inferensi.
Membangun arsitektur inferensi berbasis sistem internal yang terkelola terbukti jauh lebih hemat dibandingkan ketergantungan penuh pada antarmuka pemrograman aplikasi (API) cloud publik berbasis token.
Pada studi kasus perbankan untuk proses verifikasi nasabah (Know Your Customer/KYC), pemanfaatan arsitektur Cloudera mampu memangkas total biaya kepemilikan (Total Cost of Ownership/TCO) sebesar 70 hingga 85 persen pada tingkat utilisasi tinggi.
Jadikan Medcom.id sumber informasi pilihan Anda
FOLLOW US
Ikuti media sosial medcom.id dan dapatkan berbagai keuntungan
