Singapura: Biaya penggunaan model kecerdasan buatan (Artificial Intelligence/AI) per juta token terus mengalami penurunan di pasar global. Namun, kondisi tersebut tidak serta-merta membuat total pengeluaran perusahaan menyusut. Fenomena biaya ini menjadi salah satu sorotan utama dalam gelaran Cloudera Evolve 2026 di Singapura.
Business Officer and GM Applied AI Cloudera, Abhas Ricky, mengungkapkan bahwa biaya komputasi model AI dari berbagai penyedia besar saat ini sejatinya telah anjlok hingga 40 sampai 50 persen. Kendati demikian, banyak pengambil keputusan di level enterprise justru mendapati total biaya kepemilikan atau Total Cost of Ownership (TCO) mereka melonjak tajam.
"Harga token per juta input dan output memang turun drastis, termasuk untuk model-model mini. Namun, seiring dengan makin banyaknya kasus penggunaan (use cases) yang dibuka, volume konsumsi melonjak berkali-kali lipat sehingga total biaya operasional pada akhirnya tetap membengkak," ujar Abhas dalam sesi diskusi strategis bersama raksasa industri kesehatan global, AbbVie.
Fenomena ini diperkuat oleh paparan Brian Martin dari AbbVie. Ia menceritakan pengalamannya ketika perusahaan membuka akses model bahasa besar (Large Language Model/LLM) tanpa batas kepada seluruh karyawan untuk memicu inovasi akar rumput. Eksplorasi tersebut memang melahirkan gelombang kreativitas tinggi, tetapi di sisi lain memicu tantangan besar dalam tata kelola dan estimasi pembengkakan biaya.
Martin mengibaratkan dinamika konsumsi model AI saat ini layaknya pasar energi dan listrik. Menurutnya, fondasi model AI kini telah bergeser dari sekadar inovasi baru menjadi komoditas dan utilitas dasar.
Untuk mengendalikan TCO, enterprise perlu menerapkan pendekatan hybrid. Strategi ini menyerupai pemasangan panel surya mandiri di tingkat rumah tangga: beban kerja dasar dijalankan menggunakan model privat atau sovereign AI on-premise guna memangkas biaya rutin, sementara lonjakan beban tak terduga disalurkan ke model komersial berbasis cloud.
Selain arsitektur hibrida, kunci krusial untuk mengatasi dilema TCO adalah penguatan observasi terpusat melalui LLM Gateway. AbbVie, misalnya, telah menerapkan gerbang LLM sentral selama 2,5 tahun untuk memantau seluruh lalu lintas inferensi dan konsumsi token secara real-time. Langkah ini memungkinkan perusahaan menguji efektivitas berbagai model tanpa perlu mengubah kode aplikasi, serta mendistribusikan beban secara efisien.
Abhas menambahkan bahwa penerapan gerbang AI terpusat yang dilengkapi tata kelola ketat terbukti mampu memangkas biaya operasional enterprise hingga 20 sampai 25 persen. Dengan kompleksitas implementasi yang kian matang, para pemimpin bisnis diingatkan agar tidak terjebak pada hitungan murahnya harga model semata.
Perhitungan TCO AI harus dipetakan secara menyeluruh melalui tiga pilar nilai utama, yakni efisiensi operasional, presisi analitikal, serta dampak pengalaman nyata bagi pengguna dan bisnis.
Jadikan Medcom.id sumber informasi pilihan Anda
FOLLOW US
Ikuti media sosial medcom.id dan dapatkan berbagai keuntungan
