Jakarta: Seiring dengan makin masifnya integrasi kecerdasan buatan (AI) di sektor korporasi, perusahaan-perusahaan kini dihadapkan pada tantangan ganda yang tak kalah berat. Melonjaknya biaya operasional AI dan risiko terkunci pada satu penyedia layanan (vendor lock-in) adalah tantangan ini. Dalam ketergesaan mengadopsi teknologi baru, banyak organisasi terjebak dalam ketergantungan pada model fondasi proprietari tunggal yang menguras anggaran.
Chief Technology Officer (CTO) of Cloud Computing Akamai, Jay Jenkins, menyoroti bahwa keterikatan vendor menjadi salah satu jebakan utama yang sering tidak disadari oleh para pemimpin teknologi. Demi mengejar kecepatan adopsi, perusahaan kerap memilih satu vendor tertentu dan mengintegrasikannya secara penuh ke dalam seluruh sistem operasional mereka.
"Sering kali, demi mempercepat adopsi AI, organisasi memilih satu vendor tertentu dan mengandalkannya sepenuhnya. Akibatnya, mereka terkunci pada model operasional dan biaya tertentu," kata Jay dalam sesi virtual media briefing.
Ia menambahkan bahwa kondisi ini menyulitkan perusahaan untuk bergerak lincah ketika lanskap teknologi atau struktur harga pasar berubah. Menurut Jay, biaya infrastruktur AI saat ini melonjak sangat tinggi, bukan hanya karena keterbatasan ketersediaan GPU, melainkan juga akibat tingginya konsumsi memori dan biaya token saat aplikasi mulai diskalakan secara luas.
Salah satu area yang mengalami lonjakan biaya signifikan adalah pengembangan kode internal. Penggunaan perkakas bantu coding berbasis AI seperti Claude Code dan Copilot memang meningkatkan produktivitas pengembang, namun biaya token yang dihasilkan sering kali membengkak tajam ketika digunakan oleh tim skala besar.
Untuk mengatasi kendala tersebut, Jay menyarankan strategi pemisahan beban kerja dengan memanfaatkan model open-weight. Dalam skema ini, perusahaan tidak perlu mengandalkan model proprietari raksasa untuk seluruh tahapan pekerjaan.
Model berukuran besar dapat dialokasikan khusus untuk tugas kompleks seperti perencanaan arsitektur aplikasi dan penulisan kode utama, sedangkan tugas berulang seperti unit testing, code review, dan pembuatan dokumentasi diserahkan kepada model open-weight. Langkah ini terbukti dapat memangkas total biaya penggunaan AI secara drastis.
Guna mendukung fleksibilitas tersebut, Akamai menghadirkan layanan Inference as a Service yang mencakup opsi serverless dan dedicated inference berbasis model open-weight dengan endpoint yang sepenuhnya kompatibel terhadap OpenAI API. Kompatibilitas ini memungkinkan organisasi untuk berpindah masuk atau keluar antarmodel kapan saja tanpa harus mengubah infrastruktur dasar mereka.
"Bagi organisasi yang sulit memprediksi beban kerjanya, atau yang beban kerjanya sangat fluktuatif, implementasi serverless memungkinkan mereka bereksperimen dengan aman dan hanya membayar apa yang mereka gunakan," jelas Jay.
Jay juga mewanti-wanti agar pelaku industri memperhitungkan tidak hanya biaya adopsi, melainkan juga biaya untuk keluar dari suatu teknologi.
"Saya mengingatkan siapa pun yang menerapkan AI saat ini agar tidak terlalu terkunci pada vendor atau model operasional tertentu, karena keadaan berubah dengan cepat," pungkasnya.
FOLLOW US
Ikuti media sosial medcom.id dan dapatkan berbagai keuntungan
