Perusahaan-perusahaan saat ini menghadapi tantangan besar saat bergerak melampaui tahap eksperimen AI, termasuk privasi data, pengendalian biaya, dan pengelolaan berbagai model.
Sebuah laporan dari proyek NANDA di Massachusetts Institute of Technology, "The GenAI Divide: State of AI in Business," menyoroti bahwa sekitar 95% organisasi gagal meraih keuntungan finansial yang terukur dari investasi AI perusahaan senilai sekitar US$40 miliar.
Red Hat AI 3 berfokus untuk menjawab tantangan ini dengan menghadirkan pengalaman yang lebih konsisten dan terpadu bagi para CIO dan pemimpin IT.
Platform ini memungkinkan organisasi untuk meningkatkan dan mendistribusikan beban kerja AI di lingkungan hybrid dan multi-vendor, sekaligus memperkuat kolaborasi lintas tim pada beban kerja AI generasi berikutnya, seperti agentic AI, semuanya dalam satu platform umum yang berlandaskan open standard.
Pergeseran fokus dari pelatihan model ke inferensi — fase "menjalankan" enterprise AI — menjadi kunci saat organisasi memindahkan inisiatif AI ke tahap produksi. Red Hat AI 3 menekankan inferensi yang bisa ditingkatkan dan hemat biaya, yang dikembangkan dari proyek komunitas vLLM yang sukses dan llm-d, serta kemampuan pengoptimalan model Red Hat untuk menyediakan layanan large language model (LLM) tingkat produksi.
Red Hat OpenShift AI 3.0 memperkenalkan ketersediaan umum llm-d, yang merevolusi cara kerja LLM di Kubernetes. Llm-d memungkinkan inferensi terdistribusi yang cerdas dengan memanfaatkan orkestrasi Kubernetes dan performa vLLM, digabungkan dengan teknologi open source penting seperti Kubernetes Gateway API Inference Extension, NVIDIA Dynamo low latency data transfer library (NIXL), dan DeepEP Mixture of Experts (MoE) communication library.
Ini memungkinkan organisasi untuk mengurangi biaya, meningkatkan waktu respons, menyederhanakan operasional, dan memaksimalkan fleksibilitas dengan dukungan lintas platform untuk berbagai akselerator hardware, termasuk NVIDIA dan AMD.
Red Hat AI 3 menghadirkan pengalaman terpadu dan fleksibel untuk membangun solusi AI generatif yang siap produksi. Kemampuan baru termasuk Model as a Service (MaaS) yang dikembangkan di inferensi terdistribusi, memungkinkan tim IT menjadi penyedia MaaS mereka sendiri.
AI hub memberdayakan platform engineer untuk mengeksplorasi, menjalankan, dan mengelola aset AI penting, menyediakan katalog model yang terkurasi. Gen AI Studio menyediakan lingkungan uji coba bagi engineer AI untuk berinteraksi dengan model dan membuat prototipe aplikasi gen AI baru dengan cepat.
Platform ini juga mencakup model Red Hat baru yang telah divalidasi dan dioptimalkan, seperti gpt-oss dari OpenAI, DeepSeek-R1, Whisper untuk speech-to-text, dan Voxtral Mini untuk agen AI berbasis suara.
Pelepasan Red Hat OpenShift AI 3.0 merupakan langkah penting dalam menghadirkan sistem agentic AI yang skalabel, tidak hanya melalui kemampuan inferensi tetapi juga melalui fitur-fitur baru yang berfokus pada pengelolaan agen.
Red Hat telah memperkenalkan Unified API layer berbasis Llama Stack dan menjadi pengadopsi awal Model Context Protocol (MCP), sebuah standar baru untuk menyederhanakan interaksi model AI dengan tools eksternal.
Red Hat AI 3 juga memperkenalkan toolkit modular dan dapat diperluas untuk kustomisasi model, dibangun di atas fungsi InstructLab. Toolkit ini menyediakan libraries Python khusus, didukung oleh proyek open source seperti Docling untuk pemrosesan data, framework untuk menghasilkan data sintetis, dan training hub untuk melatih LLM. Pusat evaluasi terintegrasi membantu engineer AI memonitor dan memvalidasi hasil, meningkatkan kepercayaan diri dalam memanfaatkan data proprietary untuk hasil AI yang lebih akurat dan relevan.
Joe Fernandes, vice president dan general manager, AI Business Unit, Red Hat, menyatakan bahwa Red Hat AI 3 menyediakan platform open source kelas enterprise yang akan meminimalkan hambatan dalam mengoperasionalkan AI generasi berikutnya.
Cek Berita dan Artikel yang lain di
Google News
Viral! 18 Kampus ternama memberikan beasiswa full sampai lulus untuk S1 dan S2 di Beasiswa OSC. Info lebih lengkap klik : osc.medcom.id
