Kolaborasi ini berfokus untuk memberikan fleksibilitas kepada para pengambil keputusan IT agar dapat menjalankan inferensi AI berkinerja tinggi dan efisien pada skala besar, tanpa terikat pada hardware tertentu.
Peningkatan kebutuhan akan Gen AI dan inferensi yang dapat diskalakan mendorong banyak organisasi untuk mengevaluasi kembali infrastruktur IT mereka. IDC bahkan memprediksi bahwa pada tahun 2027, 40% organisasi akan menggunakan custom silicon untuk memenuhi permintaan akan optimalisasi kinerja dan efisiensi biaya.
Kerja sama Red Hat dan AWS menyatukan platform komprehensif Red Hat dengan infrastruktur cloud dan chipset AI AWS untuk strategi Gen AI full-stack. Aspek-aspek utamanya meliputi:
Red Hat AI Inference Server pada chip AI AWS: Red Hat AI Inference Server, yang didukung oleh vLLM, akan diaktifkan dengan chip AWS Inferentia2 dan AWS Trainium3. Ini menghadirkan lapisan inferensi umum yang dapat mendukung model Gen AI apa pun, membantu pelanggan mencapai kinerja lebih tinggi, latensi lebih rendah, dan efisiensi biaya.
Red Hat mengklaim peningkatan harga dan kinerja hingga 30–40% lebih baik dibandingkan instance Amazon EC2 berbasis GPU yang sebanding saat ini.
Mengaktifkan AI pada Red Hat OpenShift: Red Hat bekerja sama dengan AWS untuk mengembangkan operator AWS Neuron bagi Red Hat OpenShift, Red Hat OpenShift AI, dan Red Hat OpenShift Service on AWS.
Kemudahan Akses dan Implementasi: Dukungan terhadap chip AI AWS menawarkan akses yang lebih mudah dan optimal ke akselerator berkapasitas tinggi. Selain itu, Red Hat juga merilis amazon.ai Certified Ansible Collection untuk Red Hat Ansible Automation Platform guna memfasilitasi orkestrasi layanan AI di AWS.
Joe Fernandes, vice president and general manager, AI Business Unit, Red Hat, menyatakan bahwa dengan mengaktifkan Red Hat AI Inference Server menggunakan chip AI AWS, organisasi diberdayakan untuk mengimplementasikan dan meningkatkan beban kerja AI dengan efisiensi dan fleksibilitas yang makin bertambah.
Senada dengan itu, Colin Brace, vice president, Annapurna Labs, AWS, menambahkan bahwa chip Trainium dan Inferentia dirancang untuk membuat inferensi dan training AI berkinerja tinggi lebih mudah diakses dan hemat biaya.
Kolaborasi ini menggabungkan fleksibilitas open source dengan infrastruktur AWS dan akselerator AI yang dibuat khusus, untuk mempercepat time-to-value dari tahap uji coba hingga ke tahap produksi.
Cek Berita dan Artikel yang lain di
Google News
