Keahlian Neural Magic dalam inferensi performance engineering dan komitmennya terhadap open source selaras dengan visi Red Hat mengenai beban kerja AI berperforma tinggi yang secara langsung memetakan kasus penggunaan dan data yang spesifik bagi pelanggan, di mana saja di seluruh hybrid cloud.
Sementara janji gen AI mendominasi sebagian besar lanskap teknologi saat ini, model large language models (LLM) yang menopang sistem ini terus bertambah besar. Akibatnya, pengembangan layanan LLM yang hemat biaya dan andal membutuhkan daya komputasi, sumber daya energi, dan keterampilan operasional khusus yang signifikan. Tantangan-tantangan ini secara efektif membuat manfaat-manfaat AI yang bisa disesuaikan, siap digunakan, dan lebih memperhatikan keamanan, berada di luar jangkauan sebagian besar perusahaan.
Red Hat ingin menjawab semua tantangan tersebut dengan menjadikan gen AI lebih bisa diakses oleh lebih banyak perusahaan melalui inovasi terbuka vLLM. Dikembangkan oleh UC Berkeley, vLLM adalah proyek open source yang digerakkan komunitas untuk open model serving (bagaimana model gen AI menyimpulkan dan memecahkan masalah), yang mendukung semua keluarga model utama, riset percepatan inferensi mutakhir, dan hardware backend yang berbeda, di antaranya AMD GPU, AWS Neuron, Google TPU, Intel Gaudi, NVIDIA GPU, dan x86 CPU.
Kepemimpinan Neural Magic di proyek vLLM digabungkan dengan portofolio teknologi hybrid cloud AI yang kuat dari Red Hat, akan menawarkan perusahaan jalur terbuka untuk membangun strategi AI yang memenuhi kebutuhan unik mereka, di mana pun data mereka berada.
Neural Magic lahir dari MIT tahun 2018 dengan tujuan membangun software inferensi yang unggul untuk deep learning. Dengan teknologi dan keahlian Neural Magic dalam performance engineering, Red Hat menargetkan untuk mempercepat visinya untuk masa depan AI, didukung oleh portofolio teknologi AI Red Hat.
Dibangun untuk mengatasi tantangan enterprise AI dalam skala besar, Red Hat menggunakan inovasi open source untuk lebih mendemokratisasi akses ke kekuatan transformatif AI melalui model berlisensi open source, mulai dari skala parameter 1B hingga 405B, yang bisa berjalan di mana saja dia dibutuhkan di seluruh hybrid cloud – di pusat data korporasi, di sejumlah cloud, dan edge.
Kepemimpinan vLLM untuk meningkatkan AI Red HatNeural Magic memanfaatkan keahlian dan pengetahuan vLLM dalam membangun inference stack kelas enterprise yang memampukan pelanggan mengoptimalkan, menjalankan, dan mengembangkan beban kerja LLM di seluruh lingkungan hybrid cloud dengan kontrol penuh terhadap pilihan infrastruktur, kebijakan keamanan dan lifecycle model.
Neural Magic juga mengembangkan riset optimasi model, membangun LLM Compressor (library terpadu untuk mengoptimalkan LLM dengan algoritma ketersebaran (sparsity) dan kuantisasi mutakhir) dan menjalankan repository yang berisi model yang sudah dioptimalkan dan siap di-deploy dengan vLLM.
Cek Berita dan Artikel yang lain di
Google News
