Colossus, superkomputer AI terbesar di dunia, digunakan untuk melatih keluarga model bahasa besar Grok xAI, dengan chatbot yang ditawarkan sebagai fitur untuk pelanggan X Premium. xAI sedang dalam proses menggandakan ukuran Colossus menjadi total gabungan 200.000 GPU NVIDIA Hopper.
Fasilitas pendukung dan superkomputer canggih dibangun oleh xAI dan NVIDIA hanya dalam 122 hari, yang biasanya dapat memakan waktu berbulan-bulan hingga bertahun-tahun. Butuh waktu 19 hari sejak rak pertama berguling ke lantai hingga pelatihan dimulai.
Saat melatih model Grok yang sangat besar, Colossus mencapai kinerja jaringan yang belum pernah terjadi sebelumnya. Di ketiga tingkatan fabric jaringan, sistem tidak mengalami degradasi latensi aplikasi atau kehilangan paket karena tabrakan aliran.
Ini telah mempertahankan 95% throughput data yang diaktifkan oleh kontrol Spectrum-X. Tingkat kinerja ini tidak dapat dicapai dalam skala besar dengan Ethernet standar, yang menciptakan ribuan tabrakan aliran sambil memberikan hanya 60% throughput data.
"AI menjadi sangat penting dan membutuhkan peningkatan kinerja, keamanan, skalabilitas, dan efisiensi biaya," kata Gilad Shainer, wakil presiden senior jaringan di NVIDIA. "Platform jaringan Ethernet NVIDIA Spectrum-X dirancang untuk menyediakan inovator seperti xAI dengan pemrosesan, analisis, dan eksekusi beban kerja AI yang lebih cepat, dan pada gilirannya mempercepat pengembangan, penerapan, dan waktu ke pasar solusi AI."
"xAI telah membangun superkomputer terbesar dan paling kuat di dunia," kata juru bicara xAI. "GPU Hopper NVIDIA dan Spectrum-X memungkinkan kami untuk mendorong batas-batas pelatihan model AI dalam skala besar, menciptakan pabrik AI yang sangat dipercepat dan dioptimalkan berdasarkan standar Ethernet."
Inti dari platform Spectrum-X adalah sakelar Ethernet Spectrum SN5600, yang mendukung kecepatan port hingga 800Gb/s dan didasarkan pada ASIC sakelar Spectrum-4. xAI memilih untuk memasangkan sakelar Spectrum-X SN5600 dengan BlueField-3 SuperNIC untuk kinerja yang belum pernah terjadi sebelumnya.
Jaringan Ethernet Spectrum-X untuk AI menghadirkan fitur-fitur canggih yang memberikan bandwidth yang sangat efektif dan dapat diskalakan dengan latensi rendah dan latensi ekor pendek, yang sebelumnya eksklusif untuk InfiniBand.
Fitur-fitur ini termasuk perutean adaptif dengan teknologi NVIDIA Direct Data Placement, kontrol kemacetan, serta visibilitas fabric AI yang ditingkatkan dan isolasi kinerja — semua persyaratan utama untuk cloud AI generatif multi-penyewa dan lingkungan perusahaan besar.
Cek Berita dan Artikel yang lain di
Google News
