Dibuat untuk menangani beban kerja AI generatif paling kompleks di dunia, mencakup model bahasa besar, sistem pemberi rekomendasi, dan database vektor, platform baru ini akan tersedia dalam berbagai konfigurasi.
Konfigurasi ganda — yang memberikan kapasitas memori hingga 3,5x lebih banyak dan bandwidth 3x lebih banyak daripada penawaran generasi saat ini — terdiri dari satu server dengan 144 inti Arm Neoverse, delapan petaflop kinerja AI, dan 282GB teknologi memori HBM3e terbaru.
“Untuk memenuhi permintaan AI generatif yang melonjak, pusat data memerlukan platform komputasi yang dipercepat dengan kebutuhan khusus,” kata Jensen Huang, pendiri dan CEO Nvidia.
“Platform GH200 Grace Hopper Superchip yang baru memberikan ini dengan teknologi memori dan bandwidth yang luar biasa untuk meningkatkan throughput, kemampuan untuk menghubungkan GPU ke kinerja agregat tanpa kompromi, dan desain server yang dapat dengan mudah digunakan di seluruh pusat data.”
Platform baru ini menggunakan Grace Hopper Superchip, yang dapat dihubungkan dengan Superchip tambahan oleh Nvidia NVLink, yang memungkinkan mereka bekerja sama untuk menerapkan model raksasa saat ini untuk AI generatif.
Dalam konfigurasi ganda, teknologi koheren berkecepatan tinggi ini memberi GPU akses penuh ke memori CPU, menyediakan gabungan memori cepat 1,2TB.
Memori HBM3e, yang 50% lebih cepat dari HBM3 saat ini, memberikan bandwidth gabungan total 10TB/detik, memungkinkan platform baru untuk menjalankan model 3,5x lebih besar dari versi sebelumnya, sekaligus meningkatkan kinerja dengan bandwidth memori 3x lebih cepat.
Pabrikan terkemuka sudah menawarkan sistem berdasarkan Grace Hopper Superchip yang diumumkan sebelumnya. Untuk mendorong adopsi teknologi secara luas, platform Grace Hopper Superchip generasi berikutnya dengan HBM3e sepenuhnya kompatibel dengan spesifikasi server Nvidia MGX yang diluncurkan di Computex awal tahun ini.
Dengan MGX, produsen sistem dapat menambahkan Grace Hopper ke lebih dari 100 variasi server secara cepat dan hemat. Pabrikan sistem terkemuka diharapkan untuk menghadirkan sistem berdasarkan platform pada Q2 tahun kalender 2024.
Cek Berita dan Artikel yang lain di
Google News
