Sama seperti generasi sebelumnya, Intel Gaudi 3 dirancang untuk mempercepat proses komputasi pelatihan model pada AI dan Machine Learning (ML) namun dengan peningkatan lebih baik.
Intel Gaudi 3 diciptakan lewat fabrikasi 5nm TSCM dengan konfigurasi 65-core tensor egenerasi kelima. Selain itu di dalamnya ada 8 Matrix Math Engine untuk komputasi operasi matematis yang diklaim punya efisiensi tinggi.
Pada aspek memori tersedia 128GB HBM2e kinerja tinggi berkat bandwidth mencapai 3,7 TB/s srta SRAM 96MB. Soal kemampuan komputasinya, Intel Gaudi 4 diklaim menyajikan performa 1.385 TFLOPS yang jauh lebih unggul dari generasi Intel Gaudi 2.
Beberapa kali Intel Gaudi 3 diklaim menjadi kompetitor dari Nvidia 100H, bahkan Intel diklaim lebih unggul. Mereka menyebut 15 persen lebih cepat dalam hal 64X Llama 2-70B dibandingkan Nvidia 100H.
.jpg)
Selain itu Intel Gaudi 3 juga menjanjikan efisiensi biaya yang lebih baik lewat throughput inferensi 2.3 kali lebih tinggi per-dollar jika dibandingkan Nvidia 100H. Makanya Intel Gaudi 3 disebut sebagai pilihan terbaik bagi perusahaan yang mengembangkan infrastruktur AI dengan mengedepankan aspek ekonomi atau budget.
.jpg)
Komparasi lainnya dengan Nvidia 100H menyebut Intel Gaudi 3 dalam hal pelatihan model AI masih lebih cepat dengan kemampuan melatih 8192 cluster dengan kecepatan 40 kali lebih cepat dari Nvidia. Jadi pelatihan AI membutuhkan waktu yang singkat sekalipun jumlah data yang sangat banyak.
Intel Gaudi 3 sudah menyediakan dukungan untuk konektivitas ke 24 port Ethernet RoCE 200GbE. Akselerator kebanggaan Intel tersebut dijanjikan tersedia pada paruh kedua tahun 2024.
Cek Berita dan Artikel yang lain di
Google News
