Pada beberapa bagian presentasi, tercantum nama kompetitornya yaitu Nvidia H100 dan H200 yang merupakan AI Accelerator berbasis GPU. Hal ini memberikan pesan bahwa Intel Gaudi menjadi pesaing dari Nvidia.
Prosesor AI Intel Gaudi 3 diciptakan dengan fabrikasi 5nm dan menawarkan teknologi dari Tensor Core Generasi ke-5. Konfigurasi arsitektur komponen di dalamnya terdiri dari 64 Tensor Core yang dibagi ke dalam dua komponen die dan delapan MME.
Kedua komponen ini memungkinkan 64.000 proses kinerja operasional parallel yang menghasilkan komputasi dengan efisiensi tingkat tinggi yang menjadi fondasi algoritma deep learning.
Kapasitas memori HBMe2 sebesar 128GB, memory bandwidth 3,7TB, dan 96MB SRAM menyediakan memori yang memadai untuk kebutuhan dataset GenAI. Intel Gaudi 3 juga dirancang untuk mendukung opsi skalabilitas sistem bagi GenAI di sektor enterprise dengan menyediakan fitur 200Gb Ethernet.
Pada hasil benchmark yang dibagikan Intel pada acara tersebut, diklaim bahwa Intel Gaudi 3 memiliki banyak keunggulan performa dibandingkan Nvidia H100 ditambah Intel menjanjikan harga yang lebih rendah dari kompetitornya.
Jika dibandingkan dengan Nvidia H100, Intel Gaudi 3 diklaim secara rata-rata diproyeksikan bisa melakukan pelatihan 50 persen lebih cepat dalam model-model Llama2 dengan parameter 7B dan 13B, dan model parameter GPT-3 175B.
Selain itu, throughput inferensi Intel Gaudi 3 accelerator secara-rata-rata diproyeksikan akan mengungguli H100 sebesar 50 persen and 40 persen untuk rerata efisiensi daya inferensi dalam parameter Llama 7B dan 70B, dan model-model parameter Falcon 180B.
Intel Gaudi 3 disebut akan tersedia bagi kalangan OEM pada paruh kedua tahun ini, tersedia juga varian lain yaitu untuk kalangan Open Accelerator Module (OAM). Sejumlah merek yang menyatakan siap mengadopsi Intel Gaudi 3 di antaranya adalah Dell Technologies, Hewlett Packard Enterprise, Lenovo, dan Supermicro.
Cek Berita dan Artikel yang lain di
Google News
