NVIDIA Blackwell adalah tantangan komputasi full-stack terbaik. Ini terdiri dari beberapa chip NVIDIA, termasuk GPU Blackwell, CPU Grace, unit pemrosesan data BlueField, kartu antarmuka jaringan ConnectX, NVLink Switch, sakelar Spectrum Ethernet, dan sakelar Quantum InfiniBand.
Ajay Tirumala dan Raymond Wong, direktur arsitektur di NVIDIA, memberikan pandangan pertama pada platform dan menjelaskan bagaimana teknologi ini bekerja sama untuk memberikan standar baru untuk AI dan kinerja komputasi yang dipercepat sambil memajukan efisiensi energi.
Solusi NVIDIA GB200 NVL72 multi-node adalah contohnya. Inferensi LLM memerlukan pembuatan token latensi rendah dan throughput tinggi. GB200 NVL72 bertindak sebagai sistem terpadu untuk memberikan inferensi hingga 30x lebih cepat untuk beban kerja LLM, membuka kemampuan untuk menjalankan model triliunan parameter secara real time.
Tirumala dan Wong juga membahas bagaimana NVIDIA Quasar Quantization System — yang menyatukan inovasi algoritmik, pustaka dan alat perangkat lunak NVIDIA, dan Transformer Engine generasi kedua Blackwell — mendukung akurasi tinggi pada model presisi rendah, menyoroti contoh menggunakan LLM dan AI generatif visual.
Menjaga Pusat Data Tetap Dingin
Dengungan klasik pusat data berpendingin udara dapat menjadi peninggalan masa lalu karena para peneliti mengembangkan solusi yang lebih efisien dan berkelanjutan yang menggunakan pendinginan hibrida, kombinasi pendinginan udara dan cairan.
Teknik pendinginan cair memindahkan panas dari sistem dengan lebih efisien daripada udara, sehingga memudahkan sistem komputasi untuk tetap dingin bahkan saat memproses beban kerja yang besar. Peralatan untuk pendinginan cair juga memakan lebih sedikit ruang dan mengkonsumsi lebih sedikit daya daripada sistem pendingin udara, memungkinkan pusat data untuk menambahkan lebih banyak rak server — dan karenanya lebih banyak daya komputasi — di fasilitas mereka.
Ali Heydari, direktur pendinginan dan infrastruktur pusat data di NVIDIA, mempresentasikan beberapa desain untuk pusat data berpendingin hibrida.
Beberapa desain retrofit pusat data berpendingin udara yang ada dengan unit pendingin cairan, menawarkan solusi cepat dan mudah untuk menambahkan kemampuan pendinginan cair ke rak yang ada.
Desain lain memerlukan pemasangan perpipaan untuk pendinginan cairan langsung ke chip menggunakan unit distribusi pendingin atau dengan merendam server seluruhnya dalam tangki pendingin perendaman. Meskipun opsi ini menuntut investasi di muka yang lebih besar, mereka mengarah pada penghematan substansial dalam konsumsi energi dan biaya operasional.
Heydari juga akan membagikan pekerjaan timnya sebagai bagian dari COOLERCHIPS, program Departemen Energi AS untuk mengembangkan teknologi pendinginan pusat data canggih.
Sebagai bagian dari proyek ini, tim menggunakan platform NVIDIA Omniverse untuk membuat kembar digital berdasarkan fisika yang akan membantu mereka memodelkan konsumsi energi dan efisiensi pendinginan untuk mengoptimalkan desain pusat data mereka.
Agen AI Masuk untuk Desain Prosesor
Desain semikonduktor adalah tantangan raksasa pada skala mikroskopis. Insinyur yang mengembangkan prosesor mutakhir bekerja untuk menyesuaikan daya komputasi sebanyak mungkin ke sepotong silikon berukuran beberapa inci, menguji batas dari apa yang mungkin secara fisik.
Model AI mendukung pekerjaan mereka dengan meningkatkan kualitas dan produktivitas desain, meningkatkan efisiensi proses manual, dan mengotomatiskan beberapa tugas yang memakan waktu. Model tersebut mencakup alat prediksi dan pengoptimalan untuk membantu para insinyur menganalisis dan meningkatkan desain dengan cepat, serta LLM yang dapat membantu para insinyur menjawab pertanyaan, menghasilkan kode, men-debug masalah desain, dan banyak lagi.
Mark Ren, direktur penelitian otomatisasi desain di NVIDIA, memberikan gambaran umum tentang model-model ini dan penggunaannya dalam tutorial. Pada sesi kedua, dia akan fokus pada sistem AI berbasis agen untuk desain chip.
Agen AI yang didukung oleh LLM dapat diarahkan untuk menyelesaikan tugas secara mandiri, membuka aplikasi yang luas di seluruh industri. Dalam desain mikroprosesor, peneliti NVIDIA mengembangkan sistem berbasis agen yang dapat bernalar dan mengambil tindakan menggunakan alat desain sirkuit yang disesuaikan, berinteraksi dengan desainer berpengalaman, dan belajar dari database pengalaman manusia dan agen.
Pakar NVIDIA tidak hanya membangun teknologi ini — mereka menggunakannya. Ren akan membagikan contoh bagaimana para insinyur dapat menggunakan agen AI untuk analisis laporan waktu, proses pengoptimalan kluster sel, dan pembuatan kode. Pekerjaan optimasi kluster sel baru-baru ini memenangkan makalah terbaik di Lokakarya Internasional IEEE pertama tentang Desain Berbantuan LLM.
Cek Berita dan Artikel yang lain di
Google News
