Selama ini, fokus optimalisasi sering tertuju pada komunikasi east–west, yaitu lalu lintas data antar-GPU untuk pelatihan dan inferensi terdistribusi. Namun, perkembangan sistem AI generatif dan agentic AI yang semakin kompleks membuat arus data north–south—yakni pergerakan data antara kluster komputasi dan sumber eksternal seperti penyimpanan, pengguna, atau layanan lain—menjadi sama krusialnya.
Arus ini mencakup proses pemuatan model dari penyimpanan, pengambilan konteks eksternal untuk mendukung jawaban, hingga interaksi multi-agen secara real time.
Dalam panduan arsitektur referensi NVIDIA Enterprise (Enterprise RAs), perusahaan memberikan resep desain yang telah divalidasi untuk membangun “pabrik AI” yang aman, skalabel, dan berkinerja tinggi.
Rancangan ini mencakup rekomendasi konfigurasi server, jaringan, tumpukan perangkat lunak, hingga praktik operasional terbaik. Salah satu komponen kunci adalah NVIDIA Spectrum‑X Ethernet, platform Ethernet yang dirancang khusus untuk mengatasi tantangan lalu lintas north–south pada beban kerja AI berskala besar.
Jaringan penyimpanan berbasis Ethernet konvensional kerap menimbulkan latensi dan kemacetan saat menangani volume data masif dari AI dan HPC. Misalnya, saat model AI melakukan checkpoint selama pelatihan, data berukuran terabita harus dipindahkan ke penyimpanan persisten melalui jalur north–south.
Pada tahap inferensi, efisiensi jalur ini menjadi penentu kecepatan respons, terutama pada arsitektur retrieval-augmented generation (RAG) yang mengandalkan pengambilan data eksternal secara cepat.
Spectrum‑X Ethernet menawarkan jaringan bebas kehilangan data dengan throughput tinggi dan latensi rendah. Fitur seperti adaptive routing dan telemetry membantu mencegah kemacetan, sementara virtual routing and forwarding (VRF) memisahkan lalu lintas secara logis tanpa memerlukan segmentasi fisik. Quality of Service (QoS) memungkinkan prioritisasi lalu lintas tertentu, misalnya mendahulukan data penyimpanan dibanding lalu lintas HTTPS biasa.
Dalam desain jaringan konvergen, lalu lintas east–west dan north–south digabung dalam satu fabric switch, mengurangi kompleksitas kabel dan perangkat keras. Pendekatan ini cocok untuk pabrik AI berskala enterprise dengan 4–16 node server. Namun, untuk lingkungan multi-penyewa berskala besar, model jaringan terpisah (disaggregated) tetap menjadi pilihan demi isolasi dan bandwidth maksimal.
Peran perangkat keras juga dibedakan: NVIDIA Ethernet SuperNICs menangani lalu lintas east–west dengan bandwidth hingga 800 Gb/s per GPU, sedangkan BlueField‑3 DPU mengelola lalu lintas north–south, mengoffload tugas manajemen penyimpanan, keamanan, dan telemetri dari CPU. Kombinasi keduanya memastikan data internal dan eksternal mengalir optimal.
Contoh penerapan terlihat pada sistem RAG yang mengintegrasikan basis data vektor seperti Milvus. Saat pengguna mengirim pertanyaan, model membuat embedding vektor dan mengakses basis data eksternal untuk konteks relevan. Jalur north–south yang cepat mempersingkat time to first token (TTFT) dan meningkatkan akurasi jawaban.
Dengan meningkatnya integrasi AI ke dalam operasi bisnis sehari-hari—mulai dari chatbot layanan pelanggan, alat analisis keuangan, hingga manajemen pengetahuan internal—efisiensi jaringan north–south menjadi faktor penentu.
NVIDIA menempatkan teknologi Spectrum‑X Ethernet, BlueField‑3, dan desain Enterprise RAs sebagai fondasi bagi organisasi yang ingin membangun infrastruktur AI tangguh, responsif, dan siap berkembang seiring evolusi beban kerja AI.
Cek Berita dan Artikel yang lain di
Google News
