Oleh: Kodrat Wahyudi
Beberapa waktu lalu, Nvidia meluncurkan Nvidia DGX A100 yang merupakan sistem AI generasi ketiga. Sistem AI ini diklaim sebagai sistem AI paling canggih di dunia. Untuk diketahui, DGX A100 mampu memberikan performa AI sebesar lima petaflops. Hasilnya setara dengan tenaga dan kemampuan seluruh data center dalam satu platform untuk pertama kalinya.
Pada dasarnya, DGX A100 merupakan sebuah sistem yang mengintegrasikan delapan Tensor Core GPU A100 dengan total memori 320GB. Memori ini dapat digunakan untuk melatih dataset terbesar AI. Sistem ini juga sudah mengadopsi koneksi kecepatan tinggi dari Nvidia mellanox HDR 200Gbps.
NVIDIA DGX ™ A100 adalah sistem universal untuk semua beban kerja AI — mulai dari analitik hingga pelatihan hingga inferensi. DGX A100 menetapkan standar baru untuk kepadatan komputasi, mengemas 5 petaFLOPS kinerja AI ke dalam faktor bentuk 6U, menggantikan infrastruktur komputasi lama dengan satu sistem terpadu. DGX A100 juga menawarkan kemampuan yang belum pernah ada sebelumnya untuk memberikan alokasi daya komputasi yang sangat detail, menggunakan kapabilitas GPU Multi-Instance di NVIDIA A100 Tensor Core GPU, yang memungkinkan administrator untuk menetapkan sumber daya yang berukuran tepat untuk beban kerja tertentu. Ini memastikan bahwa pekerjaan terbesar dan paling kompleks didukung, bersama dengan yang paling sederhana dan terkecil.
Fastest Time to Solution
NVIDIA DGX A100 menghadirkan delapan GPU Tensor Core NVIDIA A100, yang akan memberikan pengguna akselerasi yang tak tertandingi, dan sepenuhnya dioptimalkan untuk perangkat lunak NVIDIA CUDA-X ™. GPU NVIDIA A100 menghadirkan presisi baru, TF32, yang bekerja seperti FP32 sambil memberikan FLOPS 20X lebih tinggi untuk AI vs generasi sebelumnya, dan yang terbaik dari semuanya, tidak ada perubahan kode yang diperlukan untuk mempercepat ini. Dan saat menggunakan presisi campuran otomatis NVIDIA, A100 menawarkan peningkatan performa 2X lipat hanya dengan satu baris kode tambahan yang menggunakan presisi FP16. GPU A100 juga memiliki bandwidth memori 1,6 terabyte per detik (TB / s) yang terdepan di kelasnya, peningkatan yang lebih besar dari 70% dibandingkan generasi terakhir.
Selain itu, GPU A100 memiliki memori on-chip yang jauh lebih banyak, termasuk cache Level-2 40MB yang hampir 7X lebih besar dari generasi sebelumnya, sehingga memaksimalkan kinerja komputasi. DGX A100 juga meluncurkan generasi berikutnya dari NVIDIA NVLink ™, yang menggandakan bandwidth langsung GPU-ke-GPU menjadi 600 gigabyte per detik (GB / s), hampir 10X lebih tinggi dari PCIe Gen 4, dan NVIDIA NVSwitch baru yang 2X lebih cepat dari generasi terakhir. Kekuatan yang belum pernah terjadi sebelumnya ini memberikan solusi waktu tercepat, memungkinkan pengguna untuk mengatasi tantangan yang sebelumnya tidak mungkin atau praktis.
Teknologi yang hadir di dalam NVidia DGX A100
NVIDIA A100 Tensor Core GPU
GPU Inti Tensor NVIDIA A100 menghadirkan akselerasi yang belum pernah terjadi sebelumnya untuk AI, analitik data, dan komputasi kinerja tinggi (HPC) untuk mengatasi tantangan komputasi terberat di dunia. Dengan NVIDIA Tensor Cores generasi ketiga yang memberikan peningkatan kinerja yang sangat besar, GPU A100 dapat secara efisien menskalakan hingga ribuan atau, dengan Multi-Instance GPU, dialokasikan sebagai tujuh instans khusus yang lebih kecil untuk mempercepat beban kerja dari semua ukuran.
Multi-Instance GPU (MIG)
Dengan MIG, delapan GPU A100 di DGX A100 dapat dikonfigurasi menjadi 56 instans GPU, masing-masing diisolasi sepenuhnya dengan memori bandwidth tinggi, cache, dan inti komputasi mereka sendiri. Hal ini memungkinkan administrator untuk menyesuaikan ukuran GPU dengan kualitas layanan (QoS) yang terjamin untuk beberapa beban kerja.
Next-Generation NVLink & NVSwitch
Generasi ketiga NVIDIA® NVLink ™ di DGX A100 menggandakan bandwidth langsung GPU-ke-GPU menjadi 600 gigabyte per detik (GB / s), hampir 10X lebih tinggi dari PCIe Gen4. DGX A100 juga dilengkapi NVIDIA NVSwitch ™ generasi terbaru, yang 2X kali lebih cepat dari generasi sebelumnya.
Optimized Software Stack
DGX A100 mengintegrasikan tumpukan perangkat lunak DGX yang teruji dan dioptimalkan, termasuk sistem operasi dasar yang disetel AI, semua perangkat lunak sistem yang diperlukan, dan aplikasi yang dipercepat GPU, model terlatih, dan lainnya dari NGC ™.
PT Berca Hardayaperkasa sebagai salah satu perusahaan ICT terdepan menghadirkan NVidia sebagai salah satu portfolio utamanya. Untuk pertanyaan serta diskusi lebih lanjut – mengenai solusi NVidia atau solusi lainnya, silahkan menghubungi PT Berca Hardayaperkasa klik di sini.
