Siêu máy chủ AI NVIDIA DGX A100 dựa trên kiến trúc Ampere

NVIDIA DGX A100 là hệ thống phổ quát cho tất cả các AI workload, cung cấp mật độ tính toán, hiệu suất và tính linh hoạt chưa từng có trong hệ thống AI 5 petaFLOPS đầu tiên trên thế giới. NVIDIA DGX A100 có bộ tăng tốc tiên tiến nhất thế giới, đó là GPU NVIDIA A100 Tensor Core dựa trên kiến trúc Ampere, cho phép các doanh nghiệp hợp nhất Training, Inference và Analytics thành một cơ sở hạ tầng AI thống nhất, dễ triển khai, bao gồm quyền truy cập trực tiếp vào cộng đồng các chuyên gia AI của NVIDIA.

Những ưu điểm của hệ thống DGX A100

DGX A100 mang lại những ưu điểm trên 04 building-block thiết yếu của một trung tâm dữ liệu AI.

Hệ thống phổ quát cho mọi AI workload

NVIDIA DGX A100 là hệ thống phổ quát cho tất cả các cơ sở hạ tầng AI, từ phân tích (analytics), đào tạo (training) đến suy luận (inference). Nó đóng gói mật độ cao các compute với hiệu suất xử lý AI lên đến 5 petaFLOPS trong một khung máy 6U, thay thế một tháp cơ sở hạ tầng chỉ bằng một nền tảng cho mọi AI workload.

DGXperts: Tích hợp quyền truy cập vào cộng đồng chuyên nghiệp AI

NVIDIA DGXperts là một nhóm toàn cầu gồm hơn 14.000 chuyên gia và lập trình viên thông thạo AI, những người đã có nhiều kinh nghiệm trong thập kỷ qua để giúp bạn tối đa hóa giá trị của khoản đầu tư cho hệ thống DGX của mình.

Thời gian nhanh nhất để giải quyết bài toán và dự án AI của bạn

DGX A100 là hệ thống AI đầu tiên trên thế giới được xây dựng trên GPU NVIDIA A100 Tensor Core. Tích hợp 8 GPU A100, hệ thống cung cấp khả năng tăng tốc chưa từng có và được tối ưu hóa hoàn toàn cho phần mềm NVIDIA CUDA-X™ và các lớp giải pháp end-to-end cho trung tâm dữ liệu NVIDIA.

Khả năng mở rộng cho trung tâm dữ liệu chưa từng có

Mở rộng trung tâm dữ liệu AI khi dữ liệu và bài toán bùng nổ là một yêu cầu không tránh khỏi. NVIDIA DGX A100 tích hợp Mellanox ConnectX-6 VPI HDR InfiniBand/Ethernet network adapters với 450GB/s băng thông hai chiều cao nhất. Đây là một trong nhiều tính năng giúp DGX A100 trở thành khối xây dựng nền tảng cho các cụm AI lớn như NVIDIA DGX SuperPOD – môt bản thiết kế Enterpise cho cơ sở hạ tầng AI có thể mở rộng.





Một số so sánh về thay đổi hiệu năng xử lý

Phân tích

PageRank – Phân tích nhanh hơn nghĩa là nắm bắt sâu sắc hơn để đẩy mạnh phát triển AI.

Máy chủ 3000x CPU so với 4x DGX A100. Tập dữ liệu thu thập chung đã được xuất bản: 128 tỷ edges, 2.6TB dữ liệu graph.

Đào tạo

NLP: BERT-Large – Đào tạo nhanh hơn cho phép triển khai các mô hình AI tiên tiến nhất.

BERT Pre-Training Throughput sử dụng PyTorch bao gồm (2/3) Giai đoạn 1 và (1/3) Giai đoạn 2. Giai đoạn 1 Seq Len = 128, Giai đoạn 2 Seq Len = 512. V100: DGX-1 với 8x V100 sử dụng độ chính xác FP32. DGX A100: DGX A100 với 8x A100 sử dụng độ chính xác TF32.

Suy luận

Peak Compute – Suy luận nhanh hơn làm tăng ROI thông qua việc sử dụng hệ thống tối đa.

Máy chủ CPU: 2x Intel Platinum 8280 sử dụng INT8. DGX A100: DGX A100 với 8x A100 sử dụng INT8 với Structural Sparsity.

KHÁM PHÁ CÁC THÀNH PHẦN MẠNH MẼ CỦA DGX A100

1. GPU NVIDIA A100 8 x VỚI TỔNG BỘ NHỚ GPU 320GB, 12 NVLinks / GPU, Bi-directional Bandwidth GPU-to-GPU 600 GB/s
2. 6X NVIDIA NVSWITCH 4,8 TB/s
   4.8 TB/s Bi-directional Bandwidth, gấp 2 lần NVSwitch thế hệ trước
3. 9x MELLANOX CONNECTX-6 Giao diện MẠNG 200Gb/s MẠNG 450 GB/s
   450 GB/s Peak Bi-directional Bandwidth
4. 2x 64-CORE AMD CPU, 1TB SYSTEM MEMORY
   Gấp 3.2 lần số core, để chạy cho hầu hết các job AI nặng nề nhất
5. 15TB GEN4 NVME SSD
   25GB/s Peak Bandwidth, nhanh hơn 2x so với NVME SSD Gen3

>>> Xem thêm: máy chủ r740



Công nghệ bên trong NVidia DGX A100

NVIDIA A100 – Tensor Core GPU

GPU NVIDIA A100 Tensor Core mang đến khả năng tăng tốc chưa từng có cho AI, phân tích dữ liệu và tính toán hiệu năng cao (HPC) để giải quyết các thách thức điện toán khó khăn nhất của thế giới. Với NVIDIA Tensor Cores thế hệ thứ ba mang lại hiệu suất vượt trội, GPU A100 có thể mở rộng hiệu quả lên đến hàng nghìn hoặc, với Multi-Instance GPU, được phân chia thành 7x GPU nhỏ hơn, chuyên dụng để tăng tốc cho các workload ở mọi kích thước.

Multi-Instance GPU (MIG)

Với MIG, tám GPU A100 trong DGX A100 có thể được cấu hình thành tối đa 56 phiên bản GPU, mỗi GPU được cách ly hoàn toàn với bộ nhớ băng thông cao, bộ nhớ cache và lõi tính toán. Điều này cho phép quản trị viên GPU kích thước phù hợp với chất lượng dịch vụ (QoS) được đảm bảo cho nhiều khối lượng công việc.

NVLink thế hệ tiếp theo và NVSwitch

Thế hệ thứ ba của NVIDIA ® NVLink ™ trong DGX A100 tăng gấp đôi băng thông trực tiếp từ GPU đến GPU lên 600 gigabyte mỗi giây (GB / s), cao hơn gần 10 lần so với PCIe Gen4. DGX A100 cũng có NVIDIA NVSwitch ™ thế hệ tiếp theo, nhanh gấp 2 lần so với thế hệ trước.

Mellanox ConnectX-6 VPI HDR InfiniBand

DGX A100 có bộ điều hợp Mellanox ConnectX-6 VPI HDR InfiniBand / Ethernet mới nhất, mỗi bộ chạy với tốc độ 200 gigabit mỗi giây (Gb / s) để tạo ra một loại vải tốc độ cao cho khối lượng công việc AI quy mô lớn.

Tối ưu hóa software stack

DGX A100 tích hợp ngăn xếp phần mềm DGX đã được thử nghiệm và tối ưu hóa, bao gồm hệ điều hành cơ sở được điều chỉnh bằng AI, tất cả phần mềm hệ thống cần thiết và các ứng dụng được tăng tốc GPU, các mô hình được đào tạo trước và hơn thế nữa từ NGC ™ .

Bảo mật tích hợp

DGX A100 mang đến tư thế bảo mật mạnh mẽ nhất cho việc triển khai AI, với cách tiếp cận nhiều lớp trải dài trên bộ điều khiển quản lý ván chân tường (BMC), bo mạch CPU, bo mạch GPU, ổ đĩa tự mã hóa và khởi động an toàn.

Công ty cổ phần thương mại Máy Chủ Hà Nội

- Trụ sở Hà Nội: Tầng 1,2,4 - Tòa nhà PmaxLand số 32 ngõ 133 Thái Hà - Q. Đống Đa

Hotline mua hàng Hà Nội: 0979 83 84 84 Điện thoai: 024 6296 6644

- CN Hồ Chí Minh: Lầu 1- Tòa nhà 666/46/29 Đường 3/2- Phường 14 - Quận 10

Hotline mua hàng Hồ Chí Minh: 0945 92 96 96 Điện thoai: 028 2244 9399

- Email: hotro@maychuhanoi.vn

- website: https://maychuhanoi.vn/

- facebook: https://www.facebook.com/maychuhanoi