theidiotcat
Thành viên
- Tham gia
- 1/10/2024
- Bài viết
- 91
Vừa qua, AMD đã công bố một bước tiến mang tính bước ngoặt, củng cố vị thế của hãng trong cuộc đua Trí tuệ Nhân tạo thế hệ mới. Công ty Zyphra đã chính thức ra mắt ZAYA1, mô hình nền tảng Mixture-of-Experts (MoE) quy mô lớn đầu tiên được đào tạo 100% bằng hệ sinh thái tăng tốc của AMD.
Thành tựu này là minh chứng rõ ràng nhất cho khả năng của nền tảng AMD trong việc xử lý các tác vụ AI phức tạp, quy mô sản xuất, vốn trước đây thường bị thống trị bởi các đối thủ khác.
ZAYA1: Sức Mạnh Từ Hệ Sinh Thái AMD
Việc đào tạo mô hình ZAYA1 được thực hiện trên một kiến trúc tích hợp chặt chẽ, bao gồm ba thành phần cốt lõi của AMD:- GPU AMD Instinct™ MI300X: Cung cấp sức mạnh tính toán vượt trội.
- Mạng lưới AMD Pensando™: Đảm bảo khả năng kết nối và truyền dữ liệu tốc độ cao.
- Bộ phần mềm mở ROCm™: Cung cấp tính linh hoạt và khả năng tùy chỉnh cao.
Hiệu Suất Vượt Trội so với Đối Thủ
Kết quả kiểm tra kỹ thuật từ Zyphra cho thấy ZAYA1 không chỉ là một mô hình thử nghiệm mà là một đối thủ nặng ký trên thị trường.- ZAYA1-base (với tổng cộng 8.3 tỷ tham số và 760 triệu tham số hoạt động) đã vượt mặt các mô hình phổ biến như Llama-3-8B và OLMoE.
- Mô hình này sánh ngang về hiệu suất với Qwen3-4B (Alibaba) và Gemma3-12B (Google) trong các lĩnh vực quan trọng như suy luận, toán học và viết code.
Lợi Thế Kỹ Thuật Đưa Đến Hiệu Quả Tối Đa
Yếu tố then chốt giúp Zyphra đạt được hiệu quả vượt trội là GPU MI300X với 192 GB Bộ nhớ Băng thông Cao (HBM). Dung lượng bộ nhớ lớn này cho phép Zyphra:- Đơn giản hóa quy trình đào tạo: Tránh các kỹ thuật phân mảnh tensor hoặc expert (sharding) tốn kém và phức tạp, giúp cải thiện thông lượng trên toàn bộ mô hình.
- Tăng tốc lưu trữ dữ liệu: Tối ưu hóa I/O phân tán của AMD giúp thời gian lưu mô hình (model save times) nhanh hơn hơn 10 lần, nâng cao độ tin cậy và tốc độ lặp lại trong quá trình nghiên cứu.
AMD, Zyphra và IBM đã hợp tác chặt chẽ để thiết kế và triển khai cụm đào tạo lớn này, khẳng định cam kết chung nhằm thúc đẩy ranh giới của AI tiên tiến.
Nguồn Tổng Hợp