Dell XE9680: Máy chủ AI Đáp ứng nhu cầu Machine-Deep Learning

Trí tuệ nhân tạo

Trí tuệ nhân tạo (AI - Artificial Intelligence), Học máy (ML - Machine Learning) và Học sâu (DL - Deep Learning) là những khái niệm đang ngày càng trở nên phổ biến và là một yếu tố “trendy” trong lĩnh vực công nghệ.

Trong đó, AI (Artificial Intelligence) là một khái niệm chung được biết đến từ những năm 1950, nó ám chỉ tất cả những thiết bị máy móc có khả năng bắt chước được hành vi và suy nghĩ của con người.

ML (Machine Learning) là khái niệm nằm bên trong AI. ML là một trong những cách thức để đạt được AI. Với ML, con người sẽ kết hợp các giải thuật (algorithm) và các mô hình thống kê (statistical model) để giúp các thiết bị máy móc học được từ những dữ liệu có sẵn và những điều đã xảy ra trong quá khứ để tự biết cách xử lý những vấn đề sẽ xảy ra trong tương lai thay vì phải lập trình một cách chính xác cho thiết bị biết phải xử lý như thế nào.

Còn DL (Deep Learning) là một trong nhiều cách để tiếp cận ML bên cạnh các hình thức khác như cây học tập quyết đinh (decision tree learning), lập trình logic quy nạp (inductive logic programming), phân cụm (clustering), học tăng cường (reinforcement learning), v.v… DL phương pháp mô phỏng lại cách thức hoạt động của các tế bào não, thực hiện phân tích suy luận qua nhiều lớp và tương tác qua lại lẫn nhau.

GPUs NVIDIA sự đổi mới và hiệu quả cho Trí Tuệ Nhân Tạo

Trước tiên, hãy bắt đầu bằng việc đề cập đến tình huống nếu bạn muốn huấn luyện các mô hình cơ bản ngày nay, như ChatGPT chẳng hạn, thì NVIDIA H100 80GB SXM5 vẫn là lựa chọn hàng đầu. Khi mô hình cơ bản đã được huấn luyện, việc tùy chỉnh mô hình dựa trên dữ liệu chuyên ngành hoặc thực hiện các công việc dự đoán thường có thể được thực hiện trên các phần vật lý có chi phí và công suất điện tiêu thụ thấp hơn nhiều.

Dell Technologies cung cấp nhiều lựa chọn máy chủ được tối ưu hóa khả năng tăng tốc với danh mục máy tăng tốc phong phú có GPUs NVIDIA.

Trong thiết kế này, SSN giới thiệu ba máy chủ Dell PowerEdge được thiết kế riêng cho mục đích sáng tạo AI:

Server AI PowerEdge R760xa, có khả năng hỗ trợ tới bốn GPU NVIDIA H100 hoặc bốn GPU NVIDIA L40.

Server AI PowerEdge XE8640, hỗ trợ 4 GPU NVIDIA H100.

Server AI PowerEdge XE9680, hỗ trợ 8 GPU NVIDIA H100.

NVIDIA H100 SXM GPUNVIDIA H100 PCIe GPUNVIDIA L40 PCIe GPU

Supported latest PowerEdge servers (and maximum number of GPUs)

Server AI PowerEdge XE9680 (8)

Server AI PowerEdge XE8640 (4)

Server AI PowerEdge R760xa (4)

Server AI PowerEdge R760 (2)

Server AI PowerEdge R760xa (4)

Server AI PowerEdge R760 (2)

GPU memory 80 GB 80 GB 48 GB

Form factor SXM PCIe (dual width, dual slot) PCIe (dual width, dual slot)

GPU interconnect 900 GB/s PCIe

600 GB/s NVLink Bridge supported in PowerEdge R760xa

128 GB/s PCIe Gen5

Max thermal design power (TDP) 700 W 350 W 300 W

NVIDIA AI Enterprise Add-on Included with H100 PCIe Add-on

Most applicable use cases

Generative AI training

Large scale distributed training

Discriminative/Predictive AI Training and Inference

Generative AI Inference

Small scale AI

Visual computing

Discriminative/Predictive AI Inference

>>> Xem thêm: r750 dell



Dell XE9680 Server AI

Hệ thống Server AI mạnh mẽ

Server AI Dell PowerEdge XE9680 được thiết kế để giúp các doanh nghiệp tăng tốc hiệu suất AI/ML cung cấp năng lượng cho các khối lượng công việc và ứng dụng phức tạp yêu cầu AI, như lập mô hình HPC và trực quan hóa dữ liệu.

Đây là máy chủ 6U được thiết kế để điều khiển các ứng dụng AI, ML và DL tiên tiến nhất. Được hỗ trợ bởi bộ xử lý Xeon mới nhất của Intel với số lượng lõi cao lên tới 56 lõi cũng như bộ nhớ GPU và băng thông lớn nhất hiện nay, XE9680 được thiết kế cho tương lai của điện toán AI.

Khách hàng có thể chọn giữa 8 GPU NVIDIA H100 700W SXM5 để có hiệu suất cực cao hoặc 8 GPU NVIDIA A100 500W SXM4 để cân bằng giữa hiệu suất và sức mạnh và được kết nối hoàn toàn với công nghệ NVIDIA NVLink.

Hiệu suất xử lý được cải thiện với băng thông lên tới 900GB/giây cho giao tiếp GPU-GPU, gấp 1,5 lần so với thế hệ trước.

Tăng tốc thông lượng I/O

Server AI Dell XE9680 triển khai các công nghệ mới nhất như SSD DDR5, NVLink, PCIe Gen 5.0 và NVMe để thúc đẩy ranh giới của luồng dữ liệu và khả năng tính toán.

Máy chủ có tới mười khe cắm PCIe Gen5 mặt trước và tối đa 16 ổ đĩa để cho phép mở rộng cho các hoạt động AI thời gian thực hiệu suất cao.

Dell XE9680 cũng hỗ trợ NVIDIA GDS (GPUDirect Storage), một đường dẫn dữ liệu trực tiếp để truyền DMA giữa bộ nhớ GPU và bộ lưu trữ, tăng băng thông hệ thống, giảm độ trễ và tải sử dụng trên CPU.

Hệ thống được NVIDIA chứng nhận có khả năng tối đa hóa hoạt động với GPU NVIDIA.

Kiến trúc đàn hồi mạng cho Zero Trust

Bảo mật được tích hợp vào mọi giai đoạn của vòng đời PowerEdge, bao gồm chuỗi cung ứng được bảo vệ và đảm bảo tính toàn vẹn từ nhà máy đến địa điểm. Gốc đáng tin cậy dựa trên silicon mang lại khả năng phục hồi khởi động từ đầu đến cuối trong khi Xác thực đa yếu tố (MFA) và kiểm soát truy cập dựa trên vai trò đảm bảo hoạt động đáng tin cậy.

Danh mục quản lý hệ thống Dell OpenManage là một giải pháp an toàn, toàn diện cho các máy chủ PowerEdge sẽ đơn giản hóa, tự động hóa và tập trung hóa quản lý một-nhiều với bảng điều khiển OpenManage Enterprise và iDRAC.

>>> Xem thêm: HPE PROLIANT RL300 GEN11



THÔNG SỐ KỸ THUẬT

Processor: Two 4th Generation Intel Xeon Scalable processors with up to 56 cores per processor

Memory

• 32 DDR5 DIMM slots, supports RDIMM 4 TB max, speeds up to 4800 MT/s
  
  
• Supports registered ECC DDR5 DIMMs only
  

GPU

• 8 NVIDIA HGX H100 80GB 700W SXM5 GPUs or
  
  
• 8 NVIDIA HGX A100 80GB 500W SXM4 GPUs, fully interconnected with NVIDIA NVLink technology
  

Storage controllers

• Internal boot: Boot Optimized Storage Subsystem (NVMe BOSS-N1): HWRAID 1, 2 x M.2 SSDs
  
  
• Software RAID: S160
  

Drive bays

Front Bays: Up to 8 x 2.5-inch NVMe SSD drives max 122.88 TB

Power Supplies: 2800W Titanium 200-240 VAC or 240 VDC, hot-swap redundantly

Cooling Options: Air cooling

Chipset: Intel® C741 chipset

PCIe: Up to 10 x16 Gen5 (x16 PCIe) full-height, half-length

Embedded NIC: 2 x 1 GbE

Network Options: 1 x OCP 3.0 (x8 PCIe lanes)

Fans

• Up to 6 High performance (HPR), gold-grade fans were installed in mid tray
  
  
• Up to 10 High performance (HPR) gold-grade fans are installed on the rear of the system
  
  
• All are hot-swapped fans
  

Dimensions and weight

• Height — 263.2 mm (10.36 inches)
  
  
• Width — 482.0 mm (18.97 inches)
  
  
• Depth — 1008.77 mm (39.71 inches) with bezel — 995 mm (39.17 inches) without bezel
  
  
• Weight —107 kg (235.89 pounds)
  
  
• Form Factor
  
  
• 6U rack server
  

Công ty cổ phần thương mại Máy Chủ Hà Nội

Trụ sở Hà Nội: Tầng 1,2,4 - Tòa nhà PmaxLand số 32 ngõ 133 Thái Hà - Q. Đống Đa

- Hotline: 0979 83 84 84

- Tel: 024 6296 6644

Chi nhánh HCM: Lầu 1- Tòa nhà 666/46/29 Đường 3/2- Phường 14 - Quận 10

- Hotline: 0945 92 96 96

- Tel: 028 2244 9399

- Email: kinhdoanhhn@maychuhanoi.vn

- website: https://maychuhanoi.vn/

- facebook: https://www.facebook.com/maychuhanoi