Thúc đẩy của hệ thống lưu trữ và GPU đến AI workload

ban sơ, chúng tôi muốn khám phá một quan điểm phổ thông rằng lưu trữ cục bộ liên quan đến hiệu suất của các mô hình AI. Chúng tôi lấy một trong các máy chủ Dell EMC PowerEdge R740xd trang bị cấu hình với hai CPU Intel Xeon Gold 6130 với 256GB DRAM. Chúng tôi chạy thể nghiệm byteLAKE AI bằng ba phương án lưu trữ cục bộ khác nhau. Để thể nghiệm, chúng tôi sử dụng ổ SSD KIOXIA PX04S cùng với các ổ lưu trữ Samsung 983 ZET và Intel Optane 900P có tốc độ nhanh hơn nhiều .

Trong quá trình đo benchmark, chúng tôi phân tích hiệu suất của quá trình đào tạo AI. Trong các bài đánh giá, chúng tôi chạy quá trình học tập cho một kịch bản trong thế giới thực. Trong trường hợp này, các bài kiểm tra là một phần của quy trình đào tạo trong một trong các sản phẩm byteLAKE: EWA Guard . Nó dựa trên YOLO (You Only Look Once) mới nhất, một mô hình phát hiện nay gian thực tiên tiến nhất. Mô hình này bao gồm một input layer độc nhất, 22 convolution layers, 5 pooling layers, 2 router layers, một reorg layer và một detection layer độc nhất vô nhị.

Là một thước đo cơ bản về hiệu suất, chúng tôi đã sử dụng thời gian thực hành huấn luyện cho 5000 epoch. Các bài benchmark được lặp lại ba lần cho mỗi cấu hình lưu trữ và các giá trị nhàng nhàng được mô tả bên dưới.

>>> Xem thêm: may chu dell r650



Các kết quả:

• KIOXIA 98h 24m
  
  
• Samsung 98h 44
  
  
• Intel 98h 42
  

Như rõ ràng trong số liệu kết quả, lưu trữ cục bộ không có tác động trong hiệu suất. Thí điểm dao động từ SATA SSD đến Optane mới nhất và lớn nhất, không có liên quan gì. Điều đó nói rằng, lưu trữ có thể đóng một vai trò quan trọng hơn khi nói đến việc thâm nhập và lấy ra dữ liệu, nhưng xử lý cho AI, trong trường hợp này không có tương tác.



thúc đẩy của GPU và lưu trữ đến AI

Với dữ liệu lưu trữ trong tay, chúng tôi đã thêm một NVIDIA T4 vào PowerEdge để kiểm tra thúc đẩy của GPU đối với AI. Đối với thí nghiệm này, chúng tôi cũng đã chạy ba cấu hình lưu trữ hao hao.

Các kết quả:

• KIOXIA 4h 30
  
  
• Samsung 4h 28m
  
  
• Intel 4h 27m
  

Đúng như dự đoán, GPU đã tạo ra tương tác lớn, thực tại là nó có thúc đẩy theo cấp số nhân, thúc đẩy sự cải thiện lên đến 22 lần! Với việc GPU tăng tốc hiệu suất khái quát của AI, có một số quan điểm cho rằng việc lưu trữ nhanh hơn có thể tạo ra thúc đẩy lớn đến hiệu suất. Tuy nhiên, điều đó không đúng trong trường hợp này.

Kết luận

Trong thử nghiệm này, chúng tôi đã tìm thấy việc sử dụng các thiết bị lưu trữ nhanh hơn để không cải thiện hiệu suất học tập. Lý do chính ở đây là một cấu trúc phức tạp của mô hình AI. Thời kì học dài hơn thời kì đọc dữ liệu. Nói một cách khác, thời gian học sử dụng lô hình ảnh ngày nay dài hơn thời kì cần thiết để đọc tiếp theo. Do đó, các hoạt động lưu trữ được ẩn đằng sau các xử lý AI.

Khi thêm vào NVIDIA T4, có một số quan điểm cho rằng AI xử lý nhanh hơn sẽ khiến bộ lưu trữ tạo ra liên quan đến hiệu suất. Đây không phải là trường hợp trong thí điểm này, vì ngay cả với T4, mô hình AI vẫn có thành phần học tập nặng hơn và không đề nghị lưu trữ phải đặc biệt nhanh.

mặc dầu cần phải làm nhiều việc hơn để kiểm tra thêm liên quan của các thành phần và hệ thống cụ thể đối với AI, chúng tôi tin rằng dữ liệu ban đầu này hữu ích và là điểm bắt đầu tốt cho câu chuyện. Chúng tôi cần dữ liệu vận dụng để có thể hiểu rõ hơn về vị trí của đòn bẩy thích hợp từ quan điểm CNTT và nơi ăn tiêu ngân sách có thể mang lại kết quả có thúc đẩy nhất. Điều này đương nhiên phụ thuộc phần lớn vào nơi hoạt động này diễn ra, có thể là trong trọng tâm dữ liệu hoặc cạnh biên. Ngày nay, chúng tôi hoan nghênh sự tham gia của byteLAKE ở phía dẫn đầu AI để giúp cung cấp dữ liệu có ích nhằm giúp giải đáp những câu hỏi cấp bách này.

Đây là thử nghiệm AI trước hết của chúng tôi nhưng không phải là lần rút cuộc. Mariusz Kolanko, đồng sáng lập của byteLAKE, cho biết họ đã được làm việc trên một sản phẩm mang tên CFD Suite (AI cho Computational Fluid Dynamics “CFD” để tăng tốc giải quyết vấn đề), nơi quá trình học tập sâu cần rất nhiều dữ liệu cho mỗi thời đoạn đào tạo. Trên thực tế, mô hình này có thể đặt chuyên chở cao hơn cho việc lưu trữ để tập huấn các mô hình trong khu vực Big Data và có thể có ảnh hưởng đến hiệu suất của chính các quy trình học sâu. Rút cục, như với bất kỳ ứng dụng nào, điều quan trọng là phải hiểu ứng dụng cần gán tài nguyên trung tâm dữ liệu ăn nhập. AI rõ ràng không phải là dạng “one-size-fit-all” với tất cả các áp dụng.

>>> Xem thêm: giá r750xs dell