Vì sao tác vụ fine-tuning của bạn lâu hơn ước tính từ FLOPs
- ✦ Nghiên cứu dựa trên 272 tác vụ SFT thực tế, tổng cộng khoảng 7.382 GPU-giờ, trên cụm GPU NVIDIA H200 trong môi trường sản xuất.
- ✦ Ước tính FLOPs sơ bộ có thể dự đoán chín giờ, nhưng tác vụ thực tế chỉ hoàn thành vào chiều hôm sau, cho thấy sai số lớn.
- ✦ Dự đoán thời lượng chính xác hơn giúp giảm GPU nhàn rỗi và trì hoãn hàng đợi, ảnh hưởng trực tiếp đến thời gian chờ thử nghiệm và ngày giao hàng.
Bối cảnh & Phân tích chi tiết
Một bài báo sắp công bố trên arXiv phân tích 272 tác vụ supervised fine-tuning (SFT) thực tế từ nhóm GPU NVIDIA H200 trong môi trường sản xuất, tổng cộng khoảng 7.382 GPU-giờ, nhằm so sánh ước tính FLOPs giải tích với các bộ dự đoán học máy về thời gian chạy đầu-cuối. Bản xem trước cho thấy tính toán FLOPs sơ bộ thường đánh giá thấp đáng kể thời lượng thực tế—dự đoán chín giờ nhưng tác vụ chỉ hoàn thành vào chiều hôm sau. Trên các cụm GPU chia sẻ, ước tính thời lượng không chính xác dẫn đến GPU nhàn rỗi khi tác vụ xong sớm hoặc trì hoãn dây chuyền khi chạy muộn, ảnh hưởng đến lịch thử nghiệm và ngày giao hàng. Nghiên cứu nhằm định lượng sai số của phương pháp FLOPs và liệu bộ dự đoán học máy có thể cải thiện việc lập kế hoạch trước khi điều phối, biến phân bổ GPU từ phỏng đoán thành lập lịch có căn cứ.
✅ Xác minh nguồn tin
- Nguồn gốc
- Hugging Face Blog (🇺🇸 Hoa Kỳ)
- Ngôn ngữ gốc
- Tiếng Anh
- Xuất bản gốc
- 2026-11-18 18:53 (1 ngày trước)
- Cách bản tin được tạo
- Bản tin được AI cấu trúc và dịch từ bài gốc. Các dữ kiện chính (tên, số liệu, ngày tháng) lấy từ nguồn; bản tóm tắt có thể có sai sót — vui lòng đối chiếu bài gốc.