RTX 4090 vs RTX 5090 cho AI: VRAM và cách kiểm thử

RTX 4090 và RTX 5090 đều có thể được cân nhắc cho AI, nhưng lựa chọn cần dựa trên model, phần mềm và chi phí vận hành. GPU mới hơn hay VRAM lớn hơn không tự chứng minh một mức token/s cho mọi ứng dụng.

Thông số nền tảng

Thông số tham khảo từ NVIDIA cho dòng GeForce desktop. Cấu hình máy chủ thực tế còn phụ thuộc model card của hãng sản xuất, giới hạn công suất, tản nhiệt, CPU, RAM và bus PCIe. Không dùng kết quả gaming để suy trực tiếp inference LLM.

VRAM quyết định model và tải có thể phục vụ

VRAM cần chứa trọng số, KV cache và vùng nhớ runtime. 32 GB cho thêm khoảng trống so với 24 GB, nhưng không có nghĩa mọi model lớn hơn đều chạy hoàn toàn trên GPU. Với 70 tỷ tham số, trọng số 4-bit lý tưởng đã khoảng 35 GB, trước overhead; một card 32 GB không đủ cho trường hợp đó.

Xem cách tính VRAM Llama 70B để phân biệt dung lượng trọng số và tổng bộ nhớ. Với model nhỏ hơn, hãy thử quantization, context và concurrency thực tế thay vì chọn card chỉ theo số tham số.

Kiểm tra tương thích phần mềm trước

• Phiên bản driver và CUDA phù hợp GPU.
• Build PyTorch hoặc framework hỗ trợ kiến trúc card.
• Engine inference hỗ trợ model và kernel lượng tử hóa cần dùng.
• Container image đã được chạy thử trên máy đích.
• Cấu hình nhiều GPU có topology và phương pháp parallel phù hợp.

Không nên cam kết 'cùng chạy CUDA 12' hay một phiên bản Ubuntu chung là đủ. Cần chốt một bộ phiên bản đã thử cùng nhau và lưu lại cấu hình để tái tạo kết quả.

Đo inference bằng cùng một phương pháp

Chạy warm-up rồi lặp phép đo trên cùng tập prompt và giới hạn sinh. Tách throughput tổng khỏi tốc độ mỗi request; tăng batch có thể nâng tổng token/s trong khi từng khách chờ lâu hơn. So sánh trên cùng điều kiện SLA thay vì chọn số throughput lớn nhất.

Bài này không công bố số token/s đo tại Datahub vì chưa có bộ log và môi trường kiểm thử đi kèm. Benchmark chỉ nên được thêm khi có kết quả có thể kiểm chứng, kèm ngày đo và phương pháp.

Chọn theo chi phí cho tải đạt yêu cầu

Nếu cả hai card đều đáp ứng tải, so chi phí cho cùng khối lượng output đạt độ trễ mục tiêu. Nếu 24 GB thường OOM ở context cần dùng còn 32 GB đáp ứng, phần VRAM thêm có thể quan trọng hơn giá thuê cơ bản. Với fine-tuning hoặc tạo ảnh, cần phép thử riêng; benchmark LLM không đại diện mọi workload AI.

Trước khi thuê

1. Gửi model, context và concurrency cho nhà cung cấp.
2. Yêu cầu xác nhận card và bộ phiên bản hỗ trợ.
3. Chạy thử workload đại diện và ghi VRAM/độ trễ.
4. So giá cho phương án đạt tiêu chí nghiệm thu.
5. Chốt lưu trữ model, backup và điều kiện nâng cấp.

Tham khảo dịch vụ GPU Server và bảng giá GPU. Giá, quyền sử dụng card và tình trạng cấp phát cần xác nhận tại thời điểm thuê.