GPU Server là gì? Cách chọn GPU cho mô hình ngôn ngữ lớn

GPU Server là máy chủ có một hoặc nhiều GPU phục vụ tính toán song song. GPU hỗ trợ các workload như AI, xử lý ảnh, video và rendering; CPU, RAM, lưu trữ và mạng vẫn đảm nhiệm những phần khác của hệ thống. Khi thuê cho LLM, ưu tiên kiểm tra bộ nhớ và tải phục vụ thực tế trước khi chọn tên card.

GPU và CPU phối hợp như thế nào?

CPU điều phối ứng dụng, chuẩn bị dữ liệu và xử lý I/O; GPU thực hiện những phép tính được framework đưa lên thiết bị. Một GPU mạnh vẫn có thể chờ dữ liệu nếu CPU, storage hoặc mạng là nút thắt. Vì vậy cấu hình máy chủ cần cân đối theo pipeline.

Inference, fine-tuning và training cần khác nhau

Không lấy bộ nhớ inference để kết luận đủ cho training. Training có thể cần thêm gradient, optimizer state và activation; LoRA hoặc QLoRA làm thay đổi nhu cầu nhưng vẫn phải kiểm thử với cấu hình cụ thể.

VRAM: phần trọng số mới là bước đầu

Trọng số lý tưởng bằng số tham số × byte mỗi tham số. Ví dụ 8 tỷ tham số FP16 tương đương 16 GB thập phân trước cache và overhead. Tổng VRAM còn gồm KV cache, workspace và các vùng cấp phát của engine. Context dài hoặc nhiều request có thể khiến model đã nạp bị OOM.

GPU 32 GB không tự động chứa toàn bộ model 70B 4-bit: riêng trọng số lý tưởng đã khoảng 35 GB. Các kỹ thuật offload hoặc nén khác cần đánh giá riêng. Xem tính VRAM cho Llama 70B để hiểu công thức và giới hạn.

Chọn GPU theo nhiệm vụ

RTX 4090 có 24 GB GDDR6X; RTX 5090 có 32 GB GDDR7 theo NVIDIA. Bộ nhớ lớn hơn mở thêm lựa chọn nhưng hiệu năng còn phụ thuộc framework và kernel. Với GPU data center, xác nhận chính xác model, biến thể PCIe/SXM, VRAM và topology; đừng chỉ hỏi tên dòng.

Nhiều card cần engine chia model phù hợp. Tensor parallel, pipeline parallel hoặc data parallel có mục đích khác nhau; tổng VRAM không tự tạo một vùng nhớ chung. Tham khảo RTX 4090 vs RTX 5090 để chọn phương pháp kiểm thử.

Checklist trước khi thuê

1. Chốt model, revision, precision và engine.
2. Đặt context, giới hạn output và request đồng thời.
3. Ước tính GPU memory, RAM, storage và network.
4. Kiểm tra driver, framework và container trên phần cứng đích.
5. Đo VRAM đỉnh, OOM, latency và throughput ở tải mục tiêu.
6. Thử backup checkpoint và khôi phục môi trường.
7. Chốt quyền sử dụng GPU, thời hạn thuê và phạm vi hỗ trợ.

Chi phí nên tính theo kết quả đạt yêu cầu

Gói rẻ nhất chưa chắc có chi phí thấp nhất nếu thường phải offload hoặc không đạt độ trễ. So chi phí cho cùng khối lượng công việc và cùng tiêu chí chất lượng. Tính cả lưu trữ, mạng, thời gian nhàn rỗi và công sức vận hành.

Xem dịch vụ thuê GPU Server và bảng giá GPU Server. Gửi model cùng context/concurrency để xác nhận cấu hình và khả năng cấp phát tại thời điểm thuê.