Chọn GPU cho chatbot nội bộ và hệ thống RAG

GPU cho chatbot RAG cần được chọn sau khi xác định model và pipeline truy xuất. RAG không chỉ có bước sinh câu trả lời: nạp tài liệu, embedding, tìm kiếm, reranking và kiểm soát quyền đều ảnh hưởng tốc độ cùng chất lượng.

Tách các luồng xử lý

Không phải bước nào cũng cần GPU. Lựa chọn phụ thuộc model và cách triển khai. Nếu embedding chạy cùng card với generation, đợt nạp tài liệu có thể tranh bộ nhớ và compute; nên thử tải kết hợp hoặc lập lịch tách.

Bắt đầu bằng bộ câu hỏi đánh giá

Chọn câu hỏi có đáp án từ tài liệu doanh nghiệp, câu hỏi thiếu dữ liệu và câu hỏi cần nhiều tài liệu. Đánh giá câu trả lời đúng, nguồn trích dẫn phù hợp và khả năng từ chối khi không đủ căn cứ. GPU lớn hơn không sửa tài liệu lỗi hoặc truy xuất sai.

Chọn model và giới hạn context

Tính prompt gồm hướng dẫn, lịch sử hội thoại, câu hỏi và các đoạn truy xuất. Chọn top-k hoặc reranking theo kết quả đánh giá, không đưa toàn bộ tài liệu vào prompt. Context càng dài có thể tăng bộ nhớ và thời gian xử lý mà không luôn tăng chất lượng.

Dùng cách tính VRAM làm cơ sở cho trọng số và cache, rồi đo với engine thật. Mô hình 70B không mặc định cần thiết cho mọi RAG; một model nhỏ hơn có thể đáp ứng bộ tác vụ nếu retrieval tốt, nhưng phải đánh giá thực tế.

Concurrency: số request thay vì số tài khoản

Một công ty có nhiều nhân viên vẫn có thể chỉ tạo ít request đồng thời; thời điểm họ cùng hỏi báo cáo có thể tạo đỉnh tải khác. Ghi phân bố prompt/output và tải theo giờ, rồi thử giới hạn concurrency, queue và timeout.

• Time to first token và thời gian hoàn tất.
• Latency retrieval và reranking.
• VRAM đỉnh, OOM và request chờ.
• Tỷ lệ lỗi, retry và câu trả lời không đạt.
• Chi phí cho request được chấp nhận.

Quyền truy cập phải nằm trong pipeline

Lọc tài liệu theo quyền người dùng trước khi đưa đoạn trích vào model. Không trông chờ prompt 'đừng tiết lộ dữ liệu' thay thế authorization. Tài liệu cập nhật quyền cần làm mới index/metadata phù hợp; thử truy cập chéo phòng ban và tài liệu đã thu hồi.

Log cần đủ để chẩn đoán nhưng không tự động lưu toàn bộ tài liệu nhạy cảm. Phân quyền truy cập log, đặt thời gian lưu và kiểm soát secret của các dịch vụ.

Pilot và cấu hình production

1. Chọn bộ dữ liệu/câu hỏi có quyền sử dụng.
2. Đánh giá retrieval trước rồi đánh giá generation.
3. Benchmark ở context và concurrency mục tiêu.
4. Thử nạp tài liệu đồng thời với request.
5. Kiểm tra authorization, tài liệu bị xóa và giới hạn log.
6. Chốt cấu hình dựa trên chất lượng, latency và chi phí.

Xem GPU Server. Khi yêu cầu tư vấn, gửi model dự định, quy mô tài liệu, độ dài context và tải đồng thời; xác nhận phương án tách embedding hoặc dùng chung GPU qua kiểm thử.