Đang thực hiệnAI đáng tin cậy & bảo vệ dữ liệu cá nhân
Đo lường chất lượng câu trả lời
Bộ câu hỏi hồi quy, so sánh mù với trợ lý khác và rà soát hằng đêm các câu hỏi thực tế đã ẩn danh, để mọi cải tiến được đo lường thay vì phỏng đoán.
Mục tiêu
• Bộ câu hỏi hồi quy cố định với mẫu bắt buộc có và không được có, viết theo số liệu đã rà soát, chạy hằng tuần; lỗi mới được xử lý như lỗi phần mềm.
• So sánh mù A/B câu trả lời của eChat với trợ lý khác, chấm cùng một cách theo đoạn văn bản mới tra và câu trả lời của chuyên gia.
• Lưu câu hỏi thực tế dạng ẩn danh (đã che thông tin, không định danh, xóa sau 90 ngày), cho người dùng đánh giá, và rà soát các câu yếu nhất mỗi đêm.
• Chuyển kết quả rà soát thành bài kiểm tra đề xuất để con người duyệt; không có gì tự động thay đổi câu trả lời.
Kỹ năng đang cần
- LLM evaluation
- Statistics
- Vietnamese NLP