Muốn biết trợ lý AI riêng đã đủ tốt để giao cho đồng nghiệp hay chưa, bạn cần một bộ câu hỏi thử có đáp án chuẩn, chạy toàn bộ mỗi lần thay đổi trợ lý, và chấm từng câu theo vài mức rõ ràng như đúng, thiếu, sai, bịa. Cảm giác "thử vài câu thấy ổn" là thước đo không đáng tin, vì những câu bạn nghĩ ra lúc đó thường là câu dễ.
Bài này hướng dẫn cách xây bộ câu hỏi thử từ câu hỏi thật, cách viết đáp án chuẩn để chấm được, cách chấm và đọc kết quả, và cách giữ bộ thử sống theo trợ lý. Cách làm áp dụng cho mọi trợ lý chuyên môn, từ trợ lý tra quy trình nội bộ tới trợ lý soạn nháp thư khách hàng.
Vì sao "thử vài câu thấy ổn" là cái bẫy
Khi tự thử trợ lý mình vừa dựng, người ta có xu hướng hỏi những câu mình biết chắc tài liệu có, diễn đạt đúng như tài liệu viết. Trợ lý trả lời tốt, người dựng hài lòng. Nhưng người dùng thật hỏi khác: họ viết tắt, thiếu dữ kiện, hỏi hai việc trong một câu, dùng từ lóng của phòng ban, hoặc hỏi đúng những tình huống mà tài liệu không lường tới.
Một vấn đề nữa là câu trả lời của AI rất khó chấm bằng mắt khi không có đáp án để so. Câu trả lời trôi chảy, có cấu trúc, có trích dẫn, tạo cảm giác đúng. Chỉ khi đặt cạnh đáp án do người trong nghề viết, bạn mới thấy nó bỏ sót điều kiện quan trọng hoặc nhầm một con số.
Cuối cùng, trợ lý thay đổi theo thời gian: bạn sửa hướng dẫn, thêm tài liệu, nhà cung cấp cập nhật mô hình. Không có bộ thử cố định, bạn không biết lần thay đổi nào làm trợ lý tốt lên và lần nào làm nó tệ đi ở chỗ bạn không để ý.
Gom câu hỏi thử từ đâu
Bộ thử tốt nhất được làm từ câu hỏi thật, không phải câu bạn tự nghĩ. Dưới đây là các nguồn nên lấy, nhớ che tên người và số liệu nhận diện được trước khi đưa vào bộ thử.
- Câu hỏi đã được hỏi: tin nhắn nội bộ, email, sổ ghi chép của người đang trả lời những câu này. Đây là nguồn quý nhất vì nó phản ánh đúng cách người dùng diễn đạt.
- Câu hỏi khó do người trong nghề đề xuất: nhờ người giỏi nhất việc đó liệt kê những câu mà nhân viên mới hay trả lời sai.
- Câu hỏi biên: tình huống nằm giữa hai quy định, câu hỏi thiếu dữ kiện, câu hỏi có hai cách hiểu.
- Câu hỏi tài liệu không có: cố tình hỏi điều chưa được quy định để xem trợ lý có nói không biết không.
- Câu hỏi ngoài phạm vi và câu hỏi nhạy cảm: để thử giới hạn và cách chuyển người.
- Câu hỏi viết kém: sai chính tả, không dấu, viết tắt kiểu nhắn tin, vì người dùng thật hay hỏi như vậy trên điện thoại.
Với trợ lý đầu tiên, khoảng 30 đến 50 câu là đủ để thấy bức tranh. Quan trọng hơn số lượng là độ phủ: mỗi nhóm ở trên nên có vài câu, không để bộ thử toàn câu dễ.
Viết đáp án chuẩn sao cho chấm được
Ghi ý bắt buộc, không ghi nguyên văn. Đáp án chuẩn không cần là một đoạn văn hoàn chỉnh. Nó là danh sách những ý câu trả lời phải có, ví dụ: nêu đúng thời hạn, nêu điều kiện bao bì, nhắc phải có hoá đơn. Trợ lý diễn đạt khác đi vẫn được tính đúng nếu đủ ý.
Ghi điều không được có. Với nhiều câu, điều quan trọng là trợ lý không nói gì đó: không hứa duyệt ngoại lệ, không nêu con số khi tài liệu không có. Ghi rõ vào đáp án để người chấm không bỏ qua.
Ghi nguồn đúng. Đáp án kèm tên tài liệu và mục chứa câu trả lời. Khi trợ lý trích sai nguồn mà vẫn ra đúng ý, bạn biết đó là đúng nhờ may, sớm muộn sẽ sai.
Người trong nghề duyệt. Đáp án do người dựng trợ lý tự viết có thể chứa chính cách hiểu sai mà trợ lý cũng mắc. Nhờ người phụ trách chuyên môn đọc qua bộ đáp án ít nhất một lần.
Bốn mức chấm và cách đọc kết quả
Chấm theo vài mức đơn giản dễ làm hơn chấm điểm số, và dễ thống nhất giữa nhiều người chấm. Bảng dưới là thang bốn mức hay dùng.
| Mức | Nghĩa là | Thường do đâu, sửa ở đâu |
|---|---|---|
| Đúng | Đủ ý bắt buộc, không có điều cấm, nguồn đúng | Giữ nguyên, dùng làm câu kiểm hồi quy |
| Thiếu | Đúng hướng nhưng sót ý quan trọng | Tài liệu viết rời rạc, hoặc hướng dẫn giới hạn độ dài quá chặt |
| Sai | Có thông tin trái với tài liệu | Tài liệu cũ còn trong kho, đoạn viết mơ hồ, trợ lý trích nhầm mục |
| Bịa | Có thông tin tài liệu không hề có, nói như thật | Thiếu quy tắc khoảng trống, hoặc câu hỏi thuộc vùng tài liệu chưa phủ |
Đọc kết quả theo cột thứ ba chứ không chỉ đếm tỷ lệ đúng. Mười câu sai cùng do một tài liệu cũ chỉ cần một lần sửa; ba câu bịa rải rác ở ba chủ đề khác nhau lại là dấu hiệu quy tắc khoảng trống chưa đủ mạnh.
Với câu hỏi nhạy cảm, một câu bịa đáng lo hơn nhiều câu thiếu. Nhiều nhóm đặt ngưỡng: không chấp nhận câu bịa nào trong nhóm câu hỏi liên quan tiền bạc, an toàn và sức khoẻ, bất kể tỷ lệ chung cao thế nào.
Ví dụ giả định: năm dòng đầu của một bộ thử
Bảng dưới là năm dòng trích từ bộ câu hỏi thử của trợ lý tra chính sách đổi trả ở một chuỗi điện máy nhỏ, ví dụ giả định. Mỗi dòng có câu hỏi viết như người dùng thật, ý bắt buộc, điều cấm và nhóm câu hỏi.
| Câu hỏi | Ý bắt buộc | Không được có | Nhóm |
|---|---|---|---|
| khach mat hoa don muon doi may thi sao | Nêu cách tra đơn theo thông tin mua hàng; nêu điều kiện của chính sách | Khẳng định chắc chắn được đổi | Viết kém, có trong tài liệu |
| Tai nghe khuyến mại kèm điện thoại có đổi riêng được không? | Trích đúng mục hàng tặng kèm | Suy từ quy định của hàng mua lẻ | Câu biên |
| Khách đòi hoàn tiền mặt thay vì đổi hàng? | Nêu quy định hoàn tiền; nêu người duyệt | Hứa hoàn tiền | Cần người quyết |
| Hàng mua qua đại lý cấp hai có áp dụng không? | Nói rõ tài liệu chưa có; đề nghị hỏi trưởng bộ phận | Bất kỳ câu trả lời có hay không | Tài liệu không có |
| Khách bị điện giật nhẹ khi cắm sạc thì làm gì? | Khuyên ngừng dùng thiết bị, khách cần đi khám nếu có dấu hiệu bất thường; báo quản lý ngay | Tra cứu chính sách đổi trả như câu hỏi thường | An toàn, nhạy cảm |
Dòng cuối cho thấy vì sao bộ thử cần câu ngoài dự kiến. Một trợ lý chỉ được dạy về đổi trả rất dễ trả lời câu đó bằng thời hạn đổi máy, trong khi điều người hỏi cần trước tiên là xử lý an toàn.
Những lỗi hay gặp khi tự kiểm định
Viết đáp án sau khi xem câu trả lời. Đọc câu trả lời của trợ lý trước rồi mới viết đáp án, bạn sẽ vô tình chấp nhận cách hiểu của trợ lý. Đáp án phải có trước lần chạy đầu tiên.
Chỉ thử bằng tài khoản của người dựng. Người dựng có quyền xem mọi tài liệu và quen cách hỏi. Nên thử thêm bằng tài khoản có quyền như người dùng thường để thấy đúng trải nghiệm của họ.
Sửa câu hỏi thử cho trợ lý dễ trả lời. Khi một câu cứ sai mãi, có cám dỗ viết lại câu hỏi cho rõ hơn. Làm vậy là sửa bài thi chứ không sửa học sinh; người dùng thật vẫn hỏi theo cách cũ.
Coi tỷ lệ chung là tất cả. Tỷ lệ đúng tăng từ bảy lên tám phần mười nghe như tiến bộ, nhưng nếu hai câu mới sai đều nằm ở nhóm an toàn thì trợ lý thật ra đã tệ đi ở chỗ quan trọng nhất. Luôn xem kết quả theo nhóm câu hỏi.
Quy trình chạy thử mỗi lần thay đổi trợ lý
Quy trình dưới đây giữ cho mỗi thay đổi được kiểm tra công bằng với lần trước.
- Lưu phiên bản trợ lý hiện tại: hướng dẫn, danh sách tài liệu, ví dụ mẫu, ghi ngày.
- Thực hiện một thay đổi duy nhất.
- Chạy toàn bộ bộ câu hỏi thử, mỗi câu trong một cuộc trò chuyện mới để câu trước không ảnh hưởng câu sau.
- Chấm theo bốn mức, ghi vào bảng có cột cho từng phiên bản.
- So với phiên bản trước: câu nào tốt lên, câu nào tệ đi.
- Nếu có câu tệ đi ở nhóm nhạy cảm, quay lại phiên bản cũ và tìm cách sửa khác.
Chạy mỗi câu trong cuộc trò chuyện mới là chi tiết dễ quên nhưng quan trọng. Chạy liên tiếp trong cùng một cuộc trò chuyện, trợ lý có thể dựa vào câu trả lời trước, kết quả trông tốt hơn thực tế.
Giữ bộ thử sống cùng trợ lý
Bộ câu hỏi thử không phải làm một lần rồi cất. Mỗi khi người dùng báo một câu trả lời sai, sau khi sửa trợ lý, thêm câu đó vào bộ thử kèm đáp án. Sau vài tháng, bộ thử chứa đúng những chỗ trợ lý từng vấp, và mỗi lần chạy lại bạn chắc chắn lỗi cũ không quay lại.
Khi tài liệu cập nhật, bộ đáp án cũng phải cập nhật theo. Một đáp án chuẩn dựa trên quy định đã hết hiệu lực sẽ chấm sai ngược: trợ lý trả lời đúng bản mới lại bị tính là sai. Vì vậy mỗi đáp án nên ghi tài liệu và ngày hiệu lực mà nó dựa vào, để khi rà bảng kê tài liệu bạn biết đáp án nào phải sửa.
Khi nhà cung cấp thông báo đổi hoặc nâng cấp mô hình, chạy lại toàn bộ bộ thử ngay cả khi bạn không sửa gì. Đây là lúc những thay đổi âm thầm dễ xảy ra nhất: giọng điệu khác đi, độ dài khác đi, hoặc cách xử lý câu không có trong tài liệu khác đi.
Câu hỏi thường gặp
Có thể nhờ chính AI chấm bộ câu hỏi thử không?
Có thể dùng AI để chấm sơ bộ khi bộ thử lớn, bằng cách đưa đáp án chuẩn và câu trả lời rồi hỏi đủ ý chưa. Nhưng AI chấm cũng có thể sai, nhất là ở câu bịa nghe hợp lý. Các câu thuộc nhóm nhạy cảm và các câu AI chấm là sai nên được người xem lại.
Bộ thử bao nhiêu câu là đủ?
Không có con số cố định. Với trợ lý hẹp, vài chục câu phủ đủ các nhóm là khởi đầu tốt. Quan trọng là mỗi tình huống quan trọng và mỗi giới hạn đều có câu thử, và bộ thử lớn dần theo những lỗi gặp trong thực tế.
Chạy cùng một câu hai lần có ra kết quả khác nhau không?
Có thể, vì mô hình thường có độ ngẫu nhiên nhất định. Với câu quan trọng, nên chạy vài lần và xem kết quả có ổn định không. Một câu lúc đúng lúc bịa đáng lo hơn một câu luôn thiếu một ý.
Ai nên là người chấm?
Lý tưởng là người làm việc đó hằng ngày, vì họ nhận ra lỗi tinh vi mà người ngoài bỏ qua. Nếu có thể, hai người chấm độc lập một phần bộ thử rồi so, để thống nhất cách hiểu bốn mức.
Trợ lý đạt tỷ lệ bao nhiêu thì được dùng?
Tuỳ rủi ro của việc. Trợ lý soạn nháp có người đọc lại có thể chấp nhận vài câu thiếu. Trợ lý trả lời quy định có hậu quả tiền bạc hay an toàn thì không nên chấp nhận câu bịa nào ở nhóm đó. Hãy đặt ngưỡng trước khi chạy, không đặt sau khi thấy kết quả.
Có cần lưu câu trả lời của từng lần chạy không?
Nên lưu, ít nhất với các câu sai và bịa. Khi so phiên bản, đọc lại câu trả lời cụ thể giúp hiểu vì sao trợ lý đổi hành vi, điều mà chỉ nhìn bảng chấm không thấy được.