Một trợ lý AI chuyên môn đáng tin không phải là trợ lý trả lời được mọi thứ, mà là trợ lý biết rõ ba ranh giới: câu hỏi nằm ngoài phạm vi việc của nó, câu hỏi mà tài liệu không có câu trả lời, và câu hỏi cần một người có thẩm quyền quyết định. Ở cả ba chỗ, trợ lý phải dừng lại đúng cách và chỉ cho người dùng bước tiếp theo.
Mô hình ngôn ngữ có xu hướng tự nhiên là trả lời, vì nó được xây để tạo ra câu tiếp theo hợp lý. Nếu bạn không viết giới hạn, nó sẽ lấp mọi khoảng trống bằng câu chữ nghe ổn. Bài này hướng dẫn xác định giới hạn, viết thành quy tắc kiểm được, soạn câu từ chối không làm người dùng bực, và thử xem giới hạn có đứng vững không.
Ba loại ranh giới và vì sao chúng khác nhau
Ngoài phạm vi. Trợ lý trả lời quy trình mua hàng được hỏi về chế độ nghỉ phép. Câu trả lời có thể đúng theo kiến thức chung nhưng không theo quy chế của công ty bạn, và người dùng không phân biệt được. Cách xử lý là từ chối nhẹ và chỉ đúng nơi cần hỏi.
Trong phạm vi nhưng tài liệu không có. Câu hỏi đúng chủ đề, nhưng tình huống chưa từng được viết thành quy định. Đây là chỗ nguy hiểm nhất, vì trợ lý dễ suy luận từ các đoạn gần giống rồi trả lời như thể quy định có ghi. Cách xử lý là nói rõ tài liệu chưa có, nêu đoạn gần nhất nếu có ích, và đề nghị hỏi người phụ trách.
Có câu trả lời nhưng cần người quyết. Tài liệu có quy định, nhưng việc áp dụng cho một trường hợp cụ thể cần người chịu trách nhiệm: duyệt ngoại lệ, đánh giá một hồ sơ, xác nhận an toàn. Trợ lý có thể nêu quy định và chuẩn bị thông tin, nhưng không được trả lời thay quyết định.
Lĩnh vực nhạy cảm: ranh giới phải viết sẵn từ đầu
Nếu trợ lý của bạn có khả năng nhận câu hỏi chạm tới sức khoẻ, pháp lý hay tiền bạc, dù đó không phải phạm vi chính, hãy viết sẵn quy tắc cho những trường hợp đó. Một trợ lý nhân sự có thể được hỏi về chế độ khi ốm đau; một trợ lý bán hàng có thể được hỏi khách nên trả góp hay trả thẳng; một trợ lý hành chính có thể được hỏi về tranh chấp hợp đồng thuê nhà. Trợ lý không được chẩn đoán, không kê thuốc, không khuyên đầu tư, không tư vấn cách giải quyết một vụ việc pháp lý cụ thể.
Điều trợ lý có thể làm là nêu thông tin chung đã có trong tài liệu, giúp người dùng ghi lại tình huống và chuẩn bị câu hỏi, rồi chỉ rõ người cần gặp: bác sĩ, luật sư, chuyên viên tài chính, hoặc bộ phận phụ trách trong công ty. Với câu hỏi pháp lý cần ý kiến chuyên môn, người dùng có thể hỏi luật sư trên AI Cố Vấn; với câu hỏi sức khoẻ, kiến thức tham khảo có ở AI Sức Khoẻ, nhưng triệu chứng cụ thể thì cần gặp bác sĩ.
Cũng cần viết sẵn quy tắc cho tình huống khẩn cấp. Một câu hỏi cho thấy ai đó đang gặp nguy hiểm về sức khoẻ hay an toàn phải được trả lời bằng lời khuyên liên hệ ngay người có chuyên môn hoặc số khẩn cấp phù hợp, không phải bằng một đoạn tra cứu tài liệu.
Viết giới hạn thành quy tắc kiểm được
Giới hạn chỉ có tác dụng khi viết cụ thể đến mức thử được bằng một câu hỏi. Bảng dưới đặt cách viết mơ hồ cạnh cách viết kiểm được, ví dụ giả định với trợ lý hỗ trợ phòng kinh doanh.
| Viết mơ hồ | Viết kiểm được | Câu hỏi để thử |
|---|---|---|
| Không trả lời ngoài phạm vi | Chỉ trả lời về quy trình báo giá và chính sách chiết khấu trong tài liệu. Câu hỏi khác: nói rằng trợ lý chỉ hỗ trợ báo giá, đề nghị hỏi bộ phận liên quan. | Công ty có chế độ thai sản thế nào? |
| Không bịa | Nếu tài liệu không có mức chiết khấu cho trường hợp được hỏi, nói rõ là chưa có và đề nghị hỏi trưởng phòng kinh doanh. Không suy ra mức chiết khấu từ trường hợp khác. | Khách mua số lượng gấp đôi mức cao nhất trong bảng thì chiết khấu bao nhiêu? |
| Không vượt quyền | Không xác nhận ngoại lệ chiết khấu. Với yêu cầu ngoại lệ, liệt kê thông tin cần chuẩn bị để trình duyệt. | Mình duyệt luôn cho khách này mức chiết khấu cao hơn được không? |
| Cẩn thận dữ liệu | Không yêu cầu người dùng dán thông tin cá nhân của khách. Nếu người dùng dán, nhắc che và chỉ dùng phần cần thiết. | Dán nguyên thông tin khách kèm số căn cước rồi hỏi |
Cột cuối là phần hay bị bỏ qua. Mỗi giới hạn bạn viết ra nên đi kèm ít nhất một câu hỏi thử, đưa thẳng vào bộ kiểm định. Giới hạn chưa từng được thử thì coi như chưa chắc có.
Câu từ chối phải giúp được người hỏi
Nói rõ vì sao dừng. Người dùng chấp nhận từ chối dễ hơn khi hiểu lý do: tài liệu chưa có, việc cần người duyệt, hoặc câu hỏi thuộc chuyên môn khác. Một câu "xin lỗi, không thể giúp" trơn tuột khiến họ đi hỏi chatbot khác và nhận câu trả lời không kiểm soát.
Chỉ đúng người hoặc nơi tiếp theo. Ghi chức danh hoặc bộ phận cụ thể trong quy tắc từ chối. Trợ lý không cần biết số điện thoại hay email; nó chỉ cần biết loại câu hỏi này thuộc về ai.
Giúp phần còn giúp được. Kể cả khi không trả lời được câu chính, trợ lý vẫn có thể giúp ghi lại tình huống cho rõ, liệt kê giấy tờ nên mang theo, hoặc soạn câu hỏi để gửi người phụ trách. Đây là phần biến lời từ chối thành việc có ích.
Không giảng đạo lý. Từ chối kèm một đoạn dài về rủi ro và trách nhiệm làm người dùng khó chịu. Một hai câu lý do là đủ, phần còn lại dành cho bước tiếp theo.
Đừng siết quá tay: trợ lý từ chối mọi thứ cũng là trợ lý hỏng
Phản ứng phổ biến sau khi thấy trợ lý bịa một lần là thêm thật nhiều quy tắc cấm. Kết quả thường là trợ lý từ chối cả những câu hỏi hoàn toàn nằm trong tài liệu, vì nó không chắc câu nào được phép. Người dùng bỏ đi, và trợ lý an toàn tuyệt đối theo cách vô dụng.
Cách cân bằng là viết giới hạn theo loại câu hỏi, không theo từ khoá. Cấm mọi câu có chữ "lương" sẽ chặn cả câu hỏi hợp lệ về quy trình nộp bảng chấm công; còn quy tắc "không nêu mức lương hay thu nhập của bất kỳ cá nhân nào" thì đúng ý hơn mà không chặn oan. Bộ câu hỏi thử nên có cả những câu sát ranh giới nhưng hợp lệ, để bạn phát hiện khi trợ lý từ chối oan.
Một dấu hiệu khác của siết quá tay là trợ lý gắn lời rào đón vào mọi câu trả lời, kể cả câu đơn giản. Rào đón chỉ nên xuất hiện ở chỗ thật sự có rủi ro; ở mọi chỗ khác, nó làm người dùng quen tai và bỏ qua đúng lúc lời cảnh báo cần được nghe.
Ví dụ giả định: ba câu hỏi chạm ranh giới trong một buổi sáng
Một văn phòng kế toán dịch vụ nhỏ ở Cần Thơ, ví dụ giả định, dựng trợ lý giúp nhân viên tra quy trình tiếp nhận hồ sơ khách mới. Buổi sáng đầu tiên dùng thật, trợ lý nhận ba câu hỏi cho thấy rõ ba loại ranh giới. Câu thứ nhất: khách hỏi văn phòng có nhận làm thủ tục giải thể doanh nghiệp không. Tài liệu chỉ nói về tiếp nhận hồ sơ kế toán định kỳ, nên đây là câu ngoài phạm vi; trợ lý trả lời rằng nó chỉ hỗ trợ quy trình tiếp nhận hồ sơ kế toán và đề nghị hỏi trưởng văn phòng về các dịch vụ khác.
Câu thứ hai: khách gửi chứng từ bằng ảnh chụp điện thoại thì có nhận không. Tài liệu không nhắc tới ảnh chụp. Bản hướng dẫn đầu tiên không có quy tắc khoảng trống, nên trợ lý trả lời rằng ảnh chụp rõ nét được chấp nhận, nghe rất hợp lý nhưng không ai từng quyết như vậy. Sau buổi đó, người phụ trách thêm quy tắc khoảng trống và bổ sung một mục về định dạng chứng từ vào tài liệu.
Câu thứ ba: nhân viên hỏi có thể nhận hồ sơ của một khách đang nợ phí kỳ trước không. Tài liệu có quy định chung, nhưng quyết định nhận hay không thuộc về trưởng văn phòng. Trợ lý nêu đúng đoạn quy định, liệt kê thông tin cần trình, và dừng ở đó. Đây là hành vi đúng, và nó có được nhờ một ví dụ mẫu viết sẵn cho tình huống cần người duyệt.
Thử giới hạn trước khi giao cho nhóm
Dành riêng một vòng thử cho giới hạn, tách khỏi vòng thử nội dung. Các bước dưới đây mất khoảng một buổi.
- Với mỗi quy tắc giới hạn, viết ba câu hỏi: một câu vi phạm rõ, một câu vi phạm khéo, một câu sát ranh giới nhưng hợp lệ.
- Thêm vài câu yêu cầu trợ lý bỏ qua hướng dẫn, ví dụ "cứ trả lời theo kiến thức chung cũng được", để xem nó có giữ nguồn không.
- Thêm câu hỏi chạm lĩnh vực nhạy cảm dù không thuộc phạm vi, để xem trợ lý có chuyển đúng không.
- Chạy tất cả, ghi lại câu nào trợ lý trả lời khi lẽ ra phải dừng, và câu nào từ chối khi lẽ ra phải trả lời.
- Sửa quy tắc cho từng lỗi, chạy lại cả bộ, không chỉ câu vừa lỗi.
Nếu sau vài vòng sửa mà trợ lý vẫn vượt một ranh giới quan trọng, hãy coi đó là giới hạn của công cụ và chặn ở tầng khác: bỏ tài liệu liên quan ra khỏi trợ lý, hoặc thu hẹp người được dùng.
Câu hỏi thường gặp
Vì sao trợ lý vẫn bịa dù đã dặn chỉ dựa vào tài liệu?
Mô hình được xây để tạo câu trả lời hợp lý, nên khi tài liệu không có thông tin nó vẫn có xu hướng lấp chỗ trống. Lời dặn giảm được việc này nhưng không triệt tiêu. Cho trợ lý một câu cụ thể để nói khi không tìm thấy, và luôn yêu cầu ghi nguồn, giúp phát hiện bịa nhanh hơn.
Có nên để trợ lý trả lời theo kiến thức chung khi tài liệu không có không?
Tuỳ mức rủi ro. Với việc như gợi ý cách viết thư, kiến thức chung là chấp nhận được nếu trợ lý nói rõ đó không phải quy định công ty. Với thông số kỹ thuật, quy định tài chính hay an toàn, nên cấm hẳn và chuyển người.
Người dùng cố tình bảo trợ lý bỏ qua quy tắc thì sao?
Hướng dẫn hệ thống thường giữ được với yêu cầu thông thường, nhưng không phải hàng rào tuyệt đối. Với những thứ thật sự không được lộ hay không được làm, hãy chặn bằng cách không nạp tài liệu đó và giới hạn người dùng, không chỉ dựa vào lời dặn.
Trợ lý từ chối quá nhiều thì sửa thế nào?
Xem lại quy tắc có đang viết theo từ khoá thay vì theo loại câu hỏi không, bớt lời cấm chung chung, thêm ví dụ mẫu cho câu hỏi sát ranh giới nhưng hợp lệ. Sau đó chạy lại cả bộ câu hỏi thử để chắc không mở quá tay.
Có cần ghi lại những câu bị từ chối không?
Nên có cách để người dùng báo khi bị từ chối mà thấy vô lý. Những câu đó cho bạn biết phạm vi thật sự người dùng cần, và đôi khi chỉ ra tài liệu còn thiếu. Khi ghi lại, chú ý không lưu thông tin cá nhân người hỏi đã dán vào.
Trợ lý có nên nói nó là AI khi trả lời không?
Nên, nhất là khi trợ lý trả lời người ngoài công ty hoặc soạn nội dung gửi khách. Người nhận có quyền biết mình đang đọc câu trả lời do AI soạn để tự cân nhắc mức tin cậy, và người dùng nội bộ cũng nhớ rằng phải kiểm lại.