Câu trả lời sai của AI hiếm khi trông giống câu trả lời sai. Nó trôi chảy, có cấu trúc, có số liệu, có tên riêng, và được nói với cùng một giọng điềm tĩnh như khi nó trả lời đúng. Người trong ngành gọi hiện tượng này là ảo giác: mô hình tạo ra thông tin không có thật nhưng trình bày như sự thật. Với người đi hỏi lời khuyên, đây là rủi ro lớn nhất, vì bạn hỏi đúng vào chỗ mình không biết, nên cũng khó tự phát hiện chỗ sai nhất.
Bài này không nhằm làm bạn sợ dùng AI. Nó gom lại những dấu hiệu mà người dùng nhiều năm hay dựa vào để nghi ngờ đúng lúc, những loại câu hỏi mà chatbot hay trượt, và một quy trình kiểm năm phút trước khi bạn làm theo bất cứ lời khuyên nào có hậu quả thật.
Vì sao AI nói sai mà giọng vẫn chắc
Mô hình ngôn ngữ lớn được huấn luyện để viết tiếp một đoạn văn sao cho hợp lý nhất dựa trên rất nhiều văn bản đã đọc. Khi bạn hỏi một câu, nó không mở sổ tra cứu rồi chép đáp án; nó dựng câu trả lời từng chữ một theo những mẫu đã học. Phần lớn thời gian, cách dựng đó cho ra nội dung đúng, vì điều đúng thường xuất hiện nhiều trong dữ liệu. Nhưng khi gặp chỗ dữ liệu mỏng, mâu thuẫn hoặc quá chi tiết, mô hình vẫn viết ra một câu trả lời trọn vẹn, vì một câu trả lời trọn vẹn là thứ nó được luyện để tạo ra.
Giọng văn tự tin vì thế không phải tín hiệu về độ đúng. Mô hình không có một chiếc đồng hồ đo "mình chắc bao nhiêu phần trăm" gắn liền với từng câu. Các hãng đã cải thiện đáng kể việc cho AI nói "không biết" hoặc tự tra cứu web trước khi trả lời, nhưng mức cải thiện khác nhau giữa các công cụ và các phiên bản, nên bạn không thể trông vào đó như một lớp bảo vệ chắc chắn.
Có thêm một lực kéo nữa: chatbot được tinh chỉnh để hữu ích và dễ chịu với người hỏi. Khi câu hỏi đã ngầm chứa một kết luận, nó có xu hướng đi theo kết luận đó thay vì cãi lại. Hiểu ba điều này giúp bạn đổi cách đọc: thay vì hỏi "nghe có hợp lý không", hãy hỏi "điều này có thể kiểm ở đâu".
Chín dấu hiệu một câu trả lời cần kiểm lại
Chi tiết quá cụ thể mà không kèm nguồn. Số hiệu văn bản, năm ban hành, tên tác giả, tỷ lệ phần trăm có số lẻ. Chi tiết càng nhỏ càng dễ bị dựng ra, vì mô hình biết "kiểu" của một con số hợp lý nhưng không nhất thiết nhớ đúng con số.
Con số tròn và đẹp đến đáng ngờ. Kiểu "giảm 30% chi phí", "tăng gấp đôi hiệu quả" mà không nói so với cái gì, đo ở đâu, trong bao lâu.
Trích dẫn nguyên văn trong ngoặc kép. Một câu nói gán cho người nổi tiếng hay một đoạn "trích từ quy định" là thứ rất hay bị chế lại cho gọn và hay hơn bản gốc.
Đồng ý với mọi giả định trong câu hỏi. Bạn hỏi "vì sao cách A tốt hơn cách B" và AI liệt kê ngay năm lý do, không hề hỏi lại liệu A có thật sự tốt hơn không.
Tên riêng nghe hợp lý nhưng lạ. Một cuốn sách, một phương pháp, một tổ chức mà bạn chưa nghe bao giờ, tên ghép từ những chữ quen thuộc trong ngành.
Trộn hai thứ gần giống nhau. Lẫn quy định của hai nước, hai thời kỳ, hai dòng sản phẩm, hai loại hợp đồng, rồi trình bày như một.
Câu trả lời đổi khi bạn hỏi lại. Mở cuộc trò chuyện mới, hỏi đúng câu đó, ra con số khác hoặc kết luận khác. Điều đúng thường ổn định hơn điều bịa.
Nói về chuyện rất mới mà không tra cứu. Mô hình có mốc kiến thức; sự kiện, giá cả, phiên bản phần mềm sau mốc đó là vùng nó dễ đoán mò nhất.
Không có chữ "tuỳ" nào. Lời khuyên chuyên môn thật hầu như luôn có điều kiện. Một câu trả lời khẳng định tuyệt đối cho tình huống phức tạp là đáng ngờ.
Loại câu hỏi AI hay trượt nhất và cách kiểm từng loại
Không phải câu hỏi nào cũng rủi ro như nhau. Bảng dưới gom những loại hay gặp khi người đi làm hỏi AI lời khuyên chuyên môn, lý do dễ sai và việc nên làm ngay.
| Loại câu hỏi | Vì sao dễ sai | Kiểm thế nào |
|---|---|---|
| Quy định, thủ tục, mức phạt, thời hạn | Văn bản thay đổi theo năm, khác nhau theo địa phương và ngành | Tìm văn bản gốc còn hiệu lực trên cổng thông tin chính thức, hỏi cơ quan tiếp nhận |
| Số liệu thống kê, thị phần, tỷ lệ | Mô hình nhớ kiểu con số, không nhớ chắc nguồn và năm | Yêu cầu nguồn, tự mở nguồn, xem năm và phạm vi đo |
| Trích dẫn sách, bài báo, nghiên cứu | Dễ ghép tên tác giả thật với tiêu đề không có thật | Tra tên sách, tên bài trên thư viện hoặc trang của nhà xuất bản |
| Thông số kỹ thuật một sản phẩm cụ thể | Lẫn giữa các đời máy, các phiên bản | Đối chiếu tài liệu hướng dẫn của nhà sản xuất cho đúng mã máy |
| Phép tính nhiều bước | Sai ở một bước giữa rồi kéo theo cả kết quả | Tự tính lại bằng bảng tính, hoặc yêu cầu AI trình bày từng bước |
| Sự kiện gần đây | Nằm sau mốc kiến thức của mô hình | Dùng chế độ có tra cứu web và mở từng nguồn được dẫn |
Điểm chung của cả sáu dòng: cách kiểm đều nằm ngoài cuộc trò chuyện. Hỏi AI "bạn có chắc không" là chưa đủ, vì nó có thể xin lỗi và đưa ra một đáp án sai khác.
Bẫy câu hỏi chứa sẵn kết luận
Một phần lớn câu trả lời sai bắt đầu từ chính câu hỏi. Ví dụ giả định: chủ một cửa hàng ở Đà Nẵng hỏi chatbot "vì sao nên chuyển toàn bộ sổ sách sang phần mềm kế toán trên mây ngay trong tháng này". Câu hỏi đã chốt ba điều: nên chuyển, chuyển toàn bộ, chuyển ngay. AI sẽ rất dễ liệt kê lợi ích của việc chuyển và bỏ qua những câu đáng hỏi hơn, như dữ liệu cũ có sạch không, nhân viên đã quen chưa, giữa kỳ quyết toán có phải lúc hợp lý không.
Cách sửa là đặt câu hỏi trung tính hơn và mời AI phản đối. Thay vì "vì sao nên", hãy viết "đang cân nhắc chuyển sổ sách sang phần mềm trên mây; hãy nêu điều kiện nào thì nên chuyển, điều kiện nào thì nên chờ, và những câu hỏi cần trả lời trước khi quyết". Câu lệnh này buộc mô hình trình bày hai phía và lộ ra các giả định.
Một thói quen đơn giản khác: trước khi gửi câu hỏi, đọc lại và gạch chân những chữ mang tính kết luận như "nên", "tốt nhất", "vì sao A hơn B", "cách nhanh nhất để". Mỗi chữ như vậy là một chỗ AI có thể chiều theo bạn thay vì nói thật. Bạn không cần bỏ hết, chỉ cần biết chúng đang ở đó khi đọc câu trả lời.
Quy trình kiểm năm phút trước khi làm theo
Với lời khuyên có hậu quả thật về tiền, sức khoẻ, pháp lý hay uy tín, năm phút kiểm là khoản đầu tư rẻ nhất bạn có thể bỏ ra. Quy trình gọn:
- Tách câu trả lời thành các khẳng định riêng lẻ: mỗi con số, mỗi tên riêng, mỗi "phải làm" là một dòng.
- Đánh dấu khẳng định nào mà nếu sai thì bạn thiệt hại nhiều nhất. Thường chỉ hai ba dòng.
- Với từng dòng đó, hỏi AI: "Khẳng định này lấy từ loại nguồn nào, và nên kiểm ở đâu?" Câu trả lời cho bạn chỗ để tìm, không phải bằng chứng.
- Tự mở nguồn đó: văn bản gốc, tài liệu nhà sản xuất, trang của cơ quan quản lý, sách chuyên ngành.
- Mở một cuộc trò chuyện mới, hỏi lại đúng điểm quan trọng nhất bằng cách diễn đạt khác, xem kết quả có giữ nguyên không.
- Nếu còn mâu thuẫn mà việc có rủi ro cao, dừng lại và hỏi người có chuyên môn.
Quy trình này không bắt bạn kiểm mọi chữ. Nó tập trung vào vài điểm mà sai thì đau, và để phần còn lại, như cách diễn đạt hay thứ tự ý, cho AI làm tốt việc của nó.
Những việc AI thường làm tốt, để không nghi ngờ quá mức
Nghi ngờ mọi thứ cũng là một kiểu lãng phí. Có những loại việc mà AI làm khá ổn định, và nếu bạn kiểm chúng kỹ như kiểm một con số pháp lý thì sẽ không còn thời gian cho việc chính. Giải thích một khái niệm phổ biến trong ngành, như khấu hao là gì hay vì sao cần tách quỹ dự phòng, thường đúng ở mức cơ bản vì kiến thức đó xuất hiện dày đặc trong dữ liệu.
Sắp xếp lại ý của chính bạn, viết lại một đoạn cho rõ hơn, gợi ý danh sách câu hỏi nên hỏi một chuyên gia, lập khung so sánh hai phương án mà bạn đã tự đưa dữ liệu vào: đây là những việc AI làm nhanh và ít rủi ro, vì đầu vào đến từ bạn, không đến từ trí nhớ của mô hình.
Quy tắc dễ nhớ: AI đáng tin hơn khi nó biến đổi thông tin bạn đưa cho nó, và kém tin hơn khi nó phải lấy thông tin từ trí nhớ của mình. Càng nhiều chi tiết cụ thể đến từ trí nhớ của mô hình, bạn càng cần kiểm. Càng nhiều chi tiết đến từ tài liệu bạn đưa vào, phần việc của bạn càng chuyển sang kiểm xem nó có hiểu đúng tài liệu không.
Ghi chú mức tin cậy ngay khi đọc
Người dùng AI lâu năm thường có thói quen đánh dấu nhanh câu trả lời ngay lúc đọc, để khi quay lại vài hôm sau không nhầm điều đã kiểm với điều chưa kiểm. Một cách ghi đơn giản:
- Đã kiểm: bạn tự mở nguồn gốc và thấy khớp. Ghi luôn tên nguồn và ngày kiểm.
- Hợp lý, chưa kiểm: nghe đúng với hiểu biết chung, nhưng chưa có ai xác nhận. Dùng để suy nghĩ, chưa dùng để quyết.
- Nghi ngờ: có một trong chín dấu hiệu ở trên. Không chép sang tài liệu gửi người khác.
- Sai: đã kiểm và không đúng. Ghi lại để biết công cụ hay trượt ở mảng nào.
- Cần chuyên gia: rủi ro cao, nguồn mâu thuẫn, hoặc cần người chịu trách nhiệm ký tên.
Sau một vài tuần, cột "Sai" của bạn sẽ cho thấy rõ công cụ mình đang dùng hay hụt ở loại câu hỏi nào. Đó là kinh nghiệm riêng đáng giá hơn mọi bảng so sánh công cụ trên mạng, vì nó khớp đúng với lĩnh vực và cách hỏi của bạn.
Câu hỏi thường gặp
Có cách nào bắt AI không bao giờ bịa thông tin không?
Hiện chưa có cách nào loại bỏ hoàn toàn. Bạn có thể giảm rủi ro bằng cách đưa tài liệu gốc vào và yêu cầu AI chỉ trả lời dựa trên đó, bật chế độ tra cứu web, và yêu cầu nói rõ khi không chắc, nhưng vẫn phải tự kiểm điểm quan trọng.
Hỏi AI "bạn có chắc không" có giúp phát hiện chỗ sai?
Đôi khi có, nhưng không đáng tin. Chatbot có thể giữ nguyên câu sai, hoặc xin lỗi rồi đưa ra một đáp án sai khác chỉ vì bạn tỏ ra nghi ngờ. Cách tốt hơn là hỏi nó nên kiểm ở đâu rồi tự mở nguồn đó.
Câu trả lời có kèm đường dẫn nguồn thì có tin được không?
Tin hơn một chút, nhưng vẫn phải mở từng nguồn. Có trường hợp nguồn có thật nhưng không nói điều mà AI gán cho nó, hoặc chỉ nói một phần. Đọc đúng đoạn liên quan trong nguồn mới tính là đã kiểm.
Công cụ trả phí có ít sai hơn công cụ miễn phí không?
Các phiên bản mới thường sai ít hơn ở nhiều loại câu hỏi, nhưng không có phiên bản nào miễn nhiễm. Mức sai còn phụ thuộc vào lĩnh vực và cách hỏi, nên quy trình kiểm vẫn cần như nhau dù bạn dùng gói nào.
Chatbot viết "theo các chuyên gia" hay "nghiên cứu cho thấy" thì có đáng tin hơn không?
Không, nếu không kèm tên nguồn cụ thể mà bạn mở được. Những cụm từ này thường chỉ là cách diễn đạt cho câu trả lời có vẻ có căn cứ. Hỏi chuyên gia nào, nghiên cứu nào, rồi tự tra xem nguồn đó có thật và có nói vậy không.
AI trả lời sai thì có nên báo lại cho công cụ không?
Nên dùng nút đánh giá nếu công cụ có, vì đó là kênh phản hồi chính thức. Nhưng việc báo lại không sửa câu trả lời cho lần sau của bạn ngay, nên quan trọng hơn là bạn ghi lại để biết công cụ hay trượt ở mảng nào.