English
Trí tuệ nhân tạo (AI) đang được kỳ vọng sẽ hỗ trợ mạnh mẽ trong việc tổng hợp, phân tích và truyền đạt thông tin khoa học. Tuy nhiên, một nghiên cứu mới công bố trên Royal Society Open Science đã đặt ra một cảnh báo đáng chú ý: các mô hình ngôn ngữ lớn (LLMs) có thể khái quát hóa quá mức khi tóm tắt các nghiên cứu khoa học, khiến kết luận trở nên sai lệch so với nội dung gốc.
Nghiên cứu này đã khảo sát 10 mô hình AI hàng đầu hiện nay, bao gồm ChatGPT-4o, Claude 3.7 Sonnet, DeepSeek và LLaMA 3.3 70B, và phát hiện nhiều sai sót trong cách các mô hình tóm tắt nghiên cứu học thuật.
Một số phát hiện chính:
-
Tỷ lệ khái quát hóa quá mức trong các bản tóm tắt do AI tạo ra dao động từ 26% đến 73%, tùy theo mô hình.
-
Các bản tóm tắt do AI tạo ra có khả năng sai lệch cao gấp gần 5 lần so với bản tóm tắt do con người viết.
-
Đáng chú ý, các mô hình ngôn ngữ càng mới lại có xu hướng mắc lỗi nhiều hơn trong việc diễn đạt trung thực các giới hạn của nghiên cứu.
Tác động tiềm ẩn:
Việc lược bỏ hoặc làm mờ nhạt những giới hạn quan trọng trong nghiên cứu có thể khiến người đọc hiểu sai bản chất và mức độ tin cậy của kết quả. Điều này không chỉ ảnh hưởng đến nhận thức của công chúng mà còn có thể làm lệch hướng những quyết định nghiên cứu hoặc chính sách khoa học dựa trên thông tin không đầy đủ.
Khuyến nghị từ nhóm nghiên cứu:
Đối với các nhà phát triển AI:
-
Điều chỉnh tham số như temperature để giảm xu hướng khái quát hóa quá mức.
-
Phát triển các bộ chỉ số (benchmark) nhằm kiểm định mức độ chính xác khi tóm tắt nội dung học thuật.
Đối với người dùng:
-
Không nên phụ thuộc hoàn toàn vào AI để thay thế quá trình đọc hiểu và phân tích tài liệu khoa học.
-
Luôn kiểm tra và đối chiếu lại nội dung gốc, đặc biệt với các nghiên cứu quan trọng.
