AI nào làm kế toán tốt hơn? Đừng chỉ nhìn benchmark, hãy kiểm thử bằng dữ liệu thực tế
AI nào làm kế toán tốt hơn? Đừng chỉ nhìn benchmark, hãy kiểm thử bằng dữ liệu thực tế
Một mô hình AI vừa đứng đầu bảng xếp hạng suy luận. Bản giới thiệu cho thấy nó giải được bài toán khó, phân tích tình huống phức tạp và trả lời rất thuyết phục. Kế toán trưởng thử đưa vào một tập hóa đơn cùng bảng công nợ, rồi nhận được bản phân tích chỉ sau vài phút. Nhưng khi kiểm tra lại, một khoản thanh toán bị ghép nhầm khách hàng, một hóa đơn trùng bị bỏ sót, còn một kết luận về thuế lại thiếu điều kiện áp dụng.
Đây là tình huống minh họa, nhưng nó đặt ra câu hỏi rất thực tế: AI giỏi trong bài kiểm tra chung có đồng nghĩa với việc làm tốt công việc kế toán của doanh nghiệp mình? Muốn trả lời, chúng ta cần một cách đánh giá gần với cách tuyển và thử việc một nhân viên: giao đúng việc, có kết quả chuẩn để đối chiếu, rồi xem người đó làm đúng đến đâu và cần giám sát ở chỗ nào.
Benchmark cho biết điều gì?
Benchmark có thể hiểu đơn giản là một bộ đề dùng để đo và so sánh năng lực AI. Tùy bộ đề, người ta có thể kiểm tra khả năng tính toán, đọc hiểu, suy luận, lập trình hoặc xử lý hình ảnh. Điểm số giúp chúng ta có căn cứ sàng lọc ban đầu, thay vì chỉ nghe lời quảng cáo.
Tuy nhiên, điểm benchmark luôn gắn với một bộ câu hỏi và điều kiện kiểm tra nhất định. Nó không tự động trả lời được câu hỏi: mô hình này có đọc đúng file xuất từ phần mềm kế toán của mình, hiểu cách đặt mã khách hàng của mình và phát hiện được những sai lệch mình quan tâm hay không?
Có thể hình dung một ứng viên đạt điểm cao trong kỳ thi nghiệp vụ nhưng vẫn cần làm thử với hồ sơ thực tế. Doanh nghiệp không phủ nhận giá trị của điểm thi; doanh nghiệp cần thêm bằng chứng rằng năng lực ấy chuyển thành kết quả công việc.
Vì sao AI suy luận tốt vẫn có thể sai khi làm kế toán?
Công việc kế toán có nhiều khâu nối tiếp nhau. Trước khi phân tích, AI phải đọc đúng tài liệu, nhận ra đúng cột dữ liệu, hiểu đúng kỳ kế toán và xác định đúng đối tượng. Chỉ cần đọc nhầm dấu phân cách số hoặc bỏ qua một trang chứng từ, phần giải thích phía sau dù mạch lạc vẫn có thể dựa trên đầu vào sai.
Khi đối chiếu công nợ, hai giao dịch có cùng số tiền chưa chắc là một cặp phù hợp. Còn phải xét khách hàng, ngày thanh toán, nội dung chuyển khoản, chứng từ liên quan và trường hợp trả nhiều lần. Một bảng đối chiếu trông đầy đủ có thể vẫn sai nếu AI tự ghép những khoản chưa đủ căn cứ.
Với câu hỏi thuế Việt Nam, đọc hiểu tiếng Việt tốt cũng chưa đủ. Kết luận còn phụ thuộc thời điểm giao dịch, văn bản có hiệu lực, điều kiện áp dụng và hồ sơ thực tế. Câu trả lời nghe hợp lý không thay thế được việc kiểm tra căn cứ. Trong bài kiểm thử, cần xem AI có nhận ra dữ kiện còn thiếu và yêu cầu bổ sung hay không, thay vì chỉ chấm xem nó có đưa ra được một kết luận.
Vì vậy, thứ doanh nghiệp cần đánh giá là cả cách làm việc: mô hình AI, hướng dẫn được giao, tài liệu được cung cấp và công cụ tính toán đi kèm. Nếu dự kiến dùng AI kết hợp Excel để đối chiếu, hãy kiểm thử đúng cách kết hợp đó. Kết quả từ một cuộc trò chuyện đơn lẻ chưa đại diện cho quy trình sẽ vận hành.
Bắt đầu bằng một việc nhỏ và nói rõ thế nào là làm tốt
Đừng bắt đầu bằng yêu cầu “hãy kiểm tra toàn bộ kế toán của công ty”. Phạm vi quá rộng khiến cả người dùng lẫn AI khó biết khi nào công việc đã hoàn thành. Một điểm khởi đầu phù hợp hơn là đối chiếu công nợ của một nhóm khách hàng trong một tháng, hoặc kiểm tra dấu hiệu trùng trong một tập hóa đơn đầu vào.
Chẳng hạn, với đối chiếu công nợ, yêu cầu có thể là: xác định các khoản đã khớp; chỉ ra khoản còn chênh lệch; nêu chứng từ làm căn cứ; tách riêng những khoản chưa đủ thông tin để ghép. Đầu ra cần có mã khách hàng, chứng từ liên quan, số tiền chênh lệch và lý do cần người kiểm tra. Những yêu cầu này giúp việc chấm kết quả bớt cảm tính.
Cũng cần thống nhất ranh giới của công việc. Phát hiện một dấu hiệu bất thường khác với kết luận giao dịch sai hoặc vi phạm. Nếu nhiệm vụ chỉ là sàng lọc rủi ro để kế toán rà soát, AI phải diễn đạt đúng mức độ đó.
Chuẩn bị bộ dữ liệu mẫu có cả trường hợp dễ, khó và thiếu thông tin
Kế toán trưởng có thể bắt đầu bằng khoảng 30–50 tình huống cho một nghiệp vụ hẹp. Đây là gợi ý để tổ chức thử nghiệm ban đầu, không phải quy mô bảo đảm độ tin cậy cho mọi doanh nghiệp. Các công việc đa dạng hoặc có hậu quả lớn sẽ cần kiểm thử rộng hơn.
Dữ liệu nên có những trường hợp thường gặp, nhưng cũng phải chứa những tình huống dễ gây nhầm. Với hóa đơn, có thể chọn trường hợp hoàn toàn bình thường, bản sao cùng một hóa đơn, hai hóa đơn khác nhau có cùng số tiền, bản scan khó đọc và bộ hồ sơ thiếu tài liệu liên quan. Với công nợ, nên có thanh toán một lần, thanh toán nhiều lần, một khoản tiền trả cho nhiều hóa đơn và khoản chưa xác định được người chuyển.
Nếu chỉ đưa vào những hồ sơ sạch và đơn giản, kết quả đẹp có thể tạo cảm giác yên tâm quá sớm. Ngược lại, nếu bộ thử chỉ toàn tình huống khó, nó cũng không phản ánh đúng khối lượng công việc thường ngày. Nên ghi riêng nhóm thông thường và nhóm thử thách, rồi xem kết quả từng nhóm.
Khi lấy hồ sơ thực tế, cần xử lý thông tin nhận diện và dữ liệu nhạy cảm trước khi đưa vào môi trường thử nghiệm đã được doanh nghiệp cho phép. Việc thay tên, mã đối tượng hoặc số tài khoản phải nhất quán giữa các file để vẫn giữ được quan hệ đối chiếu. Không nên chỉ xóa tên trên một bảng trong khi các tài liệu còn lại vẫn cho phép nhận diện khách hàng.
Có dữ liệu rồi, phải có kết quả chuẩn
Mỗi tình huống cần một kết quả chuẩn do người có chuyên môn kiểm tra. AI có thể giúp soạn bản nháp, nhưng không nên vừa tự tạo đáp án vừa tự xác nhận mình làm đúng. Với tình huống khó, kế toán trưởng nên bố trí thêm một người rà soát để thống nhất cách xử lý trước khi chấm AI.
Kết quả chuẩn không chỉ là “đúng” hay “sai”. Nó cần chỉ rõ phát hiện mong đợi, số tiền liên quan, căn cứ trong hồ sơ và hành động tiếp theo. Trường hợp chưa đủ bằng chứng thì đáp án chuẩn có thể chính là “chưa kết luận được; cần bổ sung tài liệu này”. Khi có nhiều cách giải thích hợp lý, hãy xác định điều kiện chấp nhận thay vì bắt AI viết giống từng câu.
Ví dụ giả định: khách hàng còn nợ 120 triệu đồng, có một khoản chuyển 70 triệu đồng xác định được chứng từ, và một khoản 50 triệu đồng chưa rõ người chuyển. Kết quả chuẩn không nên vội xác nhận đã thanh toán đủ. AI cần tách khoản đã có căn cứ khỏi khoản cần xác minh. Khả năng dừng đúng lúc là một phần của chất lượng nghiệp vụ.
Với tình huống thuế, đáp án chuẩn cần ghi thời điểm đánh giá, nguồn văn bản, điều khoản liên quan và giả định áp dụng. Khi quy định hoặc dữ kiện thay đổi, đáp án cũng phải được cập nhật. Không thể dùng một đáp án cũ để chấm mọi giao dịch về sau.
Đừng chỉ nhìn tỷ lệ đúng: hãy xem AI bỏ sót gì và cảnh báo nhầm gì
Giả sử bộ thử có 100 hóa đơn, trong đó 5 hóa đơn có dấu hiệu cần rà soát. Nếu AI trả lời tất cả đều bình thường, nó vẫn phân loại đúng 95 hóa đơn. Con số 95% nghe rất tốt, nhưng công cụ lại bỏ sót toàn bộ 5 trường hợp mà kế toán cần tìm. Đây là ví dụ số học minh họa, không phải kết quả thử nghiệm một sản phẩm.
Vì vậy, hãy đếm riêng số trường hợp có vấn đề mà AI tìm được, số trường hợp bị bỏ sót và số hồ sơ bình thường bị cảnh báo nhầm. Bỏ sót có thể khiến rủi ro đi qua; cảnh báo nhầm quá nhiều lại khiến nhân viên mất công kiểm tra. Hai loại lỗi đều ảnh hưởng hiệu quả sử dụng, nhưng hậu quả không nhất thiết ngang nhau.
Ngoài phát hiện đúng, cần xem AI có tính đúng số tiền, dẫn đúng chứng từ và giải thích đủ để người khác kiểm tra lại hay không. Một cảnh báo không chỉ ra được dòng dữ liệu hoặc hồ sơ liên quan sẽ khó sử dụng, dù nội dung có vẻ hợp lý.
Với việc cộng số, tính chênh lệch và kiểm tra các điều kiện rõ ràng, có thể dùng công thức Excel hoặc phần mềm để đối chiếu. Những nhận định cần xét hồ sơ và bối cảnh nên được người có chuyên môn chấm. Nếu dùng một AI khác hỗ trợ chấm phần diễn đạt, kết quả ấy vẫn cần được kiểm tra ở các kết luận quan trọng.
So sánh công bằng và thử lại nhiều lần
Muốn so sánh hai giải pháp, cần cho chúng cùng nhiệm vụ, cùng dữ liệu, cùng nguồn tham khảo và cùng yêu cầu đầu ra. Nếu một bên được cung cấp đầy đủ hướng dẫn còn bên kia chỉ nhận một câu hỏi ngắn, kết quả phản ánh cả sự khác nhau trong cách giao việc.
Nếu so sánh hai sản phẩm có sẵn công cụ khác nhau, hãy ghi nhận rõ điều đó và đánh giá toàn bộ giải pháp theo cách doanh nghiệp sẽ sử dụng. Một sản phẩm đọc bảng tính tốt hơn có thể phù hợp với đối chiếu hơn, dù mô hình nền không đứng cao nhất trên bảng xếp hạng chung.
Nên chạy lại các tình huống quan trọng vài lần trong phiên làm việc mới. Nếu lần đầu AI phát hiện được sai lệch nhưng những lần sau lại bỏ sót, đó là thông tin cần biết trước khi triển khai. Đồng thời lưu ngày thử, tên hoặc phiên bản mô hình nếu có, hướng dẫn sử dụng và các tài liệu đi kèm để có thể đối chiếu khi kết quả thay đổi.
Cũng nên giữ lại một phần tình huống chưa dùng trong quá trình sửa hướng dẫn. Ví dụ, dùng một nhóm để hoàn thiện cách giao việc rồi kiểm tra trên nhóm còn lại mà không đưa đáp án cho AI. Nếu liên tục sửa theo cùng một bộ đề rồi báo cáo kết quả trên chính bộ đó, chúng ta dễ đánh giá quá cao khả năng xử lý hồ sơ mới.
Chỉ triển khai khi biết rõ phạm vi được giao và hiệu quả thực tế
Trước khi xem kết quả, kế toán trưởng nên thống nhất điều kiện chấp nhận cho từng nhóm công việc. Hồ sơ nào AI được hỗ trợ xử lý, trường hợp nào phải chuyển người kiểm tra, loại lỗi nào sẽ khiến thử nghiệm chưa đạt? Tiêu chí cần gắn với hậu quả nghiệp vụ; một mức điểm trung bình không nên bù trừ cho lỗi nghiêm trọng.
Kết quả tốt trên bộ mẫu cũng chưa đủ để bỏ bước kiểm soát. Có thể cho AI chạy song song với quy trình hiện tại trong một phạm vi nhỏ: AI tạo bảng đối chiếu hoặc danh sách cảnh báo, kế toán kiểm tra rồi mới sử dụng kết quả. Các thao tác như ghi sổ, điều chỉnh số liệu, gửi thông tin cho khách hàng hoặc nộp hồ sơ cần có cơ chế phê duyệt phù hợp với thẩm quyền của doanh nghiệp.
Hiệu quả nên đo bằng tổng thời gian để hoàn thành công việc đã được kiểm tra, gồm chuẩn bị dữ liệu, chờ AI xử lý, rà soát và sửa lỗi. Một bản phân tích được tạo trong hai phút nhưng phải sửa thêm một giờ chưa chắc giúp tiết kiệm công sức. Chi phí sử dụng công cụ cũng cần được tính cùng thời gian của nhân viên.
Sau khi triển khai, hãy đưa những lỗi mới phát hiện vào bộ kiểm thử. Khi đổi mô hình, sửa hướng dẫn hoặc thay định dạng file đầu vào, chạy lại các tình huống cũ và tình huống mới. Bộ thử ban đầu nhờ đó trở thành một công cụ kiểm soát chất lượng được bổ sung theo kinh nghiệm thực tế.
Câu hỏi hữu ích hơn “AI nào giỏi nhất?”
Với kế toán trưởng và chủ doanh nghiệp, câu hỏi có ích hơn là: “Giải pháp AI nào làm tốt nghiệp vụ này, trên dữ liệu của chúng ta, với mức kiểm soát và chi phí chấp nhận được?”. Câu trả lời có thể khác nhau giữa đọc hóa đơn, đối chiếu công nợ và rà soát hồ sơ thuế.
Doanh nghiệp có thể bắt đầu rất nhỏ: chọn một việc đang tốn thời gian, chuẩn bị một nhóm hồ sơ đã xử lý, xác nhận kết quả chuẩn và thử AI trên cùng yêu cầu. Sau đó ghi lại những gì làm đúng, bỏ sót, cảnh báo nhầm và thời gian thực sự tiết kiệm được.
Điểm benchmark giúp chọn ứng viên để thử. Chính kết quả kiểm thử và vận hành có kiểm soát mới cho biết doanh nghiệp nên giao cho AI công việc gì.
Tham khảo thêm về phương pháp đánh giá AI: Demystifying evals for AI agents — Anthropic; AI measurement and evaluation — NIST. Các tình huống, quy mô mẫu và cách tổ chức thử nghiệm trong bài là gợi ý thực hành cho kế toán, không phải tiêu chuẩn chứng nhận.
💬 Xin mời Quý độc giả trao đổi thảo luận thêm về chủ đề này trên diễn đàn của Webketoan