Đo độ chính xác của trợ lý AI cho cho thuê ngắn hạn: 380 câu hỏi, không câu trả lời sai
Nghiên cứu về Santi, trợ lý AI trong Santara AI: 19 câu hỏi vận hành, mỗi câu hỏi 20 lần trên một hệ thống thật, chấm theo bảng điều khiển. 0 trên 380 câu sai; 377 câu đầy đủ và đúng (99,2%); thời gian trung vị 6,4 giây.
Tai Pham
Tóm tắt. Chúng tôi đo độ chính xác về số liệu của Santi, trợ lý AI trong Santara AI, trên một hệ thống cho thuê ngắn hạn đang vận hành. Mười chín câu hỏi vận hành, mỗi câu được hỏi 20 lần (n = 380) qua dịch vụ chính thức, lịch sử trò chuyện được xoá sau mỗi câu trả lời, và từng câu trả lời được chấm theo số liệu trên bảng điều khiển Santara AI. Không câu trả lời nào chứa số liệu sai (0 trên 380; KTC 95% 0,0–1,0%). 377 câu trả lời đầy đủ và đúng (99,2%; KTC 95% 97,7–99,7%) và 3 câu chưa đầy đủ (0,8%). Thời gian trung vị để có câu trả lời hoàn chỉnh là 6,4 giây (IQR 5,4–8,3 giây). Bài viết trình bày phương pháp, kết quả theo từng câu hỏi, phân tích ba câu trả lời chưa đầy đủ, và những thay đổi đã thực hiện sau nghiên cứu.
1. Giới thiệu
Một trợ lý AI vận hành việc cho thuê chỉ có ích khi con số của nó đáng tin: "tuần sau có 14 lượt khách đến" quyết định ai dọn phòng, ai đón khách và đêm trống được định giá ra sao. Buổi demo sản phẩm cho thấy những câu hệ thống trả lời đúng; nó không cho thấy hệ thống đúng thường xuyên đến đâu. Nghiên cứu này đo trực tiếp tỷ lệ đó, trên dữ liệu vận hành thật, lấy chính bảng điều khiển của hệ thống làm chuẩn đối chiếu.
2. Phương pháp
2.1 Hệ thống được kiểm tra
Santi là trợ lý AI có sẵn trong Santara AI. Santi trả lời bằng cách đọc đặt phòng, hộp thư, đánh giá, doanh thu và báo cáo chủ nhà của host qua các công cụ chỉ đọc, và mọi thay đổi Santi đề xuất đều cần host xác nhận hai lần. Mỗi câu trả lời có đọc dữ liệu đều kết thúc bằng một dòng nguồn: thời điểm đọc dữ liệu và đường dẫn đến màn hình Santara AI tương ứng. Dịch vụ chính thức được kiểm tra đúng như đang chạy ngày 13/10/2026.
2.2 Dữ liệu
Một hệ thống đang vận hành gồm 12 tin đăng cho thuê ngắn hạn ở Đông Nam Á, công suất phòng 92% trong ngày kiểm tra. Để bảo vệ chủ nhà và khách, tên hệ thống và tên khách không được công bố, và kết quả về tiền chỉ ghi là khớp hay không khớp.
2.3 Câu hỏi
Mười chín câu hỏi thuộc bốn nhóm (Phụ lục A): số lượng (đặt phòng, số đêm, công suất phòng, bàn giao giữa hai lượt khách, hộp thư, đánh giá; 10 câu), tên khách (khách đến và khách đi; 4 câu), tiền (doanh thu, giá mỗi đêm, báo cáo chủ nhà; 3 câu), và ngôn ngữ khác (câu hỏi về khách nhận phòng bằng tiếng Việt và tiếng Indonesia; 2 câu). Mọi câu hỏi đều chỉ đọc dữ liệu.
2.4 Quy trình
Mỗi câu hỏi được hỏi 20 lần, trong 20 vòng luân phiên gồm đủ 19 câu, qua đúng kết nối streaming mà ứng dụng Santi dùng, đăng nhập bằng tài khoản host. Lịch sử trò chuyện được xoá sau mỗi câu trả lời, nên không câu nào phụ thuộc vào câu trước. Sau 380 lượt tự động, cả 19 câu còn được gõ một lần vào trang chat thật trên trình duyệt.
2.5 Giá trị chuẩn và cách chấm
Giá trị chuẩn được đọc từ Santara AI lúc bắt đầu: lịch, số liệu hộp thư, tổng của trang Đánh giá, báo cáo chủ nhà và Daily Brief. Mỗi câu trả lời được chấm theo ba mức:
- Đúng: nêu đúng giá trị chuẩn (tiền chênh không quá 1%) hoặc nêu đủ tên mọi khách, bằng ngôn ngữ được hỏi.
- Chưa đầy đủ: không có số liệu sai, nhưng thiếu một phần điều được hỏi.
- Sai: nêu một con số hoặc tên mâu thuẫn với giá trị chuẩn.
Việc chấm được tự động bằng so khớp văn bản; mọi câu không được chấm "đúng" sau đó được đọc lại bằng tay.
2.6 Thống kê
Các tỷ lệ được báo cáo kèm khoảng tin cậy (KTC) Wilson 95%, vẫn đáng tin với mẫu nhỏ và ở mức 0% hay 100%. Thời gian trả lời là thời gian thực từ lúc gửi câu hỏi đến khi câu trả lời kết thúc, báo cáo theo trung vị và khoảng tứ phân vị (IQR).
3. Kết quả
3.1 Độ chính xác
Không câu trả lời nào sai. 16 trên 19 câu hỏi được trả lời đúng cả 20 lần; ba câu còn lại đúng 19 trên 20 lần (Hình 1).
Bảng 1. Kết quả theo nhóm câu hỏi (n = 380).
| Nhóm | Số câu | Đúng | Chưa đầy đủ | Sai |
| Số lượng | 10 | 198 / 200 | 2 | 0 |
| Tên khách | 4 | 80 / 80 | 0 | 0 |
| Tiền | 3 | 60 / 60 | 0 | 0 |
| Ngôn ngữ khác | 2 | 39 / 40 | 1 | 0 |
| Tất cả | 19 | 377 / 380 (99,2%; KTC 97,7–99,7%) | 3 (0,8%) | 0 (KTC 0,0–1,0%) |
Mọi câu trả lời về tiền đều khớp với bảng điều khiển, kể cả báo cáo chủ nhà, nơi doanh thu gộp được trừ phí kênh và chi phí, và mỗi lượt ở được tính vào tháng khách trả phòng. Lượt kiểm tra qua trang chat thật cho cùng kết quả: đúng 19 trên 19.
3.2 Thời gian trả lời
Thời gian trung vị để có câu trả lời hoàn chỉnh là 6,4 giây (IQR 5,4–8,3 giây; phân vị 95 là 12,0 giây; lâu nhất 33,7 giây, một lượt). Chữ đầu tiên xuất hiện sau trung vị 4,5 giây. Câu tra cứu đơn lẻ mất khoảng 5 giây; câu cần ghép nhiều nguồn, như số phòng có khách tối nay, mất khoảng 10 giây (Hình 2).
3.3 Các tín hiệu hỗ trợ
Bảng 2. Các tín hiệu giúp host kiểm chứng câu trả lời.
| Tín hiệu | Kết quả |
| Câu trả lời có dòng nguồn (thời điểm đọc + đường dẫn) | 379 / 380 |
| Nêu đúng thứ trong tuần của ngày | 379 / 380 |
| Trả lời đúng ngôn ngữ được hỏi | 40 / 40 |
| Số lần hiện cảnh báo đối chiếu | 22, đều trên số liệu đúng |
Santi đánh dấu mọi con số trong câu trả lời không có trong dữ liệu đã đọc. Cả 22 cảnh báo đều rơi vào con số Santi tự tính đúng thay vì đọc sẵn: tổng các khoản chi phí trong tháng (20 lượt) và giá mỗi đêm sau phí (2 lượt). Vì vậy trong nghiên cứu này, cơ chế kiểm tra không bỏ sót lần nào và có 22 lần báo nhầm.
4. Phân tích lỗi
Mỗi câu trả lời chưa đầy đủ có một nguyên nhân riêng (Bảng 3).
Bảng 3. Ba câu trả lời chưa đầy đủ.
| Câu hỏi | Lượt | Host nhận được | Nguyên nhân |
| Khách nhận phòng tuần trước | 8 / 20 | Không có câu trả lời; hỏi lại thì có số đúng là 14 | Mô hình kết thúc lượt mà không viết gì sau khi tra cứu đúng; khi đó chưa có cơ chế tự thử lại |
| Cuộc trò chuyện đang chờ trả lời | 17 / 20 | "12 trong tuần này, cộng 29 cũ hơn", không nêu tổng 41 | Công cụ trả số liệu thành hai phần, và trợ lý được dặn không bao giờ tự cộng số |
| Hôm nay ai nhận phòng (tiếng Việt) | 11 / 20 | "Hôm nay có 3 khách nhận phòng", nêu tên 2 trên 3 người | Danh sách khách đến đã hiện trên màn hình dưới dạng thẻ, và trợ lý được dặn không lặp lại thẻ; host vẫn thấy đủ ba tên |
Thêm một câu trả lời, được chấm là đúng, mở đầu bằng "tuần trước có 18 khách nhận phòng" rồi mới sửa thành 14, vì 4 đặt phòng trong số đó đã bị huỷ. Con số cuối cùng đúng, nhưng câu đầu gây hiểu lầm.
5. Thảo luận
Kết quả ủng hộ hai nhận định. Thứ nhất, trên dữ liệu này, trợ lý không nêu số liệu sai: qua 380 câu trả lời, cận trên của khoảng tin cậy 95% cho tỷ lệ trả lời sai là 1,0%. Thứ hai, các lỗi còn lại là thiếu sót do chính các quy tắc thiết kế của trợ lý, không phải do đọc sai dữ liệu, nên có thể sửa trực tiếp.
Cả ba đã được sửa và phát hành sau nghiên cứu:
- một lượt đã tra cứu nhưng không viết gì giờ sẽ hỏi lại một lần để có câu trả lời;
- câu "bao nhiêu khách đang chờ" giờ nêu tổng trước, rồi mới tách;
- câu hỏi trực tiếp (ai, bao nhiêu) được trả lời đầy đủ bằng lời, kể cả khi thẻ trên màn hình đã có danh sách.
Kiểm tra lại ba câu hỏi bị ảnh hưởng cùng một câu hỏi đối chứng bằng tiếng Anh (20 lượt) cho kết quả 20 trên 20 câu trả lời đầy đủ và đúng. Còn hai thay đổi đang thực hiện: công cụ sẽ trả về mọi con số tổng trợ lý cần, loại bỏ 22 lần báo nhầm; và các lần kiểm tra sau sẽ chấm câu mở đầu gây hiểu lầm là chưa đầy đủ.
6. Hạn chế
Một hệ thống, một ngày và một bộ giá trị chuẩn; kết quả có thể khác với hệ thống lớn hơn hoặc ít hoạt động hơn. Việc chấm là so khớp văn bản tự động, có đọc lại bằng tay mọi câu không được chấm đúng. Một giá trị chuẩn, số khách đang chờ trong hộp thư, thay đổi trong lúc chạy và được chấp nhận trong khoảng ±1. Lần kiểm tra lại sau khi sửa có quy mô nhỏ hơn (20 lượt) và chạy trên một không gian làm việc thử nghiệm riêng.
7. Kết luận
Qua 380 câu trả lời trên dịch vụ chính thức với một hệ thống đang vận hành, Santi không nêu số liệu sai nào, trả lời đầy đủ và đúng 99,2% câu hỏi, và có câu trả lời hoàn chỉnh sau trung vị 6,4 giây, câu nào cũng kèm đường dẫn đến màn hình nguồn. Ba câu trả lời chưa đầy đủ đã được sửa. Chúng tôi sẽ lặp lại nghiên cứu này khi Santi phát triển và công bố kết quả.
Bạn có thể hỏi Santi những câu này về chính homestay của mình: dùng thử Santi và đối chiếu câu trả lời với bảng điều khiển Santara AI.
Phụ lục A. Câu hỏi và kết quả
Số câu trả lời đúng trên 20 lượt, và thời gian trung vị để có câu trả lời hoàn chỉnh.
| # | Câu hỏi | Nhóm | Đúng | Thời gian trung vị |
| 1 | Tôi có bao nhiêu tin đăng? | Số lượng | 20 / 20 | 4,8 giây |
| 2 | Hôm nay ai nhận phòng? | Tên khách | 20 / 20 | 9,1 giây |
| 3 | Hôm nay ai trả phòng? | Tên khách | 20 / 20 | 5,5 giây |
| 4 | Ngày mai ai trả phòng? | Tên khách | 20 / 20 | 5,3 giây |
| 5 | Lượt khách đến tiếp theo là khi nào, và là ai? | Tên khách | 20 / 20 | 6,3 giây |
| 6 | Công suất phòng hôm nay là bao nhiêu? | Số lượng | 20 / 20 | 5,4 giây |
| 7 | Tối nay có bao nhiêu phòng có khách? | Số lượng | 20 / 20 | 11,4 giây |
| 8 | Hôm nay có bao nhiêu lượt bàn giao giữa hai lượt khách? | Số lượng | 20 / 20 | 8,4 giây |
| 9 | Tuần sau có bao nhiêu lượt khách đến? | Số lượng | 20 / 20 | 7,0 giây |
| 10 | Tuần sau có bao nhiêu đêm đã được đặt? | Số lượng | 20 / 20 | 5,3 giây |
| 11 | Tuần trước có bao nhiêu khách nhận phòng? | Số lượng | 19 / 20 | 7,5 giây |
| 12 | Tháng 9 có bao nhiêu đặt phòng nhận phòng? | Số lượng | 20 / 20 | 8,1 giây |
| 13 | Doanh thu tháng này đến nay là bao nhiêu? | Tiền | 20 / 20 | 5,6 giây |
| 14 | Giá trung bình mỗi đêm tháng này đến nay là bao nhiêu? | Tiền | 20 / 20 | 5,6 giây |
| 15 | Lợi nhuận chủ nhà tháng 9 là bao nhiêu? | Tiền | 20 / 20 | 6,6 giây |
| 16 | Có bao nhiêu cuộc trò chuyện đang chờ tôi trả lời? | Số lượng | 19 / 20 | 5,9 giây |
| 17 | Điểm đánh giá trung bình là bao nhiêu, và còn bao nhiêu đánh giá chưa trả lời? | Số lượng | 20 / 20 | 5,2 giây |
| 18 | Hôm nay ai nhận phòng? (hỏi bằng tiếng Việt) | Ngôn ngữ | 19 / 20 | 10,2 giây |
| 19 | Siapa yang check-in hari ini? (hỏi bằng tiếng Indonesia) | Ngôn ngữ | 20 / 20 | 8,1 giây |
Câu 1–17 được hỏi bằng tiếng Anh trong nghiên cứu; bảng ghi bản dịch để dễ đọc.
