Mengukur akurasi agen AI untuk sewa jangka pendek: 380 pertanyaan, nol jawaban salah

Abstrak. Kami mengukur akurasi faktual Santi, agen AI di Santara AI, pada portofolio sewa jangka pendek yang beroperasi. Sembilan belas pertanyaan operasional masing-masing diajukan 20 kali (n = 380) melalui layanan produksi, dengan riwayat percakapan dihapus setelah setiap jawaban, dan setiap jawaban dinilai terhadap angka di dasbor Santara AI. Tidak ada jawaban yang memuat angka salah (0 dari 380; IK 95% 0,0–1,0%). 377 jawaban lengkap dan benar (99,2%; IK 95% 97,7–99,7%) dan 3 kurang lengkap (0,8%). Median waktu hingga jawaban lengkap adalah 6,4 detik (IQR 5,4–8,3 detik). Tulisan ini memaparkan metode, hasil per pertanyaan, analisis tiga jawaban yang kurang lengkap, dan perubahan yang dilakukan setelah studi.

1. Pendahuluan

Agen AI yang mengelola bisnis sewa hanya berguna jika angkanya dapat dipercaya: "14 kedatangan minggu depan" menentukan siapa yang membersihkan, siapa yang menyambut, dan bagaimana malam kosong diberi harga. Demo produk menunjukkan jawaban yang benar; demo tidak menunjukkan seberapa sering sistem itu benar. Studi ini mengukur tingkat tersebut secara langsung, pada data operasional sungguhan, dengan dasbor sistem itu sendiri sebagai acuan.

2. Metode

2.1 Sistem yang diuji

Santi adalah agen AI di dalam Santara AI. Santi menjawab dengan membaca booking, kotak masuk, ulasan, pendapatan, dan laporan pemilik milik host melalui alat yang hanya membaca, dan setiap perubahan yang diusulkan memerlukan konfirmasi host dua kali. Setiap jawaban yang membaca data diakhiri baris sumber: kapan data dibaca dan tautan ke layar Santara AI asalnya. Layanan produksi diuji sebagaimana berjalan pada 13 Oktober 2026.

2.2 Data

Satu portofolio yang beroperasi dengan 12 listing sewa jangka pendek di Asia Tenggara, dengan okupansi 92% pada hari pengujian. Demi melindungi pemilik dan tamu, nama portofolio dan nama tamu tidak diungkapkan, dan hasil terkait uang hanya dilaporkan cocok atau tidak cocok.

2.3 Pertanyaan

Sembilan belas pertanyaan dalam empat kategori (Lampiran A): jumlah (booking, malam, okupansi, pergantian tamu, kotak masuk, ulasan; 10 pertanyaan), nama tamu (kedatangan dan kepergian; 4), uang (pendapatan, tarif per malam, laporan pemilik; 3), dan bahasa lain (pertanyaan check-in dalam bahasa Vietnam dan Indonesia; 2). Semua pertanyaan hanya membaca data.

2.4 Prosedur

Setiap pertanyaan diajukan 20 kali, dalam 20 putaran bergilir berisi ke-19 pertanyaan, melalui endpoint streaming yang sama dengan yang dipakai aplikasi Santi, masuk sebagai host. Riwayat percakapan dihapus setelah setiap jawaban, sehingga tidak ada jawaban yang bergantung pada jawaban sebelumnya. Setelah 380 putaran otomatis, ke-19 pertanyaan juga diketik sekali di halaman chat sungguhan lewat browser.

2.5 Nilai acuan dan penilaian

Nilai acuan dibaca dari Santara AI di awal pengujian: kalender, jumlah di kotak masuk, total halaman Ulasan, laporan pemilik, dan Daily Brief. Setiap jawaban dinilai dalam tiga tingkat:

• Benar: menyebut nilai acuan (uang selisih paling banyak 1%) atau menyebut nama semua tamu, dalam bahasa yang ditanyakan.
• Kurang lengkap: tidak memuat angka salah, tetapi menghilangkan sebagian yang ditanyakan.
• Salah: menyebut angka atau nama yang bertentangan dengan acuan.

Penilaian dilakukan otomatis dengan pencocokan teks; setiap jawaban yang tidak dinilai benar kemudian dibaca ulang secara manual.

2.6 Statistik

Proporsi dilaporkan dengan interval kepercayaan (IK) Wilson 95%, yang tetap valid pada sampel kecil dan pada 0% atau 100%. Waktu jawab adalah waktu nyata dari pertanyaan dikirim hingga jawaban selesai, dilaporkan sebagai median dan rentang antarkuartil (IQR).

3. Hasil

3.1 Akurasi

Tidak ada jawaban yang salah. Enam belas dari 19 pertanyaan dijawab benar di semua 20 putaran; tiga lainnya benar 19 dari 20 (Gambar 1).

Tabel 1. Hasil per kategori (n = 380).

Semua jawaban soal uang cocok dengan dasbor, termasuk laporan pemilik, yang mengurangi pendapatan kotor dengan biaya kanal dan pengeluaran, serta menempatkan setiap masa inap pada bulan check-out. Uji lewat halaman chat sungguhan memberi hasil yang sama: 19 dari 19 benar.

3.2 Waktu jawab

Median waktu hingga jawaban lengkap adalah 6,4 detik (IQR 5,4–8,3 detik; persentil ke-95 12,0 detik; maksimum 33,7 detik, satu putaran). Kata pertama muncul setelah median 4,5 detik. Pencarian tunggal butuh sekitar 5 detik; pertanyaan yang menggabungkan beberapa sumber, seperti kamar terisi malam ini, butuh sekitar 10 detik (Gambar 2).

3.3 Sinyal pendukung

Tabel 2. Sinyal yang memungkinkan host memverifikasi jawaban.

Santi menandai setiap angka dalam jawabannya yang tidak ada di data yang dibacanya. Ke-22 tanda itu jatuh pada angka yang dihitung sendiri dengan benar, bukan dibaca: jumlah pos pengeluaran sebulan (20 putaran) dan tarif per malam setelah biaya (2 putaran). Dengan demikian, dalam studi ini pemeriksaan tidak melewatkan apa pun dan menghasilkan 22 peringatan palsu.

4. Analisis kesalahan

Setiap jawaban yang kurang lengkap memiliki penyebab berbeda (Tabel 3).

Tabel 3. Tiga jawaban yang kurang lengkap.

Satu jawaban lain, yang dinilai benar, dibuka dengan "18 tamu check-in minggu lalu" sebelum dikoreksi menjadi 14, karena 4 booking di antaranya dibatalkan. Angka akhirnya benar, tetapi kalimat pertamanya menyesatkan.

5. Pembahasan

Hasil ini mendukung dua klaim. Pertama, pada data ini agen tidak menyebut angka yang salah: dari 380 jawaban, batas atas interval 95% untuk jawaban salah adalah 1,0%. Kedua, kesalahan yang tersisa adalah kelalaian akibat aturan desain agen itu sendiri, bukan salah membaca data, sehingga dapat diperbaiki secara langsung.

Ketiganya sudah diperbaiki dan dirilis setelah studi:

• giliran yang sudah mencari data tetapi tidak menulis apa pun kini meminta jawabannya sekali lagi;
• "berapa yang menunggu" kini menyebut total lebih dulu, baru rinciannya;
• pertanyaan langsung (siapa, berapa) dijawab lengkap dengan kata-kata, walaupun kartu di layar sudah menampilkan daftar yang sama.

Uji ulang terhadap tiga pertanyaan yang terdampak ditambah satu pertanyaan kontrol berbahasa Inggris (20 putaran) menghasilkan 20 dari 20 jawaban lengkap dan benar. Dua perubahan masih berjalan: alat akan mengirim setiap angka total yang dibutuhkan agen, menghapus 22 peringatan palsu; dan pengujian berikutnya akan menilai kalimat pertama yang menyesatkan sebagai kurang lengkap.

6. Keterbatasan

Satu portofolio, satu hari, dan satu set nilai acuan; hasil dapat berbeda pada portofolio yang lebih besar atau kurang aktif. Penilaian menggunakan pencocokan teks otomatis dengan pembacaan ulang manual atas setiap jawaban yang tidak benar. Satu nilai acuan, jumlah percakapan di kotak masuk, berubah selama pengujian dan diterima dalam ±1. Uji ulang setelah perbaikan lebih kecil (20 putaran) dan berjalan pada ruang kerja uji yang terpisah.

7. Kesimpulan

Dari 380 jawaban produksi pada portofolio yang beroperasi, Santi tidak menyebut satu pun angka yang salah, menjawab 99,2% pertanyaan secara lengkap dan benar, dan memberi jawaban lengkap dalam median 6,4 detik, masing-masing dengan tautan ke layar asalnya. Tiga jawaban yang kurang lengkap telah diperbaiki. Kami akan mengulang studi ini seiring Santi berkembang dan menerbitkan hasilnya.

Anda bisa mengajukan pertanyaan ini kepada Santi tentang bisnis Anda sendiri: coba Santi dan cocokkan jawabannya dengan dasbor Santara AI Anda.

Lampiran A. Pertanyaan dan hasil

Jawaban benar dari 20 putaran, dan median waktu hingga jawaban lengkap.

Pertanyaan 1–17 diajukan dalam bahasa Inggris dalam studi ini; tabel mencantumkan terjemahannya agar mudah dibaca.