Digital Transformation
Agent Tool Replay Window
TL;DR: Agent Tool Replay Window adalah jendela waktu agent boleh memutar ulang hasil tool call dari log persisten tanpa hit ke model atau API. Praktik standar di sistem agent produksi 2026 menetapkan jendela 30 detik hingga 5 menit untuk balance antara determinisme dan freshness data.
Apa itu Agent Tool Replay Window?
Agent Tool Replay Window adalah pengaturan durasi pada sistem agent (Next.js Supabase, LangGraph, atau custom) yang menentukan seberapa lama hasil tool call disimpan dan boleh diputar ulang saat sesi yang sama melakukan retry atau resume. Konsep ini bersaudara dengan Agent Tool Idempotency Key tapi berfokus pada dimensi waktu, bukan identitas request.
Cara Kerja
Saat agent memanggil tool, hasilnya disimpan di tabel log dengan timestamp dan key komposit (session_id, tool_name, args_hash). Saat request serupa muncul dalam jendela replay, sistem mengembalikan hasil tersimpan tanpa memanggil model lagi.
| Tipe Tool | Replay Window Rekomendasi |
|---|---|
| Read-only query (DB, Search) | 60 - 300 detik |
| Write operation (POST, PUT) | 0 - 30 detik (idempotent only) |
| LLM completion (mahal) | 120 - 600 detik |
| External API berbayar | 300 - 900 detik |
Kenapa Penting?
Dalam praktik membangun asisten untuk klien Atmo LMS dan Vetmo, Vito Atmo menemukan bahwa tanpa replay window yang jelas, satu sesi agent bisa memanggil tool serupa 3-5 kali saat user menekan retry. Implikasi biaya inferensi bisa naik 2-4 kali lipat. Replay window juga melengkapi Agent Tool Retry Policy supaya retry tidak membakar kuota inferensi.
Pertanyaan Umum
Apakah Replay Window menggantikan caching biasa?
Tidak. Caching biasa berbagi hasil lintas user. Replay Window khusus per sesi agent dan terikat ke session_id, jadi user lain tetap mendapat panggilan baru.
Apa risiko jendela yang terlalu panjang?
Data jadi stale. Untuk konteks finansial, harga produk, atau stok e-commerce, jendela panjang berbahaya. Tetapkan jendela 30 detik atau pakai TTL berbeda per tool.
Istilah Terkait