Digital Marketing
Agent Context Rehydration Cost
TL;DR: Agent Context Rehydration Cost adalah jumlah token tambahan yang dibayar saat sebuah agent AI harus memuat ulang konteks sesi (riwayat percakapan, dokumen referensi, tool output) yang sebelumnya sudah dipotong dari context window. Biasanya dinyatakan dalam ribuan token per re-load. Skor sehat untuk workflow marketing otomatis berbasis pengalaman Vito Atmo: di bawah 4.000 token per rehydration.
Apa itu Agent Context Rehydration Cost?
Ketika sebuah agent berjalan lama, riwayat percakapan dan tool output bisa melebihi batas context window. Agent kemudian memotong bagian lama, lalu memuat ulang saat dibutuhkan kembali. Beban token tambahan inilah yang disebut Agent Context Rehydration Cost (ACRC). Metrik ini berbeda dari Prompt Context Window Spend yang mengukur isi context aktif, dan dari Agent Cache Hit Rate yang mengukur efisiensi cache.
Analogi: ACRC seperti biaya parkir berulang. Kalau Anda keluar masuk mall lima kali sehari, total biaya parkir bisa lebih mahal daripada parkir sekali sepanjang hari.
Cara Menghitung
| Komponen | Definisi |
|---|---|
tokens_rehydrated | Total token yang dimuat ulang dalam sesi |
n_rehydration | Jumlah event rehydration |
ACRC | tokens_rehydrated / n_rehydration |
Skor referensi berbasis pengalaman menjalankan agent untuk publishing konten dan riset kompetitor:
- Sehat: di bawah 4.000 token per rehydration.
- Perlu evaluasi: 4.000 sampai 9.000 token, biasanya akibat dokumen referensi panjang tidak di-chunk.
- Buruk: di atas 9.000 token, sering kali menandakan tidak ada strategi summarization.
Kenapa Penting?
Untuk marketer yang memakai agent untuk publishing harian (mirip skill vitoatmo-publisher), ACRC tinggi berarti biaya bulanan membengkak tanpa nilai output proporsional. Pada satu workflow internal Atmo LMS, optimasi chunking dokumen modul dan summarization rolling menurunkan ACRC dari 11.200 ke 3.400 token per rehydration, dengan dampak biaya API turun sekitar 38 persen per bulan. Untuk dasar teknis context management, rujuk dokumentasi Anthropic Engineering tentang context window management.
Lihat juga Agent Context Budget Overflow sebagai indikator awal sebelum ACRC ikut naik.
Pertanyaan Umum
Apakah ACRC sama dengan token bill?
Tidak. ACRC hanya mengukur token rehydration. Token bill mencakup semua input dan output, termasuk yang tidak pernah dipotong.
Cara paling cepat menurunkan ACRC?
Terapkan rolling summary tiap N langkah, simpan tool output sebagai ringkasan struktural, dan pakai retrieval (RAG) untuk dokumen besar alih-alih menaruh full text ke context.
Istilah Terkait