Digital Transformation
Tail Latency (Latensi Ekor)
Tail latency adalah waktu respons paling lambat yang dialami sebagian kecil pengguna, biasanya diukur di persentil 95 atau 99, dan menjadi indikator paling jujur tentang kualitas pengalaman sistem.
TL;DR: Tail latency mengukur waktu respons paling lambat yang dialami sebagian kecil pengguna, biasanya 5% atau 1% terburuk. Angka rata-rata sering menyembunyikan masalah ini, sementara persentil 95 (p95) dan 99 (p99) memunculkannya. Untuk sistem produksi, p99 lebih dekat dengan persepsi pengguna dibanding rata-rata.
Apa itu Tail Latency?
Tail latency adalah istilah yang digunakan untuk menggambarkan ekor distribusi waktu respons. Bila Anda mengurutkan semua waktu permintaan dari yang tercepat ke yang terlambat, sebagian kecil di ujung kanan adalah tail. Nilai ini diukur dengan persentil, p95 berarti 95 persen permintaan lebih cepat dari angka tersebut, p99 berarti 99 persen lebih cepat. Dalam riset Google tentang sistem skala besar, tail latency dianggap penanda utama karena pengguna yang mengalaminya adalah pengguna yang paling mungkin meninggalkan layanan.
Mengaitkan tail latency dengan SLO adalah praktik standar di tim engineering modern. Indikator ini juga sering muncul bersama Apdex saat tim membahas kualitas layanan secara menyeluruh.
Kenapa Tail, Bukan Rata-rata?
| Metrik | Apa yang Diukur | Batas |
|---|---|---|
| Mean (rata-rata) | Total waktu dibagi jumlah permintaan | Mudah ditarik turun oleh banyak permintaan cepat, sehingga menutupi outlier |
| p50 (median) | Permintaan tengah | Tidak terpengaruh outlier, tapi juga tidak menangkapnya |
| p95 | 5% terlambat | Sensitif terhadap masalah pada kelompok pengguna tertentu |
| p99 | 1% terlambat | Sangat sensitif, sering memantik investigasi infrastruktur |
Untuk API publik, p95 di bawah 300 ms dan p99 di bawah 800 ms adalah target yang umum dipakai industri SaaS. Angka ini bervariasi tergantung jenis beban kerja.
Kenapa Penting?
Pada platform dengan ratusan permintaan per detik, satu persen permintaan lambat berarti puluhan ribu pengalaman buruk per hari. Ketika tail latency naik, biasanya akar masalahnya adalah cold start, query database tanpa indeks, garbage collection, atau koneksi jaringan yang menua. Tim yang hanya memantau rata-rata sering terlambat sadar bahwa basis pengguna premium mereka justru duduk di tail itu.
Pertanyaan Umum
Bagaimana cara mengukur tail latency?
Pakai histogram metrik di Prometheus, Datadog, atau New Relic. Pilih agregasi p95 dan p99, bukan rata-rata. Pastikan periode rolling tidak terlalu panjang agar lonjakan tetap terlihat.
Berapa target p99 yang wajar untuk e-commerce Indonesia?
Untuk halaman katalog, target p99 di bawah 1 detik adalah angka yang masuk akal. Pengalaman seluler di jaringan 4G membuat target ini lebih ketat dibanding desktop.
Istilah Terkait