Digital Transformation
Data Mesh
Data Mesh adalah arsitektur data terdesentralisasi yang menempatkan kepemilikan data pada tim domain, bukan tim data pusat, supaya skala dan kualitas data tetap terjaga.
TL;DR: Data Mesh adalah arsitektur data terdesentralisasi yang menempatkan kepemilikan data pada tim domain (misal tim marketing, finance, produk) sebagai produk data yang bisa dikonsumsi tim lain. Pendekatan ini muncul untuk menjawab masalah bottleneck di tim data pusat saat organisasi skala besar.
Apa itu Data Mesh?
Data Mesh adalah pendekatan organisasi data yang dipopulerkan Zhamak Dehghani (ThoughtWorks) pada 2019. Alih-alih satu tim data pusat menangani semua pipeline, setiap tim domain memiliki dan memelihara data pipeline sendiri. Tim marketing punya data marketing, tim finance punya data finance, semuanya saling konsumsi via kontrak data yang jelas.
Analogi sederhana: data warehouse tradisional itu seperti dapur sentral yang masak untuk semua. Data Mesh seperti food court, tiap tenant masak masakannya sendiri tapi standar kebersihan dan packaging seragam.
4 Prinsip Data Mesh
| Prinsip | Praktik |
|---|---|
| Domain ownership | Tim domain memiliki data mereka |
| Data as a product | Data dipublikasi dengan SLA, dokumentasi, owner |
| Self-serve platform | Tim bisa konsumsi data tanpa minta tim data pusat |
| Federated governance | Standar global, eksekusi lokal |
Kenapa Penting?
Untuk perusahaan Indonesia yang sudah punya 5+ tim domain, bottleneck di tim data pusat sering menghambat eksperimen. Praktik Data Mesh memungkinkan tim marketing menjalankan marketing mix modeling tanpa antri di backlog tim data 6 minggu. Adopsi tetap perlu maturity tinggi, jangan dipaksakan ke organisasi kecil.
Pertanyaan Umum
Apa beda Data Mesh dengan Data Lake?
Data Lake adalah penyimpanan terpusat. Data Mesh adalah filosofi organisasi data yang menekankan kepemilikan domain, bisa dijalankan di atas data lake, warehouse, atau lakehouse.
Kapan organisasi Indonesia siap pakai Data Mesh?
Umumnya saat sudah punya 5+ tim domain dan tim data pusat jadi bottleneck. Untuk UMKM atau startup awal, data warehouse sentral masih lebih cepat.