Pengumpulan Metrik: Panduan Komprehensif dengan Prometheus dan Grafana

Dalam lanskap TI yang kompleks saat ini, pemantauan yang efektif sangat penting untuk menjaga kesehatan dan kinerja aplikasi serta infrastruktur. Pengumpulan metrik menjadi dasar untuk pemantauan ini, memungkinkan Anda melacak indikator kinerja utama (KPI), mengidentifikasi potensi masalah, dan mengoptimalkan penggunaan sumber daya. Panduan komprehensif ini akan membahas cara memanfaatkan Prometheus dan Grafana, dua alat sumber terbuka yang andal, untuk pengumpulan dan visualisasi metrik yang kuat.

Apa itu Pengumpulan Metrik?

Pengumpulan metrik melibatkan pengumpulan data numerik yang merepresentasikan status dan perilaku berbagai sistem, aplikasi, dan komponen infrastruktur dari waktu ke waktu. Metrik ini dapat mencakup utilisasi CPU, konsumsi memori, lalu lintas jaringan, waktu respons, tingkat kesalahan, dan banyak indikator relevan lainnya. Dengan menganalisis metrik ini, Anda dapat memperoleh wawasan berharga tentang kinerja dan kesehatan lingkungan Anda.

Mengapa Pengumpulan Metrik Penting?

• Deteksi Masalah Proaktif: Mengidentifikasi potensi masalah sebelum berdampak pada pengguna.
• Optimisasi Kinerja: Menemukan titik lambat (bottleneck) dan area untuk perbaikan.
• Perencanaan Kapasitas: Memperkirakan kebutuhan sumber daya di masa depan berdasarkan tren historis.
• Pemantauan Service Level Agreement (SLA): Memastikan kepatuhan terhadap target kinerja.
• Pemecahan Masalah dan Analisis Akar Masalah: Mendiagnosis dan menyelesaikan masalah dengan cepat.

Memperkenalkan Prometheus dan Grafana

Prometheus adalah perangkat pemantauan sistem dan peringatan sumber terbuka yang awalnya dikembangkan di SoundCloud. Alat ini unggul dalam mengumpulkan dan menyimpan data deret waktu (time-series data), yaitu data yang diindeks berdasarkan stempel waktu. Prometheus menggunakan model berbasis tarikan (pull-based) untuk mengambil (scrape) metrik dari target (misalnya, server, aplikasi) secara berkala. Prometheus menawarkan bahasa kueri yang kuat (PromQL) untuk menganalisis data yang terkumpul dan mendefinisikan aturan peringatan.

Grafana adalah platform visualisasi dan pemantauan data sumber terbuka. Platform ini memungkinkan Anda membuat dasbor dan grafik interaktif untuk memvisualisasikan data dari berbagai sumber, termasuk Prometheus. Grafana menyediakan serangkaian opsi visualisasi yang kaya, termasuk grafik, diagram, tabel, dan pengukur (gauge). Grafana juga mendukung peringatan, memungkinkan Anda menerima notifikasi ketika ambang batas tertentu terlampaui.

Bersama-sama, Prometheus dan Grafana membentuk solusi pemantauan yang kuat dan fleksibel yang dapat disesuaikan dengan berbagai lingkungan dan kasus penggunaan. Keduanya banyak digunakan dalam praktik DevOps dan SRE (Site Reliability Engineering) di seluruh dunia.

Arsitektur dan Konsep Prometheus

Memahami komponen inti Prometheus sangat penting untuk implementasi dan pemanfaatan yang efektif:

• Server Prometheus: Komponen inti yang bertanggung jawab untuk mengambil (scraping), menyimpan, dan membuat kueri metrik.
• Penemuan Layanan (Service Discovery): Secara otomatis menemukan target untuk dipantau berdasarkan konfigurasi atau integrasi dengan platform seperti Kubernetes.
• Exporter: Agen yang mengekspos metrik dalam format yang dapat dipahami Prometheus. Contohnya termasuk node_exporter (untuk metrik sistem), dan berbagai exporter khusus aplikasi.
• Pushgateway (Opsional): Memungkinkan pekerjaan yang berjalan singkat (short-lived jobs) untuk mendorong metrik ke Prometheus. Ini berguna untuk pekerjaan batch yang mungkin tidak berjalan secara terus-menerus.
• Alertmanager: Menangani peringatan yang dihasilkan oleh Prometheus berdasarkan aturan yang dikonfigurasi. Alertmanager dapat merutekan peringatan ke berbagai saluran notifikasi, seperti email, Slack, atau PagerDuty.
• PromQL: Prometheus Query Language yang digunakan untuk membuat kueri dan menganalisis metrik yang dikumpulkan.

Alur Kerja Prometheus

1. Target (Aplikasi, Server, dll.) mengekspos metrik. Metrik ini biasanya diekspos melalui titik akhir (endpoint) HTTP.
2. Server Prometheus mengambil (scrapes) metrik dari target yang dikonfigurasi. Secara berkala, ia menarik metrik dari titik akhir ini.
3. Prometheus menyimpan metrik yang diambil dalam basis data deret waktunya.
4. Pengguna membuat kueri metrik menggunakan PromQL. Ini memungkinkan mereka untuk menganalisis data dan membuat grafik serta dasbor.
5. Aturan peringatan dievaluasi berdasarkan metrik yang disimpan. Jika kondisi aturan terpenuhi, peringatan akan terpicu.
6. Alertmanager menangani peringatan yang terpicu. Ia melakukan de-duplikasi, mengelompokkan, dan merutekannya ke saluran notifikasi yang sesuai.

Arsitektur dan Konsep Grafana

Grafana melengkapi Prometheus dengan menyediakan antarmuka yang ramah pengguna untuk memvisualisasikan dan menganalisis metrik yang dikumpulkan:

• Sumber Data (Data Sources): Koneksi ke berbagai sumber data, termasuk Prometheus, Graphite, InfluxDB, dan lainnya.
• Dasbor (Dashboards): Kumpulan panel yang menampilkan data dalam berbagai format (grafik, diagram, tabel, dll.).
• Panel: Visualisasi individual yang menampilkan data dari sumber data tertentu menggunakan kueri spesifik.
• Peringatan (Alerting): Grafana juga memiliki kemampuan peringatan bawaan, memungkinkan Anda untuk mendefinisikan peringatan berdasarkan data yang ditampilkan di dasbor Anda. Peringatan ini dapat menggunakan Prometheus sebagai sumber data dan memanfaatkan PromQL untuk logika peringatan yang kompleks.
• Organisasi dan Tim: Grafana mendukung organisasi dan tim, memungkinkan Anda mengelola akses dan izin ke dasbor dan sumber data.

Alur Kerja Grafana

1. Konfigurasi Sumber Data: Hubungkan Grafana ke server Prometheus Anda.
2. Buat Dasbor: Rancang dasbor untuk memvisualisasikan metrik Anda.
3. Tambahkan Panel ke Dasbor: Tambahkan panel untuk menampilkan titik data spesifik dari Prometheus menggunakan kueri PromQL.
4. Konfigurasi Peringatan (Opsional): Atur aturan peringatan di dalam Grafana untuk menerima notifikasi berdasarkan ambang batas metrik tertentu.
5. Bagikan Dasbor: Bagikan dasbor dengan tim Anda untuk berkolaborasi dalam pemantauan dan analisis.

Menyiapkan Prometheus dan Grafana

Bagian ini memberikan panduan langkah demi langkah tentang cara menyiapkan Prometheus dan Grafana.

Menginstal Prometheus

1. Unduh Prometheus:

Unduh versi terbaru Prometheus dari situs web resmi: https://prometheus.io/download/. Pilih paket yang sesuai untuk sistem operasi Anda (misalnya, Linux, Windows, macOS).

2. Ekstrak Arsip:

Ekstrak arsip yang diunduh ke direktori pilihan Anda.

3. Konfigurasi Prometheus:

Buat file konfigurasi `prometheus.yml`. File ini mendefinisikan target yang akan diambil (scrape) oleh Prometheus dan opsi konfigurasi lainnya. Konfigurasi dasar mungkin terlihat seperti ini:

global:
  scrape_interval:     15s
  evaluation_interval: 15s

scrape_configs:
  - job_name: 'prometheus'
    static_configs:
      - targets: ['localhost:9090']

  - job_name: 'node_exporter'
    static_configs:
      - targets: ['localhost:9100']

Konfigurasi ini mendefinisikan dua pekerjaan scrape: satu untuk Prometheus itu sendiri (mengambil metriknya sendiri) dan satu lagi untuk node_exporter yang berjalan di localhost port 9100. `scrape_interval` menentukan seberapa sering Prometheus akan mengambil target.

4. Mulai Prometheus:

Jalankan file eksekusi Prometheus dari direktori tempat Anda mengekstrak arsip:

            ./prometheus --config.file=prometheus.yml
            

              
                Copy
              
            
          

Prometheus akan dimulai dan mendengarkan pada port 9090 secara default. Anda dapat mengakses antarmuka web Prometheus di browser Anda di http://localhost:9090.

Menginstal Grafana

1. Unduh Grafana:

Unduh versi terbaru Grafana dari situs web resmi: https://grafana.com/grafana/download. Pilih paket yang sesuai untuk sistem operasi Anda.

2. Instal Grafana:

Ikuti petunjuk instalasi untuk sistem operasi Anda. Misalnya, pada Debian/Ubuntu:

            
sudo apt-get update
sudo apt-get install -y apt-transport-https
sudo apt-get install -y software-properties-common wget
wget -q -O - https://packages.grafana.com/gpg.key | sudo apt-key add -
echo "deb https://packages.grafana.com/oss/deb stable main" | sudo tee -a /etc/apt/sources.list.d/grafana.list
sudo apt-get update
sudo apt-get install grafana

            

              
                Copy
              
            
          

3. Mulai Grafana:

Mulai layanan Grafana:

            sudo systemctl start grafana-server
            

              
                Copy
              
            
          

4. Akses Grafana:

Grafana akan dimulai dan mendengarkan pada port 3000 secara default. Anda dapat mengakses antarmuka web Grafana di browser Anda di http://localhost:3000.

Nama pengguna dan kata sandi default adalah `admin` dan `admin`. Anda akan diminta untuk mengubah kata sandi saat login pertama.

Menghubungkan Grafana ke Prometheus

Untuk memvisualisasikan metrik dari Prometheus di Grafana, Anda perlu mengonfigurasi Prometheus sebagai sumber data di Grafana.

1. Tambah Sumber Data:

Di antarmuka web Grafana, navigasikan ke Configuration > Data Sources dan klik Add data source.

2. Pilih Prometheus:

Pilih Prometheus sebagai tipe sumber data.

3. Konfigurasi Koneksi Prometheus:

Masukkan URL server Prometheus Anda (mis., `http://localhost:9090`). Konfigurasikan opsi lain sesuai kebutuhan (mis., otentikasi).

4. Simpan dan Uji:

Klik Save & Test untuk memverifikasi bahwa Grafana dapat berhasil terhubung ke Prometheus.

Membuat Dasbor di Grafana

Setelah Anda menghubungkan Grafana ke Prometheus, Anda dapat membuat dasbor untuk memvisualisasikan metrik Anda.

1. Buat Dasbor Baru:

Di antarmuka web Grafana, klik ikon + di bilah sisi dan pilih Dashboard.

2. Tambahkan Panel:

Klik Add an empty panel untuk menambahkan panel baru ke dasbor.

3. Konfigurasi Panel:

• Pilih Sumber Data: Pilih sumber data Prometheus yang Anda konfigurasikan sebelumnya.
• Masukkan Kueri PromQL: Masukkan kueri PromQL untuk mengambil metrik yang ingin Anda visualisasikan. Misalnya, untuk menampilkan utilisasi CPU, Anda mungkin menggunakan kueri berikut:

            
rate(process_cpu_seconds_total{job="node_exporter"}[5m])

            

              
                Copy
              
            
          

Kueri ini menghitung laju perubahan waktu CPU yang digunakan oleh proses yang dikumpulkan oleh node_exporter selama interval 5 menit.

• Konfigurasi Opsi Visualisasi: Pilih tipe visualisasi (mis., grafik, pengukur, tabel) dan konfigurasikan opsi lain sesuai kebutuhan (mis., label sumbu, warna).

4. Simpan Dasbor:

Klik ikon simpan untuk menyimpan dasbor.

PromQL: Bahasa Kueri Prometheus

PromQL adalah bahasa kueri yang kuat yang digunakan untuk mengambil dan memanipulasi metrik yang disimpan di Prometheus. Ini memungkinkan Anda untuk melakukan berbagai operasi, termasuk:

• Penyaringan: Memilih metrik berdasarkan label.
• Agregasi: Menghitung nilai agregat (mis., jumlah, rata-rata, maksimum) selama rentang waktu atau di beberapa instance.
• Perhitungan Laju (Rate): Menghitung laju perubahan metrik penghitung (counter).
• Operasi Aritmatika: Melakukan operasi aritmatika pada metrik (mis., penjumlahan, pengurangan, perkalian).
• Fungsi Deret Waktu: Menerapkan fungsi ke data deret waktu (mis., rata-rata bergerak, penghalusan).

Contoh PromQL

• Utilisasi CPU:

            
rate(process_cpu_seconds_total{job="node_exporter"}[5m])

            

              
                Copy
              
            
          

• Penggunaan Memori:

            
node_memory_MemTotal_bytes - node_memory_MemAvailable_bytes

            

              
                Copy
              
            
          

• Penggunaan Ruang Disk:

            
(node_filesystem_size_bytes{mountpoint="/"} - node_filesystem_free_bytes{mountpoint="/"}) / node_filesystem_size_bytes{mountpoint="/"} * 100

            

              
                Copy
              
            
          

• Laju Permintaan HTTP:

            
rate(http_requests_total[5m])

            

              
                Copy
              
            
          

Mempelajari PromQL sangat penting untuk menggunakan Prometheus dan Grafana secara efektif. Rujuk ke dokumentasi Prometheus untuk panduan komprehensif tentang bahasa ini.

Peringatan dengan Prometheus dan Alertmanager

Prometheus menyediakan sistem peringatan yang kuat yang memungkinkan Anda mendefinisikan aturan berdasarkan nilai metrik. Ketika kondisi aturan terpenuhi, peringatan akan terpicu, dan Alertmanager menangani proses notifikasi.

Mendefinisikan Aturan Peringatan

Aturan peringatan didefinisikan dalam file konfigurasi `prometheus.yml`. Berikut adalah contoh aturan peringatan yang terpicu ketika utilisasi CPU melebihi 80%:

            
rule_files:
  - "rules.yml"

            

              
                Copy
              
            
          

Kemudian, dalam file bernama `rules.yml`, tempatkan aturan seperti ini:

            
groups:
- name: example
  rules:
  - alert: HighCPUUsage
    expr: rate(process_cpu_seconds_total{job="node_exporter"}[5m]) > 0.8
    for: 1m
    labels:
      severity: critical
    annotations:
      summary: "High CPU usage detected"
      description: "CPU usage is above 80% on {{ $labels.instance }}"

            

              
                Copy
              
            
          

Penjelasan:

• alert: Nama peringatan.
• expr: Ekspresi PromQL yang mendefinisikan kondisi peringatan.
• for: Durasi di mana kondisi harus benar sebelum peringatan terpicu.
• labels: Label yang dilampirkan ke peringatan.
• annotations: Anotasi yang memberikan informasi tambahan tentang peringatan, seperti ringkasan dan deskripsi.

Mengonfigurasi Alertmanager

Alertmanager menangani perutean dan notifikasi peringatan. Anda perlu mengonfigurasi Alertmanager untuk menentukan ke mana peringatan harus dikirim (mis., email, Slack, PagerDuty). Rujuk ke dokumentasi Alertmanager untuk instruksi konfigurasi terperinci.

Konfigurasi minimal `alertmanager.yml` mungkin terlihat seperti ini:

            
global:
  resolve_timeout: 5m

route:
  group_by: ['alertname']
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 12h
  receiver: 'web.hook'

receivers:
- name: 'web.hook'
  webhook_configs:
  - url: 'http://localhost:8080/'

            

              
                Copy
              
            
          

Konfigurasi ini mengirimkan peringatan ke webhook di localhost port 8080. Anda dapat menyesuaikan bagian `receivers` untuk menggunakan layanan seperti Slack atau email sebagai gantinya.

Contoh Praktis dan Kasus Penggunaan

Prometheus dan Grafana dapat digunakan untuk memantau berbagai macam aplikasi dan komponen infrastruktur. Berikut adalah beberapa contoh praktis:

• Pemantauan Server Web: Memantau laju permintaan HTTP, waktu respons, dan tingkat kesalahan untuk memastikan kinerja server web yang optimal.
• Pemantauan Basis Data: Melacak penggunaan pool koneksi basis data, waktu eksekusi kueri, dan kueri lambat untuk mengidentifikasi bottleneck basis data.
• Pemantauan Kubernetes: Memantau kesehatan dan kinerja klaster Kubernetes, termasuk utilisasi sumber daya pod dan node.
• Pemantauan Aplikasi: Mengumpulkan metrik kustom dari aplikasi Anda untuk melacak KPI bisnis tertentu dan mengidentifikasi masalah tingkat aplikasi.
• Pemantauan Jaringan: Melacak lalu lintas jaringan, latensi, dan kehilangan paket untuk mengidentifikasi bottleneck jaringan dan masalah kinerja.
• Pemantauan Infrastruktur Cloud: Memantau kinerja dan ketersediaan sumber daya cloud, seperti mesin virtual, penyimpanan, dan basis data. Ini sangat relevan untuk lingkungan AWS, Azure, dan Google Cloud, yang semuanya memiliki integrasi dengan Prometheus dan Grafana.

Contoh: Memantau Arsitektur Layanan Mikro (Microservices)

Dalam arsitektur layanan mikro, Prometheus dan Grafana dapat digunakan untuk memantau kesehatan dan kinerja masing-masing layanan, serta sistem secara keseluruhan. Setiap layanan dapat mengekspos metriknya sendiri, seperti laju permintaan, waktu respons, dan tingkat kesalahan. Prometheus kemudian dapat mengambil metrik-metrik ini dan Grafana dapat digunakan untuk memvisualisasikannya. Ini memungkinkan Anda untuk dengan cepat mengidentifikasi bottleneck kinerja atau kegagalan dalam layanan tertentu.

Teknik Lanjutan dan Praktik Terbaik

Untuk mendapatkan hasil maksimal dari Prometheus dan Grafana, pertimbangkan teknik lanjutan dan praktik terbaik berikut:

• Gunakan Label yang Bermakna: Gunakan label untuk menambahkan konteks ke metrik Anda. Ini memudahkan untuk menyaring dan mengagregasi data. Misalnya, gunakan label untuk mengidentifikasi layanan, lingkungan, dan instance yang terkait dengan metrik.
• Pantau Indikator Kinerja Utama (KPI): Fokus pada pemantauan metrik yang paling penting bagi bisnis Anda. Ini memungkinkan Anda untuk dengan cepat mengidentifikasi dan mengatasi masalah yang memiliki dampak terbesar.
• Atur Ambang Batas Peringatan yang Sesuai: Atur ambang batas peringatan yang sesuai untuk lingkungan Anda. Hindari menetapkan ambang batas yang terlalu sensitif, karena ini dapat menyebabkan kelelahan peringatan (alert fatigue).
• Gunakan Dasbor Secara Efektif: Rancang dasbor yang mudah dipahami dan memberikan wawasan yang dapat ditindaklanjuti. Gunakan label dan visualisasi yang jelas dan ringkas.
• Otomatiskan Penerapan dan Konfigurasi: Otomatiskan penerapan dan konfigurasi Prometheus dan Grafana menggunakan alat seperti Ansible, Terraform, atau Kubernetes.
• Amankan Instans Prometheus dan Grafana Anda: Amankan instans Prometheus dan Grafana Anda untuk mencegah akses yang tidak sah. Gunakan otentikasi dan otorisasi untuk mengontrol akses ke data sensitif.
• Pertimbangkan Penskalaan Horizontal: Untuk lingkungan yang besar, pertimbangkan untuk melakukan penskalaan horizontal pada instans Prometheus dan Grafana Anda untuk menangani beban yang meningkat. Ini dapat dicapai dengan menggunakan beberapa server Prometheus dan instans Grafana di belakang load balancer.
• Manfaatkan Penemuan Layanan (Service Discovery): Manfaatkan kemampuan penemuan layanan Prometheus untuk secara otomatis menemukan dan memantau target baru. Ini sangat berguna di lingkungan dinamis seperti Kubernetes.

Pemecahan Masalah Umum

Bahkan dengan perencanaan dan implementasi yang cermat, Anda mungkin mengalami masalah saat menggunakan Prometheus dan Grafana. Berikut adalah beberapa masalah umum dan solusinya:

• Prometheus Tidak Mengambil Metrik: Verifikasi bahwa target dapat diakses dari server Prometheus. Periksa log Prometheus untuk mencari kesalahan. Pastikan target mengekspos metrik dalam format yang benar.
• Grafana Tidak Terhubung ke Prometheus: Verifikasi bahwa URL Prometheus sudah benar dalam konfigurasi sumber data Grafana. Periksa log Grafana untuk mencari kesalahan. Pastikan server Prometheus berjalan dan dapat diakses dari server Grafana.
• Kueri PromQL Tidak Mengembalikan Data: Verifikasi bahwa kueri PromQL sudah benar. Periksa log Prometheus untuk mencari kesalahan. Pastikan metrik yang Anda kueri ada dan sedang diambil oleh Prometheus.
• Peringatan Tidak Terpicu: Verifikasi bahwa aturan peringatan didefinisikan dengan benar. Periksa log Prometheus untuk mencari kesalahan. Pastikan Alertmanager berjalan dan dikonfigurasi dengan benar.
• Masalah Kinerja: Jika Anda mengalami masalah kinerja, pertimbangkan untuk melakukan penskalaan horizontal pada instans Prometheus dan Grafana Anda. Optimalkan kueri PromQL Anda untuk mengurangi beban pada server Prometheus.

Solusi Pemantauan Alternatif

Meskipun Prometheus dan Grafana adalah alat yang kuat, mereka bukan satu-satunya pilihan untuk pengumpulan dan visualisasi metrik. Solusi pemantauan populer lainnya termasuk:

• Datadog: Platform pemantauan komersial yang menawarkan berbagai fitur, termasuk pengumpulan metrik, manajemen log, dan pemantauan kinerja aplikasi (APM).
• New Relic: Platform pemantauan komersial lain yang menyediakan kemampuan pemantauan komprehensif untuk aplikasi dan infrastruktur.
• InfluxDB dan Chronograf: Basis data deret waktu dan platform visualisasi yang sering digunakan sebagai alternatif untuk Prometheus dan Grafana.
• Elasticsearch, Logstash, and Kibana (ELK Stack): Tumpukan (stack) sumber terbuka yang populer untuk manajemen dan analisis log. Meskipun terutama digunakan untuk log, tumpukan ini juga dapat digunakan untuk pengumpulan dan visualisasi metrik.
• Dynatrace: Platform pemantauan bertenaga AI yang menyediakan visibilitas ujung ke ujung ke dalam kinerja aplikasi dan infrastruktur.

Solusi pemantauan terbaik untuk organisasi Anda akan bergantung pada kebutuhan dan anggaran spesifik Anda.

Kesimpulan

Pengumpulan metrik sangat penting untuk menjaga kesehatan dan kinerja aplikasi dan infrastruktur. Prometheus dan Grafana menyediakan solusi sumber terbuka yang kuat dan fleksibel untuk mengumpulkan, menyimpan, dan memvisualisasikan metrik. Dengan memahami konsep inti dan mengikuti praktik terbaik yang diuraikan dalam panduan ini, Anda dapat memanfaatkan Prometheus dan Grafana untuk membangun sistem pemantauan yang kuat yang memenuhi kebutuhan organisasi Anda.

Pemantauan yang efektif, ditambah dengan peringatan proaktif dan respons insiden yang cepat, adalah landasan dari operasi TI modern. Mengadopsi alat seperti Prometheus dan Grafana memberdayakan organisasi untuk memberikan layanan yang andal dan berkinerja tinggi kepada pengguna mereka, di mana pun lokasi atau industri mereka.