Log Aggregation Modern dengan Grafana Loki dan Vector: Hemat Storage Tanpa Indeks Raksasa

Buat kalian yang pernah ngurus klaster Elasticsearch atau ELK Stack, pasti akrab satu keluhan klasik. Rakus RAM dan boros storage. 😅

Elasticsearch itu teknologi full-text search yang hebat banget, sih. Tapi begitu kita jadiin dia tempat nampung jutaan baris log tiap hari, dia bikin inverted index di hampir setiap kata. Akibatnya ukuran index-nya sering membengkak. Bahkan lebih besar dari file log mentahnya sendiri!

Di era microservices dan container Kubernetes, log dihasilkan dalam volume masif dan cepat. Apa kita beneran butuh ngeindeks setiap kata acak di log? 🤔

Jawabannya: nggak selalu. Di sinilah kombinasi Grafana Loki dan Vector hadir. Dua tool modern yang efisien dan ramah kantong.

Paradigma Loki: Seperti Prometheus, Tapi Buat Log

Filosofi di balik Loki sederhana banget. Cuma indeks metadata (label), bukan isi teks log-nya.

Alih-alih membedah seluruh kalimat log jadi token pencarian, Loki cuma ngeindeks label stream. Misalnya app="payment-service", environment="production", level="error". Isi teks log aslinya dikompresi dalam bentuk chunks. Lalu disimpan di object storage murah kayak Amazon S3, Google Cloud Storage, atau MinIO lokal.

Pendekatan ini bawa sejumlah keuntungan besar:

• Footprint memori sangat rendah. Loki nggak memelihara inverted index raksasa di RAM. Kebutuhan resource server-nya jauh lebih kecil dari Elasticsearch.
• Biaya storage murah. Log tersimpan sebagai chunk terkompresi gzip/snappy. Retensi berbulan-bulan pun nggak bikin tagihan cloud membengkak.
• Integrasi mulus dengan Grafana. Kita bisa pindah dari grafik metrik Prometheus ke log terkait cuma dengan satu klik. Semua di dashboard yang sama.

Kenapa Pilih Vector sebagai Log Shipper?

Dulu ekosistem Grafana ngandelin Promtail buat ngirim log ke Loki. Tapi di arsitektur production modern, banyak tim beralih ke Vector dari Datadog.

Vector adalah log collector dan pipeline processor open source. Ditulis pakai bahasa Rust. Keunggulan utamanya kayak gini:

1. Kecepatan dan efisiensi ekstrem. Throughput-nya tinggi, konsumsi CPU dan RAM minimal. Semua berkat keamanan memori Rust.
2. Transformasi data tanpa beban. Ada bahasa ekspresi bawaan namanya Vector Remap Language (VRL). Fungsinya buat memparsing JSON dan ngehapus field sensitif. Misalnya token JWT atau nomor kartu kredit.
3. Konektor serba bisa. Vector bisa ngambil log dari Docker, Kubernetes, syslog, file lokal, atau Kafka. Lalu ngirimnya paralel ke Loki, S3, atau ClickHouse.

Alur Vector ke Grafana Loki

Proses log-nya jalan dalam tiga tahap berurutan.

Pertama, ingestion di Vector. Vector bertindak sebagai DaemonSet di Kubernetes atau agen di tiap VM. Dia baca stdout/stderr container dan memparsing format JSON. Setelah itu dia nyematkan label kayak nama pod, namespace, dan service.

Kedua, storage dan chunking di Loki. Loki nerima batch log dari Vector dan ngelompokin pesan ke dalam stream berdasarkan label. Baru deh ditulis ke object storage secara periodik.

Ketiga, querying pakai LogQL di Grafana. Developer ngueri log pakai LogQL, bahasa kueri mirip PromQL. Kueri mula-mula nyaring stream berdasarkan label. Ini super cepat. Setelah itu baru memfilter isi teks log pakai regex secara paralel.

Contoh Konfigurasi Pipeline Sederhana

Berikut contoh konfigurasi pipeline vector.yaml. Isinya buat baca log container Docker dan memparsing format JSON. Sekalian memfilter data sensitif, lalu ngirimnya ke Loki:

sources:
  docker_logs:
    type: docker_logs

transforms:
  parse_and_sanitize:
    type: remap
    inputs:
      - docker_logs
    source: |
      # Parsing isi pesan log sebagai JSON jika memungkinkan
      parsed, err = parse_json(.message)
      if err == null {
        . = merge(., parsed)
      }

      # Masking data sensitif seperti password atau token
      if exists(.password) {
        .password = "[REDACTED]"
      }
      if exists(.authorization) {
        .authorization = "[REDACTED]"
      }

sinks:
  loki_sink:
    type: loki
    inputs:
      - parse_and_sanitize
    endpoint: "http://loki:3100"
    encoding:
      codec: json
    labels:
      app: "{{ container_name }}"
      env: "production"

Setelah log masuk ke Loki, kita bisa langsung menjelajahinya di Grafana. Pakai ekspresi LogQL berikut:

{app="payment-service", env="production"} |= "error" | json | latency > 500ms

Kueri di atas bakal nyaring stream log dari service payment-service di production. Dia nyari baris yang mengandung kata "error". Lalu memparsing field JSON secara on-the-fly. Hasilnya cuma request dengan latensi lebih dari 500 ms.

Kapan Pindah, Kapan Tetap di ELK?

Hmm, pindah dari full-text search ke Loki dan Vector bukan berarti observabilitas kita berkurang, kok. Justru sebaliknya. Kita dapat efisiensi biaya, kemudahan operasional, dan korelasi data yang lebih solid. Apalagi bareng metrik dan tracing.

Kalau server kalian mulai sering kehabisan memori cuma gara-gara log aggregator, cobain aja duet Loki dan Vector di proyek berikutnya.

Selamat ber-log aggregation ria, dan semoga tagihan cloud kalian tetap ramah kantong! 👋