Admin-Sistemas ·

Grafana Loki: correlación de métricas y logs para troubleshooting rápido

Introducción: el problema de los silos de datos

En la administración de sistemas modernos, la capacidad de respuesta ante incidentes depende directamente de la velocidad con la que un ingeniero puede cruzar información. Tradicionalmente, las métricas (recogidas por Prometheus) y los logs (almacenados en sistemas como Elasticsearch o Loki) viven en plataformas separadas. Esto obliga a saltar entre dashboards, haciendo perder tiempo valioso durante una interrupción.

Grafana Loki, diseñado como un agregador de logs de bajo costo y altamente indexado por etiquetas (labels), permite una integración nativa con Prometheus y Grafana. La clave está en la correlación contextual: desde un panel de métricas podemos saltar directamente a los logs del mismo servicio en el mismo instante, reduciendo el tiempo medio de resolución (MTTR) de horas a minutos.

Arquitectura básica de Loki y Prometheus

Antes de profundizar en las técnicas de correlación, recordemos los componentes esenciales:

  • Prometheus: scrapea métricas de targets (CPU, memoria, latencia) y las almacena con etiquetas como job, instance, service.
  • Loki: recibe logs desde agentes como Promtail o Grafana Alloy. Cada línea de log se asocia con etiquetas idénticas a las de Prometheus (job, instance, namespace).
  • Grafana: actúa como el plano de control unificado, permitiendo consultas simultáneas a ambas fuentes en un solo panel o mediante enlaces entre paneles.

Estrategia 1: enlaces entre paneles usando variables de plantilla

La forma más inmediata de correlacionar es configurar un enlace desde un panel de métricas a un panel de logs. En un dashboard de Grafana, edita el panel de métricas y ve a la pestaña Field overrides. Agrega un override sobre el campo de instancia o nombre de host:

Tipo: Field
Selecciona: instance (o el campo que contenga el host)
Configura: Data links
  - Título: "Ver logs de {instance}"
  - URL: /explore?orgId=1&left={"datasource":"Loki","queries":[{"expr":"{instance=\"${__data.fields.instance}\"}"}]}
  - Incluir tiempo: Sí

Al hacer clic en cualquier punto del gráfico de métricas, Grafana abrirá la vista Explore de Loki con el filtro de instancia y el rango de tiempo exacto del clic.

Para enriquecerlo, podemos pasar también el valor de job:

URL: /explore?orgId=1&left={"datasource":"Loki","queries":[{"expr":"{job=\"${__data.fields.job}\", instance=\"${__data.fields.instance}\"}"}]}

Estrategia 2: queries combinadas con PromQL y LogQL

En un solo panel de Grafana, puedes mezclar resultados de Prometheus y Loki usando transformaciones. Por ejemplo, para mostrar las 5 instancias con mayor uso de CPU y, junto a cada una, el último mensaje de error:

  1. Crea una consulta PromQL: topk(5, rate(node_cpu_seconds_total[5m]))
  2. Añade una segunda consulta Loki: {job="node_exporter"} |= "error" | json | rate [5m]
  3. Usa la transformación Join by field (por instance) para unir ambas series.

Esto te da una tabla donde cada fila muestra la métrica de CPU y el conteo de errores simultáneamente.

Estrategia 3: etiquetas consistentes como clave del éxito

Para que la correlación funcione, las etiquetas de Prometheus y Loki deben ser consistentes. Al configurar Promtail (o Alloy), asegúrate de reenviar las mismas etiquetas que utiliza Prometheus para identificar los servicios. Ejemplo de configuración de promtail.yaml:

scrape_configs:
  - job_name: "myapp"
    static_configs:
      - targets: ["localhost"]
        labels:
          job: "myapp"
          instance: "host1.internal"
    pipeline_stages:
      - regex:
          expression: "^(?P<level>\\w+)\\s+(?P<message>.*)"
      - labels:
          level: ""

En Prometheus, el mismo target debe aparecer como:

scrape_configs:
  - job_name: "myapp"
    static_configs:
      - targets: ["host1.internal:9090"]
        labels:
          instance: "host1.internal"

La coincidencia exacta del valor instance es crítica; de lo contrario, los enlaces y joins fallarán.

Estrategia 4: dashboards dinámicos con variables repetitivas

Otra técnica avanzada es usar variables repetitivas en un dashboard. Define una variable $service que obtenga sus valores desde Prometheus (label_values(node_exporter_build_info, job)). Luego, en un panel de logs, usa esa variable en la query:

{job="$service"} |= "timeout" | logfmt

Al seleccionar un servicio en el desplegable, el panel de logs se actualiza automáticamente, mostrando solo los errores de ese servicio. Esto permite a un operador pivotar rápidamente entre diferentes componentes del sistema.

Caso práctico: depuración de un pico de latencia

Imagina que recibes una alerta de Prometheus: http_request_duration_seconds{job="webapp"} > 2. Con la correlación configurada:

  • Haces clic en el punto del pico en el panel de métricas.
  • Grafana te lleva a Explore con la query: {job="webapp", instance="web-3.internal"} |= "slow"
  • Encuentras logs como: {"level":"warn","msg":"slow query detected","db":"postgres","duration_ms":2300}
  • El problema no está en la app, sino en la base de datos. Pasas al panel de métricas de PostgreSQL y confirmas un alto número de conexiones activas.

Sin correlación, habrías perdido 15 minutos revisando dashboards separados. Con ella, el diagnóstico tomó 30 segundos.

Mejores prácticas y comandos útiles

Para mantener un ecosistema de correlación eficiente:

  • Usa logfmt o JSON en tus logs. Loki parsea estructuras con | logfmt o | json, facilitando extraer campos como duration_ms.
  • Etiquetas de alta cardinalidad con cuidado: Loki indexa por etiquetas; no uses valores como UUIDs como etiquetas, sino como campos dentro del log.
  • Comando de ejemplo para consultar logs desde CLI: logcli query '{job="webapp"} |= "error" | json | duration_ms > 1000' --from="2025-04-01T10:00:00Z" --to="2025-04-01T11:00:00Z"
  • Configura retention en Loki: --schema-config retention: 720h (30 días) para mantener logs históricos correlacionales.

Conclusión

La correlación entre métricas y logs no es un lujo, sino una necesidad en entornos de administración de sistemas con alta criticidad. Grafana Loki, al compartir el mismo modelo de etiquetas que Prometheus y al integrarse nativamente en Grafana, permite construir flujos de troubleshooting rápidos y precisos. Implementando enlaces entre paneles, queries combinadas y variables repetitivas, cualquier equipo puede reducir drásticamente el tiempo de diagnóstico. El verdadero poder no está en una herramienta aislada, sino en la capacidad de unir datos que antes vivían separados.

Comienza hoy: revisa la consistencia de tus etiquetas entre Prometheus y Promtail, y configura tu primer enlace desde un panel de métricas a Loki. Tu yo del futuro, en medio de una alerta a las 3 a.m., te lo agradecerá.