Métricas de plataforma

• Métricas de Triton como tasa de peticiones, fallos, profundidad de cola y latencia
• Métricas de vLLM como estado del scheduler, presión sobre la caché KV y rendimiento de tokens
• Métricas de GPU del exportador DCGM
• Métricas de nodo de node_exporter

​

Antes de activarlas

observability:
  monitoring: true

​

Activar métricas de plataforma

observability:
  monitoring: true
  platformMetrics:
    enabled: true
    generationIntervalMs: 2000
    gpu:
      enabled: true
    inference:
      counterLatencies: true
      histogramLatencies: true
      summaryLatencies: true
      summaryQuantiles: ""

​

Opciones de configuración

​

Qué obtienes

​

Triton

• nv_inference_request_success
• nv_inference_request_failure
• nv_inference_pending_request_count
• nv_inference_request_duration_us
• nv_inference_compute_infer_duration_us

​

vLLM

• vllm_llms_v1:*
• vllm_embeddings_v1:*

• vllm_llms_v1:num_requests_running
• vllm_llms_v1:kv_cache_usage_perc
• vllm_llms_v1:time_to_first_token_seconds_bucket
• vllm_llms_v1:generation_tokens_total

​

GPU

• nv_gpu_utilization
• nv_gpu_memory_used_bytes
• nv_gpu_power_usage

​

Nodo

• node_cpu_seconds_total
• node_memory_MemAvailable_bytes
• node_filesystem_avail_bytes

​

Siguiente paso

• inspeccionarlas en el stack de Grafana del clúster
• reenviarlas a tu propio backend mediante Destinos de métricas
• usar el Dashboard externo de Grafana