Мониторинг латентности LLM API

• Лёгкий синтетический запрос: max_tokens=10 "Reply OK" — мерим только сеть + холодный старт
• P95 латентности для разных моделей: gpt-4o-mini ≈ 1.2 с, claude-haiku ≈ 0.9 с, yandexgpt-lite ≈ 2.1 с
• Time-to-first-token (TTFT) для streaming: разный signal от end-to-end — отдельная метрика
• Cost-per-request трекинг через X-RateLimit-Remaining-Requests + ваш биллинг
• Алерты не на единичный спайк, а на rolling P95 за 5-минутное окно — иначе шум

# Лёгкий HTTP-чек OpenAI через curl (для enterno.io monitor)
curl -X POST https://api.openai.com/v1/chat/completions \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"gpt-4o-mini","messages":[{"role":"user","content":"ping"}],"max_tokens":5}' \
  -w "\nhttp=%{http_code} latency=%{time_total}s\n"

# В enterno.io: monitor type=http, URL=api.openai.com/v1/models, interval=60s
# (GET /v1/models не тратит токены, отдаёт 200 + список — идеальный health-check)

• Мониторинг uptime API
• P95 латентность

Для мониторинга латентности LLM API, таких как OpenAI, Anthropic и Yandex, используйте инструменты, которые позволяют отслеживать время ответа API в реальном времени. Рекомендуется применять такие методы, как периодические HTTP-запросы и использование специализированных библиотек для работы с API. Например, вы можете использовать команду curl для отправки запросов и измерения времени ответа с помощью time.

Для начала, создайте скрипт на Bash, который будет отправлять запросы к вашему LLM API и записывать время ответа. Пример скрипта:

#!/bin/bash

API_URL="https://api.openai.com/v1/engines/davinci-codex/completions"

for i in {1..10}; do
    START_TIME=$(date +%s%N)
    curl -s -X POST $API_URL -H "Authorization: Bearer YOUR_API_KEY" -d '{"prompt":"Say this is a test.", "max_tokens":5}'
    END_TIME=$(date +%s%N)
    LATENCY=$((END_TIME - START_TIME))
    echo "Запрос $i: Латентность = $LATENCY нс"
done

В этом скрипте мы отправляем 10 запросов к API OpenAI и измеряем время, затраченное на каждый запрос. Замените YOUR_API_KEY на ваш ключ API. Результаты помогут вам оценить производительность API.

Для более комплексного мониторинга латентности LLM API вы можете интегрировать полученные данные с системами мониторинга, такими как Prometheus или Grafana. Это позволит вам визуализировать данные и настраивать уведомления при превышении пороговых значений.

Пример настройки с Prometheus:

1. Установите и настройте Prometheus на вашем сервере.
2. Создайте exporter, который будет собирать данные о латентности API. Например, вы можете использовать библиотеку prometheus_client для Python:

from prometheus_client import start_http_server, Summary
import requests

LATENCY_SUMMARY = Summary('api_latency_seconds', 'Latency of API requests')

@LATENCY_SUMMARY.time()
def fetch_api():
    response = requests.post("https://api.openai.com/v1/engines/davinci-codex/completions", headers={"Authorization": "Bearer YOUR_API_KEY"}, json={"prompt":"Say this is a test.", "max_tokens":5})
    return response

if __name__ == '__main__':
    start_http_server(8000)
    while True:
        fetch_api()

Этот код будет запускать HTTP-сервер на порту 8000 и собирать данные о латентности запросов к API. После этого вы можете настроить Prometheus для получения данных с вашего exporter.

Для мониторинга латентности LLM API, таких как OpenAI, Anthropic и Yandex, используйте инструменты, которые позволяют отслеживать время отклика API в реальном времени. Определите важные метрики, такие как среднее время ответа, максимальное и минимальное время отклика, а также процент успешных запросов. Рекомендуется устанавливать пороговые значения для алертов, чтобы получать уведомления о высокой латентности. Например, если время отклика превышает 200 мс, настройте уведомления через Slack или Email.

Одним из эффективных способов мониторинга латентности LLM API является использование Prometheus и Grafana. Prometheus позволяет собирать и хранить метрики, а Grafana предоставляет удобный интерфейс для визуализации данных.

Шаг 1: Установка Prometheus

Сначала установите Prometheus, следуя официальной документации. После установки создайте конфигурационный файл prometheus.yml с необходимыми параметрами.

global:
  scrape_interval: 15s

scrape_configs:
  - job_name: 'llm_api_monitoring'
    metrics_path: '/metrics'
    static_configs:
      - targets: ['openai_api:80', 'anthropic_api:80', 'yandex_api:80']

Шаг 2: Настройка экспортеров

Для сбора метрик от LLM API используйте экспортеры, такие как Prometheus Go Client для написания собственного приложения, которое будет отправлять данные о латентности в Prometheus. Вот пример кода для отслеживания времени отклика:

package main

import (
    "net/http"
    "github.com/prometheus/client_golang/prometheus"
    "github.com/prometheus/client_golang/prometheus/promhttp"
)

var (
    latency = prometheus.NewHistogramVec(
        prometheus.HistogramOpts{
            Name:    "llm_api_latency_seconds",
            Help:    "Latency of LLM API calls",
            Buckets: prometheus.LinearBuckets(0, 0.1, 10),
        },
        []string{"api"},
    )
)

func init() {
    prometheus.MustRegister(latency)
}

func main() {
    http.Handle("/metrics", promhttp.Handler())
    http.ListenAndServe(":8080", nil)
}

Шаг 3: Визуализация в Grafana

После того как Prometheus начнет собирать данные, установите Grafana и подключите его к вашему Prometheus серверу. Создайте дашборд с графиками, отображающими среднюю латентность, максимальное и минимальное время ответа. Например, используйте запрос:

avg(llm_api_latency_seconds) by (api)

Это позволит вам визуально отслеживать производительность API и быстро реагировать на изменения в латентности.