Latency и Throughput: ключевые метрики производительности сети

Что такое Latency и Throughput?

Latency (задержка) и throughput (пропускная способность) — две фундаментальные метрики производительности сети и приложений. Хотя они связаны, они измеряют разные аспекты работы системы. Путаница между ними — распространённая ошибка, которая ведёт к неэффективной оптимизации и плохому пользовательскому опыту.

Latency — это время, необходимое одной единице данных (пакету, запросу, сообщению) для перемещения от источника к получателю. Измеряется в миллисекундах (мс). Это задержка перед тем, как что-то произойдёт.

Throughput — это объём данных, успешно переданных за единицу времени. Измеряется в запросах в секунду (RPS), мегабитах в секунду (Мбит/с) или транзакциях в секунду (TPS). Это ёмкость — сколько работы система может выполнить.

Аналогия с автомагистралью

Представьте шоссе между двумя городами. Latency — это время, за которое одна машина проедет из города А в город Б. Throughput — это количество машин, прибывающих в город Б за час. Шоссе может иметь низкую задержку (высокий скоростной режим), но низкую пропускную способность (одна полоса). Или высокую пропускную способность (восемь полос), но высокую задержку (много светофоров).

Ключевой вывод: улучшение одной метрики автоматически не улучшает другую. Добавление полос не делает машины быстрее. Повышение скоростного режима не увеличивает количество полос.

Измерение задержки

Задержка складывается из нескольких компонентов:

• Задержка распространения — время прохождения сигнала через физическую среду. Свет в оптоволокне движется со скоростью ~200 000 км/с, поэтому путь Москва — Лондон (~2 500 км) занимает ~12 мс в одну сторону
• Задержка передачи — время на отправку всех битов пакета в канал. Зависит от размера пакета и пропускной способности канала
• Задержка обработки — время, затрачиваемое маршрутизаторами и серверами на обработку и пересылку пакетов
• Задержка ожидания (queuing) — время в очередях. Самый изменчивый компонент и основная причина скачков задержки

Ключевые метрики задержки для веб-приложений:

Измерение пропускной способности

Измерение throughput зависит от контекста:

• Сетевой throughput — измеряется с помощью iperf3, обычно в Мбит/с или Гбит/с
• Прикладной throughput — RPS (запросов в секунду) или TPS (транзакций в секунду)
• Throughput данных — МБ/с, актуально для передачи файлов и стриминга

Важно: пропускная способность канала (bandwidth) — это не throughput. Bandwidth — это теоретический максимум. Throughput — фактически наблюдаемая скорость передачи, которая всегда ниже из-за накладных расходов протоколов, перегрузки и потерь пакетов.

# Измерение сетевого throughput с помощью iperf3
iperf3 -c server.example.com -t 30

# Измерение HTTP throughput с помощью wrk
wrk -t12 -c400 -d30s https://example.com/api/health

# Измерение throughput с помощью Apache Bench
ab -n 10000 -c 100 https://example.com/api/endpoint

Связь между Latency и Throughput

Под нагрузкой latency и throughput находятся в обратной зависимости. Когда throughput приближается к максимальной ёмкости системы, задержка растёт — часто экспоненциально. Это описывается теорией массового обслуживания, в частности формулой Литтла:

L = λ × W

Где:
L = среднее количество элементов в системе
λ = средняя скорость поступления (throughput)
W = среднее время пребывания элемента в системе (latency)

Это значит: при росте throughput (λ) либо растёт длина очереди (L), либо увеличивается задержка (W), либо и то и другое. На практике при приближении сервера к максимальному RPS время ответа резко возрастает.

Точка перегиба (Knee Point)

У каждой системы есть «точка перегиба» — уровень throughput, при котором задержка начинает резко расти. Работа за пределами этой точки приводит к каскадным отказам: очереди переполняются, срабатывают тайм-ауты, повторные попытки увеличивают нагрузку, и система «складывается». Определение и соблюдение этой границы критически важно для планирования ёмкости.

Оптимизация задержки

Стратегии снижения latency:

• CDN — размещение контента ближе к пользователям уменьшает задержку распространения. CDN может снизить TTFB с 800 мс до менее 50 мс для статики
• Повторное использование соединений — мультиплексирование HTTP/2 и keep-alive устраняют повторные handshake
• Сокращение DNS-запросов — меньше уникальных доменов = меньше DNS-резолвинга. Используйте dns-prefetch
• Оптимизация TLS — TLS 1.3 требует один round trip вместо двух. OCSP stapling избавляет от дополнительных запросов
• Агрессивное кэширование — Redis, Memcached и HTTP-кэширование сокращают обращения к базе данных с 10–50 мс до менее 1 мс
• Реплики чтения — размещение реплик БД ближе к серверам приложений
• Уменьшение размера ответов — компрессия Brotli, удаление лишних полей

Оптимизация пропускной способности

Стратегии увеличения throughput:

• Горизонтальное масштабирование — добавление серверов за балансировщиком нагрузки
• Пул соединений — повторное использование соединений к БД и внешним сервисам вместо создания новых на каждый запрос
• Асинхронная обработка — вынесение некритичных задач в очереди сообщений (Redis, RabbitMQ, Kafka)
• Пакетные операции — объединение множества мелких запросов в крупные
• Оптимизация запросов к БД — правильные индексы, устранение N+1 проблем
• Rate limiting — защита throughput путём отклонения избыточного трафика до потребления ресурсов

Мониторинг обеих метрик

Эффективный мониторинг сайтов отслеживает обе метрики вместе. Панель мониторинга должна показывать:

• P50, P95, P99 задержки во времени — для раннего обнаружения деградации
• RPS во времени — для корреляции с изменениями задержки
• Частоту ошибок — ошибки часто растут при превышении ёмкости
• Метрики насыщения — CPU, память, заполненность пула соединений

Инструменты вроде Enterno.io обеспечивают мониторинг задержки ваших эндпоинтов в реальном времени, оповещая о превышении пороговых значений. В сочетании с отслеживанием throughput вы можете обнаружить деградацию производительности до того, как её заметят пользователи.

Типичные ошибки

• Усреднение задержки — средние значения скрывают хвостовую задержку. Используйте перцентили (P95, P99)
• Тестирование throughput без целевых показателей задержки — система, обрабатывающая 10 000 RPS с 5-секундным временем ответа, бесполезна
• Координированное упущение — нагрузочные инструменты, ожидающие ответа перед отправкой следующего запроса, занижают реальную задержку
• Избыточная пропускная способность канала — увеличение bandwidth редко исправляет задержку приложения, вызванную медленными запросами

Выводы

Latency измеряет задержку, throughput — ёмкость. Обе метрики критически важны, и оптимизация одной может ухудшить другую. Мониторьте обе с помощью перцентилей, определите точку перегиба вашей системы и проектируйте архитектуру так, чтобы задержка оставалась низкой даже при масштабировании. CDN, кэширование и повторное использование соединений — для latency; горизонтальное масштабирование, асинхронная обработка и пулы соединений — для throughput.