Что такое SRE

• Error budget: 100% - SLO. 99.9% SLO = 43 min/month downtime allowed
• Toil: manual/repeatable work → automate. Target <50% time
• Blameless postmortems: focus на system fixes, не individual blame
• On-call rotations с rest schedules
• Shared goals с product teams через SLO

// SLO (Service Level Objective):
99.9% of HTTP requests return 2xx/3xx within 200ms, measured over 30 days

// Error budget depletion triggers:
- Feature freeze if budget < 25%
- Automated rollback if burn rate > 10x

• SLI/SLO
• Observability
• p99 latency

Site Reliability Engineering (SRE) — это подход к управлению системами, который сочетает в себе элементы разработки программного обеспечения и традиционного ИТ-операционного менеджмента. Основная цель SRE — обеспечить надежность и стабильность сервисов, используя методы автоматизации и мониторинга. Команды SRE применяют метрики, такие как SLA (Service Level Agreement), SLO (Service Level Objective) и SLIs (Service Level Indicators), чтобы оценить и поддерживать качество обслуживания. Например, в Google, где концепция SRE была впервые внедрена, команды используют SLO, чтобы гарантировать, что уровень доступности сервиса составляет не менее 99.9%.

Принципы SRE основаны на нескольких ключевых аспектах, которые помогают командам достигать высоких уровней надежности и эффективности. Рассмотрим их подробнее:

• Автоматизация: SRE стремится минимизировать ручные операции, заменяя их автоматизированными процессами. Это позволяет снизить вероятность ошибок и увеличить скорость развертывания новых функций.
• Мониторинг и метрики: Важнейшим элементом SRE является мониторинг систем. Команды используют различные инструменты, такие как Prometheus и Grafana, для сбора и визуализации метрик. Это помогает выявлять проблемы до того, как они повлияют на пользователей.
• Управление инцидентами: SRE команды разрабатывают четкие процессы для реагирования на инциденты. Это включает в себя использование постмортемов для анализа инцидентов и предотвращения их повторения в будущем.
• Культура ответственности: В SRE важна культура разделения ответственности между разработчиками и операционными командами. Это позволяет улучшить взаимодействие и повысить качество обслуживания.

Рассмотрим практический пример настройки мониторинга для веб-приложения с использованием Prometheus и Grafana. Предположим, у вас есть сервис, который обрабатывает API-запросы, и вы хотите отслеживать его производительность.

Во-первых, установите Prometheus и настройте его для сбора метрик. В вашем коде добавьте экспортёр, который будет отправлять метрики в Prometheus. Например, если вы используете Node.js, вы можете использовать библиотеку prom-client:

const client = require('prom-client');
const httpRequestDurationMicroseconds = new client.Histogram({
    name: 'http_request_duration_seconds',
    help: 'Duration of HTTP requests in seconds',
    labelNames: ['method', 'route'],
});

app.use((req, res, next) => {
    const end = httpRequestDurationMicroseconds.startTimer();
    res.on('finish', () => {
        end({ method: req.method, route: req.route.path });
    });
    next();
});

После этого настройте Prometheus для сбора метрик с вашего сервиса, добавив следующую конфигурацию в prometheus.yml:

scrape_configs:
  - job_name: 'my_service'
    static_configs:
      - targets: ['localhost:3000']

Теперь Prometheus будет собирать метрики, которые вы определили. Для визуализации данных используйте Grafana. Создайте новый дашборд и добавьте графики для отслеживания времени отклика и других метрик.

В результате вы получите систему мониторинга, которая позволит вам отслеживать производительность вашего сервиса и быстро реагировать на потенциальные проблемы, что является основой подхода SRE.