Apache Avro

• Row-oriented (vs Parquet columnar) — лучше для streaming, individual row writes
• Schema: JSON-defined, embedded в каждый file / Kafka message
• Schema Registry: shared central schemas для Kafka (Confluent-standard)
• Evolution: добавлять optional fields backward-compatible
• Languages: Java, Python, C++, Go, Rust, JavaScript

{
  "type": "record",
  "name": "User",
  "fields": [
    {"name": "id", "type": "long"},
    {"name": "email", "type": "string"},
    {"name": "age", "type": ["null", "int"], "default": null}
  ]
}

# Python (fastavro)
import fastavro
with open('users.avro', 'wb') as out:
  fastavro.writer(out, schema, records)

• Parquet
• Data Lake

Apache Avro — это формат сериализации данных, ориентированный на схемы, который позволяет эффективно хранить и передавать данные между различными системами. Он использует JSON для определения схемы, что обеспечивает удобство и гибкость при работе с данными. Avro поддерживает как бинарный, так и JSON-форматы, что делает его идеальным для использования в распределённых системах, таких как Hadoop и Kafka.

Apache Avro предлагает множество преимуществ, среди которых:

• Схема на первом месте: Данные всегда привязаны к схеме, что позволяет избежать проблем с совместимостью и упрощает обработку данных.
• Поддержка нескольких языков: Avro поддерживает множество языков программирования, включая Java, C, Python и другие, что делает его универсальным инструментом для разработки.
• Эффективность хранения: Бинарный формат Avro позволяет значительно сократить объем данных по сравнению с текстовыми форматами, что экономит место и увеличивает скорость передачи.
• Интеграция с Hadoop: Avro идеально подходит для работы с Hadoop, обеспечивая быструю и эффективную обработку больших объемов данных.

В дополнение к этим преимуществам, Avro также поддерживает версионирование схем, что позволяет изменять структуру данных без потери совместимости с предыдущими версиями.

Рассмотрим практический пример работы с Apache Avro. Предположим, у нас есть схема данных для хранения информации о пользователях:

{
  "type": "record",
  "name": "User",
  "fields": [
    {"name": "name", "type": "string"},
    {"name": "age", "type": "int"},
    {"name": "email", "type": "string"}
  ]
}

Эта схема описывает запись пользователя с тремя полями: имя, возраст и электронная почта. Теперь, чтобы сериализовать данные в формат Avro, можно использовать следующую команду на Python:

import avro.schema
import avro.datafile
import avro.io

schema = avro.schema.parse(open("user.avsc").read())

with open("users.avro", "wb") as out:
    writer = avro.datafile.DataFileWriter(out, avro.io.DatumWriter(), schema)
    writer.append({"name": "Alice", "age": 30, "email": "alice@example.com"})
    writer.append({"name": "Bob", "age": 25, "email": "bob@example.com"})
    writer.close()

В этом примере мы создаём файл "users.avro", в который записываются данные о пользователях согласно заданной схеме. Avro обеспечивает автоматическую проверку данных на соответствие схеме, что исключает возможность ошибок при сериализации.