Data Lake vs Data Warehouse

• Data Lake: S3/GCS + Parquet/ORC, TB-PB, cheap ($0.02/GB), schema-on-read
• Data Warehouse: Snowflake/BigQuery, TB, expensive ($40+/TB storage), SQL-first
• Lakehouse: Iceberg + Trino/Databricks + Parquet на S3
• Transformation: ELT (Extract-Load-Transform в warehouse) dominant над ETL
• Tools: Airflow orchestration, dbt transformations, Great Expectations validation

-- Snowflake (Data Warehouse) — structured SQL
SELECT date, country, SUM(revenue)
FROM orders
WHERE date >= '2026-01-01'
GROUP BY 1, 2;

-- Data Lake + Iceberg + Trino (Lakehouse) — same SQL
-- over Parquet files in S3
SELECT date, country, SUM(revenue)
FROM iceberg.prod.orders
WHERE date >= DATE '2026-01-01'
GROUP BY 1, 2;

• Parquet
• Iceberg
• dbt

Data Lake и Data Warehouse — это два различных подхода к хранению и обработке данных. Data Lake предназначен для хранения неструктурированных и полуструктурированных данных в их исходном виде, что позволяет гибко анализировать большие объемы информации. В отличие от него, Data Warehouse структурирует данные, оптимизируя их для быстрого анализа и отчетности, что делает его идеальным для бизнес-аналитики и принятия решений. Например, в Data Warehouse данные могут быть организованы в таблицы с фиксированными схемами, что позволяет выполнять SQL-запросы для извлечения информации.

Data Lake — это хранилище данных, которое позволяет сохранять информацию в её исходном формате. Это могут быть как структурированные данные (например, таблицы SQL), так и неструктурированные (тексты, изображения, видео). Основное преимущество Data Lake заключается в его способности обрабатывать и хранить большие объемы данных без необходимости их предварительной обработки.

В Data Lake можно использовать различные форматы данных, такие как JSON, Avro, Parquet и другие. Это позволяет пользователям хранить данные, которые могут быть полезны в будущем, даже если на момент их сбора не было ясного понимания, как именно они будут использоваться.

Как пример, компания может собирать логи веб-сайта, данные о поведении пользователей и результаты опросов, сохраняя их в Data Lake. Позже аналитики могут использовать инструменты, такие как Apache Spark или Presto, для обработки и анализа этих данных. Для работы с Data Lake часто используются облачные решения, такие как Amazon S3 или Google Cloud Storage.

aws s3 cp my-data-file.json s3://my-data-lake/

Data Warehouse — это специализированное хранилище для анализа и отчетности, которое предназначено для хранения структурированных данных. Данные в Data Warehouse обычно проходят процесс ETL (извлечение, трансформация и загрузка), который позволяет преобразовать их в удобный для анализа формат. Это делает Data Warehouse идеальным для бизнес-аналитики, где требуется высокая скорость обработки запросов и точность данных.

В отличие от Data Lake, Data Warehouse имеет четкую схему данных, что позволяет пользователям выполнять сложные SQL-запросы для получения аналитических отчетов. Например, в Data Warehouse можно хранить данные о продажах, клиентах и продуктах, организованные по темам, что упрощает создание отчетов о производительности и тенденциях.

На практике, для создания Data Warehouse можно использовать такие инструменты, как Amazon Redshift, Google BigQuery или Snowflake. Эти платформы обеспечивают масштабируемость и высокую производительность, что позволяет обрабатывать большие объемы данных за короткое время.

CREATE TABLE sales_data (id INT, product_name VARCHAR(255), quantity_sold INT, sale_date DATE);

Data Lake и Data Warehouse — это два подхода к хранению и обработке данных, каждый из которых служит своим целям. Data Lake предназначен для хранения неструктурированных и полуструктурированных данных в их исходном виде, что позволяет сохранять большие объемы информации для дальнейшего анализа. Data Warehouse, в свою очередь, используется для хранения структурированных данных, оптимизированных для быстрого анализа и отчетности. Выбор между ними зависит от конкретных задач бизнеса и типов данных, которые необходимо обрабатывать.

При выборе между Data Lake и Data Warehouse важно понимать различия в их архитектуре. Data Lake использует распределенные файловые системы, такие как Hadoop или Amazon S3, что позволяет хранить огромные объемы данных без необходимости их предварительной обработки. В отличие от этого, Data Warehouse, например, на базе Amazon Redshift или Google BigQuery, организует данные в таблицы, что требует структурирования информации перед загрузкой.

Архитектура Data Lake позволяет хранить данные в различных форматах, включая JSON, CSV, Parquet и Avro, что делает его гибким инструментом для хранения разнородных данных. Для примера, команда для загрузки данных в Data Lake на AWS может выглядеть так:

aws s3 cp localfile.json s3://my-data-lake/

В то время как для загрузки данных в Data Warehouse потребуется выполнить ETL-процесс (извлечение, трансформация, загрузка), который включает в себя преобразование данных в соответствующий формат. Например, для загрузки данных в Amazon Redshift можно использовать команду:

COPY my_table FROM 's3://my-data-warehouse/data/' IAM_ROLE 'arn:aws:iam::account-id:role/MyRedshiftRole' FORMAT AS JSON 'auto';

Эти различия в архитектуре влияют на скорость обработки данных и возможности их анализа. Data Warehouse обеспечивает быстрое выполнение запросов благодаря предобработке и индексации, тогда как Data Lake требует более сложных методов обработки для извлечения полезной информации.