Оригинальные исследования (ОРИС)

Название статьи: УНИВЕРСАЛЬНЫЙ МОДУЛЬ ПАКЕТНОЙ ОБРАБОТКИ СООБЩЕНИЙ APACHE KAFKA ПРИ ЗАГРУЗКЕ ДАННЫХ В CLICKHOUSE

Авторы: Пономарев М. Д., Красникова С. А.

Ключевые слова: Apache Kafka, ClickHouse, ETL, пакетная обработка, идемпотентность, дедупликация, распределенные системы.

Страницы: 93-99

Аннотация:

В статье рассматривается задача повышения устойчивости ETL-конвейера, передающего потоковые данные из Apache Kafka в аналитическое хранилище ClickHouse. Исходная проблема связана с тем, что потребители сообщений выполняли частые мелкие вставки, не соответствующие модели хранения MergeTree и приводившие к накоплению частей таблиц. Предложен универсальный модуль-обертка над новой версией клиентской библиотеки Kafka, который скрывает сложность низкоуровневого API и вводит управляемую пакетную обработку, повторные попытки с экспоненциальной задержкой и добавлением случайной компоненты, корректное завершение работы и идемпотентную запись в ClickHouse. Практическая проверка показала, что внедрение модуля позволило снизить частоту INSERT-запросов в несколько раз, устранить проявления ошибки too many parts и сохранить контролируемую семантику обработки сообщений при сбоях.

Полный текст статьи недоступен

Скачать полный текст статьи
  • ISSN: 2222-0402

Журнал индексируется в Российском индексе научного цитирования (РИНЦ)

Отправить статью в журнал "Оригинальные исследования (ОРИС)"

Журнал "Оригинальные исследования (ОРИС)" (включен в РИНЦ) ведет прием статей в ближайший номер до 31 мая 2026 г. 

Полезная информация

Наша группа в "Контакте"

Мы тестируем новый сервис подбора журналов

Теперь найти подходящее вам издание будет намного проще и быстрее. Попробуйте его в Телеграме тут - ORESJournalBot и будем рады вашей обратной связи:)

Давайте попробуем

Работаем с 2011 года

Опубликовали >15000 статей

Нам доверяют 11000 авторов

Гарантируем сроки публикации

Оформляем сотрудничество договором

Принимаем оплату легально по счёту