СРАВНИТЕЛЬНЫЙ АНАЛИЗ ТЕХНОЛОГИЙ ОБРАБОТКИ БОЛЬШИХ CSV-ОТЧЁТОВ WILDBERRIES

СРАВНИТЕЛЬНЫЙ АНАЛИЗ ТЕХНОЛОГИЙ ОБРАБОТКИ БОЛЬШИХ CSV-ОТЧЁТОВ WILDBERRIES
Авторы: Романовский И. О., Антипова О. В., Серпинский Р. Э.
Аннотация:

В данной работе проводится экспериментальное исследование технологий обработки больших CSV-отчётов маркетплейса Wildberries в задачах аналитической обработки данных. Рассматриваются три подхода: использование библиотеки pandas, библиотеки polars и локального аналитического движка ClickHouse. Актуальность исследования обусловлена тем, что отчёты маркетплейса могут содержать сотни тысяч и миллионы строк, а их обработка напрямую влияет на скорость построения аналитических витрин, расчёт рекламных и финансовых показателей, а также нагрузку на backend-сервис. Экспериментальная часть включает генерацию тестовых CSV-наборов объёмом 10, 50 и 100 МБ, выполнение единого аналитического сценария и сравнение технологий по времени обработки и пиковому потреблению оперативной памяти. На основе полученных результатов сформулированы выводы о применимости каждой технологии для задач аналитики Wildberries.

Ключевые слова: Wildberries, CSV-отчёты, pandas, polars, ClickHouse, аналитическая обработка данных, benchmark, производительность, использование памяти, агрегация данных, marketplace analytics.
Страницы в выпуске: 185-189

Журнал "Оригинальные исследования (ОРИС)" (включен в РИНЦ) ведет прием статей в ближайший номер до 30 апреля 2026 г.