Article title:
ОПТИМИЗАЦИЯ ХРАНЕНИЯ И ОБРАБОТКИ ФИНАНСОВЫХ ОТЧЁТОВ МАРКЕТПЛЕЙСА В DUCKDB
Authors:
Серпинский Р. Э., Аскеров С. Т., Буракова М. С.
Keywords: финансовые отчёты, DuckDB, Parquet, аналитическая обработка данных, оптимизация хранения, файловая структура базы данных, производительность запросов, cold и warm режимы, партиционирование, агрегатные запросы.
Páginas: 298-305
Abstract: В данной работе проводится экспериментальное исследование методов оптимизации хранения и обработки финансовых отчётов маркетплейса в аналитическом пайплайне на базе DuckDB. Рассматриваются две модели организации данных: монолитное хранение в виде одного оптимизированного Parquet-файла и партиционированное хранение в виде набора файлов, разделённых по временным интервалам. Анализируются особенности каждой модели, влияние файловой структуры на производительность аналитических запросов и стоимость этапов подготовки данных. Экспериментальная часть включает тестирование типовых финансовых запросов (агрегации, ранжирование, оконные функции, временные срезы) в режимах холодного и прогретого доступа к данным. Особое внимание уделяется оценке медианного и перцентильного времени выполнения запросов, а также стабильности работы при увеличении объёма данных. На основе полученных результатов сформулированы рекомендации по выбору модели хранения финансовых данных для задач аналитики и построения отчётности.
Full text is not available
Download full text
