Методология сегментации данных для реализации параллельной загрузки в BI-системах

<jats:p>Цель работы – разработка и экспериментальная оценка гибридного алгоритма автоматического выбора ключа разделения данных для параллельной загрузки в BI-системах. Методы: системный анализ ETL-процессов, комбинирование анализа метаданных СУБД, эвристического ранжирования столбцов и интерактивного принятия решений. Эксперименты проведены на PostgreSQL 15 с объёмом данных от 100 тыс. до 2,5 млрд строк. Результаты: предложенный алгоритм обеспечивает ускорение загрузки в 5–10 раз по сравнению с однопоточным режимом; на таблицах до 10 млн строк дополнительная проверка уникальности ключа добавляет 3–7 секунд, на 500 млн строк – 220 секунд (около 15% времени загрузки). Выводы: алгоритм позволяет гибко выбирать между скоростью и надёжностью, оставаясь практичным для таблиц размером в миллиарды строк.</jats:p> <jats:p>Objective – development and experimental evaluation of a hybrid algorithm for automatic selection of a data partitioning key for parallel loading in BI systems. Methods: systems analysis of ETL processes, combining DBMS metadata analysis, heuristic column ranking, and interactive decision-making. Experiments were conducted on PostgreSQL 15 with data volumes ranging from 100 thousand to 2.5 billion rows. Results: the proposed algorithm provides a 5–10 times acceleration in loading compared to single-threaded mode; for tables up to 10 million rows, additional uniqueness verification adds 3–7 seconds, for 500 million rows – 220 seconds (about 15% of loading time). Conclusions: the algorithm allows flexible choice between speed and reliability, remaining practical for tables with billions of rows.</jats:p>