Оптимізація продуктивності корпоративних DWH-систем у багатоплатформеному середовищи за допомогою ETL процесів

Abstract

Об’єкт дослідження: Корпоративні системи управління сховищами даних (DWH) у мультиплатформенному середовищі. Предметом дослідження: ETL-процеси та їх вплив на продуктивність DWH-систем, методи оптимізації. Мета дослідження: Метою дослідження є розробка та валідація стратегій оптимізації ETL-процесів, які підвищують продуктивність, масштабованість та надійність корпоративних систем управління сховищами даних (DWH) у мультиплатформенному середовищі. Методи дослідження: набір інструкцій та команд мов програмування T-SQL i Python, сучасні методи аналізу даних, PowerBI звіт. MSSQL management studio, DBeaver, Excel. Дослідження відбувалися на основних робочих платформах, які використовуюються компаніями із великого бізнесу. Object of research: Corporate data warehouse management systems (DWH) in a multiplatform environment. Subject of research: ETL processes and their impact on the performance of DWH systems, optimization methods. Research goal: The goal of the research is to develop and validate strategies for optimizing ETL processes that increase the performance, scalability and reliability of corporate data warehouse management systems (DWH) in a multiplatform environment. Research methods: a set of instructions and commands of the T-SQL and Python programming languages, modern data analysis methods, PowerBI report. MSSQL management studio, DBeaver, Excel. The research was conducted on the main working platforms used by large business companies.