Програмний модуль управління польотом БПЛА з використанням машинного навчання

Abstract

Було проведено аналіз існуючих методів автономної навігації БПЛА та обґрунтовано доцільність використання навчання з підкріпленням. Розроблено математичну модель взаємодії агента з середовищем на основі алгоритму Q-навчання та спроектовано архітектуру програмного модуля керування. Програмна реалізація виконана мовою C++ (стандарт ISO C++17) з використанням власних структур даних, що забезпечує високу продуктивність та можливість інтеграції у вбудовані системи. Було реалізовано унікальний алгоритм агрегації команд польоту, який дозволяє перетворити дискретний шлях у векторні інструкції, зменшуючи обсяг переданих даних у 3–4 рази. Експериментальні дослідження підтвердили збіжність алгоритму та здатність системи знаходити оптимальний маршрут за умови правильного налаштування гіперпараметрів навчання.

An analysis of existing methods of autonomous UAV navigation was carried out and the feasibility of using reinforcement learning was substantiated. A mathematical model of agent interaction with the environment based on the Q-learning algorithm was developed and the architecture of the software control module was designed. The software implementation was performed in the C++ language (ISO C++17 standard) using its own data structures, which ensures high performance and the possibility of integration into embedded systems. A unique flight command aggregation algorithm was implemented, which allows transforming a discrete path into vector instructions, reducing the amount of transmitted data by 3–4 times. Experimental studies confirmed the convergence of the algorithm and the ability of the system to find the optimal route with the correct setting of the learning hyperparameters.