Система компʼютерного зору для розпізнавання військових літаків

Abstract

Актуальність теми - сучасні умови ведення бойових дій та широке застосування безпілотних літальних апаратів (БПЛА) генерують колосальні обсяги візуальної інформації, що зумовлює критичну потребу в автоматизованих системах комп'ютерного зору, здатних у реальному часі виявляти та відстежувати військову техніку, нівелюючи вплив людського фактора та складних умов аерозйомки. Мета роботи - підвищення ефективності автоматизованого розпізнавання та відстеження військових літаків на відеопотоках шляхом розробки та дослідження системи комп'ютерного зору на базі нейромережевого детектора YOLOv8 та алгоритму мультиоб'єктного трекінгу BOTSORT. Об’єкт дослідження - процес автоматизованого розпізнавання та трекінгу динамічних об'єктів на відеопотоках, отриманих з рухомих платформ спостереження. Предмет дослідження - методи глибокого навчання на основі згорткових нейронних мереж та алгоритми мультиоб'єктного трекінгу з компенсацією глобального руху камери для задач аероспостереження. Методи дослідження - аналіз наукових джерел для систематизації підходів до детекції, методи глибокого навчання (CNN) для розпізнавання образів, методи оцінки оптичного потоку та алгоритм RANSAC для компенсації руху камери (GMC), статистичний аналіз даних для оцінки метрик Precision, Recall, mAP, експериментальне моделювання для порівняння стратегій аугментації та налаштування гіперпараметрів трекера. Наукова новизна - удосконалено підхід до трекінгу об'єктів на аеровідеозйомці шляхом комбінування детектора YOLOv8 з трекером BOTSORT, що, на відміну від класичних підходів, враховує глобальний рух камери та забезпечує стійкість ідентифікаторів при різких маневрах носія, дістало подальшого розвитку застосування методики порогової фільтрації анотаційного шуму для навчання на даних дистанційного зондування Землі. Практична цінність - розроблена система може бути використана підрозділами розвідки для автоматизованого моніторингу аеродромів та OSINT-аналізу, реалізований програмний модуль забезпечує обробку відеопотоку в реальному часі (25–30 FPS), зменшуючи навантаження на операторів та мінімізуючи ймовірність пропуску цілей. Особистий внесок магістранта - магістрантом самостійно виконано статистичний аналіз датасету та обґрунтовано методику фільтрації малих об'єктів, проведено навчання та оптимізацію моделі YOLOv8m, реалізовано інтеграцію алгоритму BOTSORT з модулем компенсації руху камери (GMC), виконано програмну реалізацію системи мовою Python та проведено комплексне експериментальне дослідження ефективності роботи системи.The relevance of the topic - modern conditions of combat operations and the widespread use of unmanned aerial vehicles (UAVs) generate enormous amounts of visual information, which creates a critical need for automated computer vision systems capable of detecting and tracking military equipment in real time, eliminating the influence of the human factor and difficult aerial photography conditions. The purpose of the work is to increase the efficiency of automated recognition and tracking of military aircraft on video streams by developing and researching a computer vision system based on the YOLOv8 neural network detector and the BOTSORT multi-object tracking algorithm. The object of research is the process of automated recognition and tracking of dynamic objects on video streams obtained from mobile observation platforms. The subject of research is deep learning methods based on convolutional neural networks and multi-object tracking algorithms with compensation for global camera motion for aerial surveillance tasks. Research methods - analysis of scientific sources to systematize detection approaches, deep learning methods (CNN) for pattern recognition, optical flow estimation methods and RANSAC algorithm for camera motion compensation (GMC), statistical data analysis to evaluate Precision, Recall, mAP metrics, experimental modeling to compare augmentation strategies and adjust tracker hyperparameters. Scientific novelty - the approach to tracking objects in aerial videography was improved by combining the YOLOv8 detector with the BOTSORT tracker, which, unlike classical approaches, takes into account the global camera motion and ensures the stability of identifiers during sharp maneuvers of the carrier, and the application of the threshold filtering technique of annotation noise for training on Earth remote sensing data was further developed. Practical value - the developed system can be used by intelligence units for automated monitoring of airfields and OSINT analysis, the implemented software module provides real-time video stream processing (25–30 FPS), reducing the load on operators and minimizing the probability of missing targets. Personal contribution of the master's student - the master independently performed a statistical analysis of the dataset and substantiated the method of filtering small objects, trained and optimized the YOLOv8m model, implemented the integration of the BOTSORT algorithm with the camera motion compensation module (GMC), implemented the software implementation of the system in Python and conducted a comprehensive experimental study of the system's efficiency.