Інтелектуальна система обробки гіперспектральних зображень на основі використання генеративно- змагальних мереж

Abstract

Об’єкт дослідження — інтелектуальна система обробки гіперспектральних зображень із використанням методів глибокого навчання. Предмет дослідження — архітектура генеративно-змагальної мережі AC WGAN-GP для генерації та класифікації гіперспектральних зразків. Мета роботи — розробка інтелектуальної системи для генерації та класифікації гіперспектральних зображень в умовах обмеженої кількості мічених даних. Методи дослідження — метод головних компонент (PCA), генеративне моделювання, клас-орієнтована вибірка, ембеддинг міток, контрастивне навчання, програмна реалізація нейромереж у середовищі TensorFlow. У роботі реалізовано низку удосконалень архітектури AC-WGAN-GP, що дозволили підвищити ефективність генерації та класифікації гіперспектральних зображень. Новизна підходу полягає у поєднанні ResNet-деконволюцій, Spectral Dropout і ембеддингу в генераторі, використанні Layer Normalization і Minibatch Discrimination у дискримінаторі, а також впровадженні контрастивної втрати з ваговою компенсацією у класифікаторі. Проведені експерименти на наборах Salinas, Indian Pines і KSC засвідчили підвищення точності класифікації, особливо в умовах обмеженої кількості маркованих зразків.The object of the study is an intelligent hyperspectral image processing system using deep learning methods. The subject of the study is the architecture of the AC WGAN-GP generative adversarial network for generating and classifying hyperspectral samples. The purpose of the work is to develop an intelligent system for generating and classifying hyperspectral images under conditions of a limited amount of labeled data. The research methods are the principal component analysis (PCA), generative modeling, class-oriented sampling, label embedding, contrastive learning, software implementation of neural networks in the TensorFlow environment. The work implements a number of improvements to the AC-WGAN-GP architecture, which allowed to increase the efficiency of generating and classifying hyperspectral images. The novelty of the approach lies in the combination of ResNet deconvolutions, Spectral Dropout and embedding in the generator, the use of Layer Normalization and Minibatch Discrimination in the discriminator, as well as the implementation of contrastive loss with weight compensation in the classifier. Experiments conducted on the Salinas, Indian Pines, and KSC datasets demonstrated improved classification accuracy, especially in conditions of limited number of labeled samples.