Orthophotomosaicing Framework for Thermal and Multispectral Images Collected with a UAV for Intelligent Systems

Abstract

In this paper, a framework for orthophotomosaicing of multispectral and thermal images collected by unmanned aerial vehicles is presented. The proposed framework is based on a two-stage data preprocessing and mosaicing orthophotographic restoration of images captured with a route-planned unmanned aerial vehicle collection. The super-resolution and image restoration step is handled via a two-pathway U-net image restoration artificial neural network. The framework simplifies the process and makes the collected data less sensitive to noise via image restoration and upscaling steps. The framework was tested on visible, multispectral and thermal images and provides 3.5% and 5.34% improvements in peak signal-to-noise ratio for multispectral and thermal orthophotomosaics. У статті представлено фреймворк для ортофотомозаїки мультиспектральних та теплових зображень, зібраних безпілотними літальними апаратами. Запропонований фреймворк базується на двоетапній попередній обробці даних та мозаїчному ортофотографічному відновленні зображень, отриманих за допомогою маршрутно спланованої колекції безпілотних літальних апаратів. Етап надвисокої роздільної здатності та відновлення зображень виконується за допомогою двоканальної штучної нейронної мережі для відновлення зображень U-net. Фреймворк спрощує процес і робить зібрані дані менш чутливими до шуму завдяки етапам відновлення зображення та масштабування. Фреймворк був протестований на видимих, мультиспектральних та теплових зображеннях і забезпечує покращення пікового співвідношення сигнал/шум на 3,5% та 5,34% для мультиспектральних та теплових ортофотомозаїк.