Разработка интеллектуальных моделей обработки данных и планирования полетов для решения задач точного земледелия с применением БПЛА (ИРН AP08856412 — IUAVT)

Цель проекта:

Разработка моделей обработки данных и планирования полетов технически разнородных БПЛА для решения задач точного земледелия на базе методов искусственного интеллекта.

Актуальность:

Актуальность:

Применение БПЛА для решения широкого спектра задач мониторинга и управления в отраслях хозяйствования Казахстана ограничивается не только отдельными техническими особенностями данной мобильной платформы, но и недостаточной разработанностью практически применимых интеллектуальных методов, алгоритмов и систем управления движением и анализа поступающих с борта БПЛА данных. Проект направлен на разработку практически применимых методов, обеспечивающих решение задач управления полетом (том числе группой аппаратов), идентификации и классификации объектов наблюдения, с помощью современных методов машинного обучения для решения задач точного земледелия. Ожидаемые результаты применимы и в других отраслях производства для решения задач мониторинга.

Научный руководитель: др. инж. наук, профессор, Мухамедиев Р.И.

Количественный и качественный состав исполнителей проекта: 10 исполнителей,  в составе: 1 доктор наук, 5(6) PhD студентов (4-SU,1-RTU,(1-МУИТ)), 3 магистра

Организация процесса выполнения проекта

1 “Формирование синтетических и реальных наборов видео и графических данных для реализации моделей машинного обучения (WP.1.1)”

Симуляционные среда: Unreal Engine

В результате выполнения задачи 1 сформированы синтетические (2 часа видео) и реальные наборы размеченных графических данных в объеме более 1000 размеченных и 50 000 не размеченных изображений (более 20000 объектов классификации 12 классов) для реализации моделей машинного обучения, в том числе, глубокого. Данные апробированы в процессе обучения моделей глубокого обучения. Ожидаемые результаты достигнуты в полном объеме.

Результаты опубликованы в

  • Assanov I. Multi UAV simulator in Unity // The 19th INTERNATIONAL SCIENTIFIC CONFERENCE INFORMATION TECHNOLOGIES AND MANAGEMENT 2021 April 22-23, 2021, ISMA University of Applied Science, Riga, Latvia.- c. 46-47.
  • M Ospanova, M Yelis, A Bekbaganbetov, J Rabcan, R Muhamedyev Image generation for solving problems of precision farming // The 19th INTERNATIONAL SCIENTIFIC CONFERENCE INFORMATION TECHNOLOGIES AND MANAGEMENT 2021 April 22-23, 2021, ISMA University of Applied Science, Riga.- c. 64-65.

2 «Разработка методов предобработки, устранения аномалий и пропусков в данных, получаемых с борта БПЛА(WP.1.2)»

3 основных этапа, необходимых при подготовке данных с борта БПЛА для дальнейшей обработки и использования при обучении моделей машинного обучения:

1)Получение данных с борта БПЛА посредством тех или иных физических интерфейсов

2) Приведение данных в удобный для использования формат (например конвертация несжатых кадров с камеры в формате RAW или NEF в формат с сжатием – например JPEG).

3) Предобработка

a) Приведение кадров к заданному разрешению. Современные модели глубокого обучения обычно работают с входными данными с разрешением не более 600×600-800×800 пикселей, что значительно меньше разрешающей способности современных камер.

b)Синхронизация временных данных. В случае с данными с датчиков, может возникнуть необходимость синхронизации по времени. Обычно эта проблема решается аппаратными методами на борту БПЛА, но в ряде случаев может требоваться дополнительная обработка.

c) Аудментация данных. Применение технологии аугментации изображений позволяет увеличить набор данных путем применени линейных преобразований исходного изображения. Например, на рисунке _ представлен аугментированный набор данных, который изначально содержал всего 400 фотографий, а после увеличился в 8 раз и стал содержать 3300 фотографий, что позволяет нейронной сети обучаться более качественно.

В результате выполнения задачи 2 разработаны методы предобработки, устранения аномалий и пропусков в данных получаемых с борта БПЛА, имеются отлаженные прототипы программного обеспечения, методы апробированы. Ожидаемые результаты достигнуты в полном объеме.

3 «Разработка моделей машинного обучения (в том числе, глубокого обучения) для решения задач классификации и идентификации (WP.1.3)»

Определение изменений, произошедших в сцене (image change detection)

  • Alexnet
  • Inception v
  • ResNet
  • FCN8s, VGG16,
  • UNET.

Задача распознавания изображений, в частности обнаружения объектов на поле

  • YOLO v4 Darknet

В ходе проведения экспериментов нейронная сеть смогла распознавать грядки сои, саму сою и сорняки на фотографиях соевых полей. Нейронная сеть локализует и распознает объекты с точностью в ~88%. В результате распознавания объектов происходит консолидация данных (типы сорняков, полезных культур) и их запись для дальнейшей обработки и анализа. Пример работы нейронной сети:

Предварительные результаты классификации растений

Улучшенные  результаты классификации растений
Улучшенные результаты классификации растений

В результате выполнения задачи 3 разработаны (адаптированы) модели машинного обучения (в том числе,  глубокого обучения) для решения задач классификации и идентификации в процессе точного земледелия, получены алгоритмы и прототипы программного обеспечения для обработки и консолидации данных. Ожидаемые результаты достигнуты в полном объеме.

4. «Разработка (адаптация) моделей машинного обучения для бортового и наземного применения (WP.1.4)».

Распознавание объектов сои и сорняков на Jetson Nano с помощью предобученной нейронной сети
Распознавание объектов сои и сорняков на Jetson Nano (одноплатный бортовой микрокомпьютер)  с помощью предобученной нейронной сети

В результате выполнения задачи 4 Разработаны (адаптированы) модели машинного обучения для бортового и наземного примения (WP.1.4). Программное обеспечение апробировано в различных условиях. Ожидаемые результаты достигнуты в полном объеме.

5 «Разработка алгоритмов планирования полета БПЛА и группы БПЛА для решения задач покрытия в приложении к задачам мониторинга и обработки пространственно распределенных объектов (WP.2)»

Экспериментальные поля для проверки алгоритма планирования полетов
Экспериментальные поля для проверки алгоритма планирования полетов
Планирования полета
Планирования полета

The fitness function

C=(W+S)*P

where C is the total cost of the overflight, W is the cost associated with the wear of the UAVs, S is the cost associated with the work of personnel and the vehicle, and P is the penalty.

A high-level pseudocode describing the operation of the function is as follows:

grid = generate_grid(field, radius, direction)

current_position = 0

total_price = 0

for each car_stop:

    for each drone:

        W, S, P, current_position = eval(drone, grid, current_position)

        total_price += (W + S) * P

  return total_prices

Численные оценки миссии на полях различной формы и размера
Численные оценки миссии на полях различной формы и размера

В результате выполнения задачи 5 «Разработка алгоритмов планирования полета БПЛА и группы БПЛА для решения задач покрытия в приложении к задачам мониторинга и обработки пространственно распределенных объектов (WP.2)» Разработан и апробирован алгоритм планирования полетов группы технически разнородных БПЛА для решения задачи покрытия пространственно распределенных объектов в различных условиях. Ожидаемые результаты достигнуты в полном объеме.

6 «Разработка программного симулятора для оценки качества работы методов управления, классификации и идентификации

Симуляционная среда представляет собой классическое клиент-серверное приложение с 3-х уровневой архитектурой, включающей:

  • Серверное приложение, разработанное на базе фреймворка Python-Django
  • Базу данных PostgreSQL для хранения данных о полях, дронах, облётах и другой служебной информации
  • Фронтенд приложение, разработанное на стеке HTML+CSS+JS с использованием библиотек Leaflet и Pixie.js для отображения карт и объектов (дроны, контрольные точки, поля и т.п.) поверх карт
Интерфейс создания поля.
Интерфейс создания поля.
Интерфейс создания миссии.
Интерфейс создания миссии.

 

Интерфейс управления формированием маршрута облёта (симуляция)
Интерфейс управления формированием маршрута облёта (симуляция)
Визуализация (анимации) процесса облёта
Визуализация (анимации) процесса облёта

Стек технологий

Расчетный модуль

Библиотека NumPy версии 1.18.2 обеспечивает возможность высокопроизводительных матричных вычислений, а также другие математические функции.

Библиотека Shapely версии 1.7.0 необходима для проведения расчётов над геометрическими плоскими объектами.

Библиотека GeoPy версии 1.22.0 предоставляет различные функции для расчётов, связанных с гео-координатами.

Библиотека Haversine 2.3.0 реализует функцию для расчёта расстояния между точками на геоиде с помощью формулы Хаверсина.

Библиотека Vincenty версии 0.1.4 реализует альтернативную формуле Хаверсина модель расчёта расстояние между точками на геоиде.

Библиотека PyProj версии 1.0.0.post1 решает задачу перевода гео-координаты между разными географическими проекциями. Поддерживаются все проекции стандарта EPSG (European Petroleum Survey Group).

Веб-модуль

разработан на базе Python веб-фреймворка Django версии 3.0.3. В качестве основы для API (интеграционной шины) используется фреймворк Django-REST-Framework версии 3.11.0. Доставка во время промышленной эксплуатации возможно посредством ПО Gunicorn, позволяющего проводить эффективное горизонтальное масштабирование и распределение нагрузки Django-приложений. Интерфейс написан на чистом стеке HTML+CSS+JS, основная библиотека компонентов/стилей – Bootstrap версии 4.3.1. Для отображения карт и географических слоёв используется Leaflet.js версии 1.6.0. Для отображения движущихся объектов – рендеринг-движок Pixi.js версии 5.1.6, а также Opensource решение для интеграции Pixi-объектов в рамки Leaflet.js карт L.PixiOverlay.js.

В результате выполнения задачи 6 разработан программный симулятор для оценки качества работы методов управления, классификации и идентификации (WP.2.1). Получена симуляционная среда, обеспечивающая визуализацию алгоритмов планирования полетов. Ожидаемые результаты достигнуты в полном объеме.

7 «Проведение испытаний прототипов систем планирования полетов, идентификации и классификации (WP 4,5)»

Оптимальные маршруты для двух типов облетов
Оптимальные маршруты для двух типов облетов
Формирование миссии
Формирование миссии
План облета в системе управления БПЛА
План облета в системе управления БПЛА
Карта вегетационного индекса растений
Карта вегетационного индекса растений
Пример решения задачи идентификации и классификации с помощью глубокой нейронной сети
Пример решения задачи идентификации и классификации с помощью глубокой нейронной сети

В результате выполнения задачи 7

проведено испытание вычислительного комплекса, решающего задачи планирования полетов, идентификации и классификации в реальных условиях.

Подготовлен протокол испытаний и протокол улучшения программного обеспечения. Подготовлен итоговый отчет  и документация программного обеспечения.

За весь период реализации проекта  опубликовано 2 (две) статьи и (или) обзора в рецензируемых  научных изданиях по научному направлению проекта, входящих во 2 (второй) квартиль в базе Web of Science и  имеющих процентиль по CiteScore в базе Scopus не менее 50 (пятидесяти), а также 2 статьи в рецензируемом зарубежном издании с ненулевым импакт-фактором;

получены акты внедрения в том числе в зарубежном ВУЗе (3 акта),

получено 2 свидетельства регистрации интеллектуальной собственности, разработан сайт проекта.

Ожидаемые результаты достигнуты в полном объеме.

Публикационная активность за 2022 год:

1.Elena Zaitseva, Vitaly Levashenko, Nicolae Brinzei, Andriy Kovalenko, Marina Yelis, Viktors Gopejenko and Ravil Mukhamediev. Reliability assessment of UAV fleets// Springer LNEE Book Project «Emerging Networking».-2022.-   p.26 (accepted for publication) monograph “Emerging Networks” for Springer LNEE Series   reliability_assessment_UAV_springer_last_2.1.docm https://www.dropbox.com/s/ez36mxuj7blzk8t/reliability_assessment_UAV_springer_last_2.1.docm?dl=0 https://www.dropbox.com/s/ttvpx0gwmrdpel2/Review_Chapter_19_Zaitseva_UAV.docx?dl=0

2.Mukhamediev R. I. et al. Review of Some Applications of Unmanned Aerial Vehicles Technology in the Resource-Rich Country //Applied Sciences. – 2021. – Т. 11. – №. 21. – С. 10171. https://doi.org/10.3390/app112110171 (CiteScore highest quartile = Q2, JCR — Q2, CiteScore =3.0, CiteScore highest percentile=71%, WoS IF=2.679)

3.Yan Kuchin, Jan Rabcan , A Symagulov , Ravil I. Mukhamediev , Bayangali Abdygalym, Nadiya Yunicheva and Elena Mukhamedieva. Calculation filtration coefficient using regression models//The 20th INTERNATIONAL SCIENTIFIC CONFERENCE INFORMATION TECHNOLOGIES AND MANAGEMENT 2022, April 21-22, 2022, ISMA University of Applied Science, Riga, Latvia.-C.27-28. https://www.dropbox.com/s/plnloy6tktyte61/11_ITM2022_Kuchin_Calculation%20filtration%20coefficient.pdf?dl=0

4.Symagulov, Y.Kuchin, Jan Rabcan, Ye.Kulakova, I. Assanov , R. Mukhamediev. Pretrained Deep Neural Network Models for Image Change Detection//The 20th INTERNATIONAL SCIENTIFIC CONFERENCE INFORMATION TECHNOLOGIES AND MANAGEMENT 2022, April 21-22, 2022, ISMA University of Applied Science, Riga, Latvia.-C.20-21. https://www.dropbox.com/s/4xuh5ytjvm5x78u/08_ITM2022_Symagulov_Pretrained%20Deep%20Neural%20Network%20Models.pdf?dl=0

5.Symagulov, I. Assanov, Y.Kuchin, Jan Rabcan, Ye.Kulakova, Bayangali Abdygalym. Video pre-processing for computer vision tasks using UAVs //The 20th INTERNATIONAL SCIENTIFIC CONFERENCE INFORMATION TECHNOLOGIES AND MANAGEMENT 2022, April 21-22, 2022, ISMA University of Applied Science, Riga, Latvia.-C.25-26. https://www.dropbox.com/s/isivvdkd7lo7fp5/10_ITM2022_Symagulov_Video%20preprocessing%20for%20computer%20vision.pdf?dl=0

6.Мухамедиев Р.И., Амиргалиев Е.Н. Введение в машинное обучение: Учебник. – Алматы, 2022. – 288 с. ISBN 978-601-08-1177-5 — https://geoml.info/%d0%ba%d0%bd%d0%b8%d0%b3%d0%b0/

7.Подготовлена публикация для журнала 1-го квартиля , которая находится на этапе рецензирования Ravil I. Mukhamediev et al. Coverage path planning optimization of heterogeneous UAVs group for precision agriculture//IEEE Access, 2022 (under review). https://www.dropbox.com/s/97sw747cjz4qg6f/IEEE_Access_Flight%20planning_format_v.1.63.docx?dl=0

Объекты авторского права

1.ЯКУНИН КИРИЛЛ ОЛЕГОВИЧ, Мухамедиев Равиль Ильгизович, Кучин Ян Игоревич, Сымагулов Адилхан, Асанов Ильяс Болатович. Информационная система для оптимизации плана облёта поля произвольной формы группой разнородных беспилотных летательных аппаратов с помощью генетического алгоритма. Свидетельство о внесении сведений в государственный реестр прав на объекты, охраняемые авторским правом № 27918 от «21» июля 2022 года, https://www.dropbox.com/s/inlu6bbugtng3vh/%D0%A1%D0%B2%D0%B8%D0%B4%D0%B5%D1%82%D0%B5%D0%BB%D1%8C%D1%81%D1%82%D0%B2%D0%BE-UAVT.pdf?dl=0

2.Мухамедиев Р.И., Амиргалиев Е.Н. Введение в машинное обучениею Учебник. Свидетельство о внесении сведений в государственный реестр прав на объекты охраняемые авторским правом № 28386 от 19 августа 2022 года. https://www.dropbox.com/s/xav2wuywqigt2m2/ML_Book_%D0%A1%D0%B2%D0%B8%D0%B4%D0%B5%D1%82%D0%B5%D0%BB%D1%8C%D1%81%D1%82%D0%B2%D0%BE.pdf?dl=0

Акты внедрения результатов исследований в учебный процесс и научные исследования зарубежем

1.Акт внедрения в учебный процесс КазНИТУ https://www.dropbox.com/s/5d82mm3exksmsep/Act_implementation_Education_IUAVT_SU.pdf?dl=0

2.Act_implementation_Research_IUAVT_Zhilina.pdf — https://www.dropbox.com/s/x00rb2pm1dt0j91/Act_implementation_Research_IUAVT_Zhilina.pdf?dl=0

3.Act_implementation_Education_IUAVT_Zhilina.pdf https://www.dropbox.com/s/40u6ketj28ruucc/Act_implementation_Education_IUAVT_Zhilina.pdf?dl=0

Рабочая группа проекта

Равиль Мухамедиев
Научный руководитель
Scopus ➔ ORCID ➔ Publications ➔

mukhamediev.ravil <Ω> gmail.com

Ян Кучин
Старший научный сотрудник
Scopus ➔ ORCID ➔ Publications ➔
Кирилл Якунин
Старший
научный сотрудник Scopus ➔ ORCID ➔ Publications ➔

Санжар Мурзахметов
Инженер-программист

ORCID ➔
Publications ➔
    Сымагулов Адилхан
Инженер
Scopus ➔
ORCID ➔
Publications ➔
Марина Елис
Младший научный сотрудник
Scopus ➔
ORCID ➔
Publications ➔
    Ильяс Асанов
Младший научный сотрудник

ORCID ➔
Publications ➔

Результаты 2021 года