Разработка и адаптация методов компьютерного зрения и машинного обучения для решения задач точного земледелия с применением беспилотных летательных систем (AP14869972)

Проект направлен на решение задач мониторинга для поддержки технологий точного земледелия. В процессе выполнения проекта будут разработаны методы компьютерного зрения и машинного обучения для решения задач классификации и идентификации изображений, в том числе мультиспектральных, полученных с помощью БПЛА. Решаемые задачи: классификация сорняков, идентификация стрессов полезных растений.  В ходе реализации проекта будут воссозданы факторы, мешающие развитию полезных растений, созданы значительные по объему наборы размеченных изображений и обучены модели, в том числе глубокие нейронные сети, с помощью которых упомянутые задачи будут решены.

Цель проекта

Разработать и адаптировать методы компьютерного зрения и машинного обучения для решения задач точного земледелия путем обработки данных и изображений, полученных с помощью беспилотных летательных систем.

Задачи проекта

  1. Разработка многофункциональной программно-аппаратной системы по сбору и предобработке изображений и данных с целью решения задач точного земледелия;
  2. Формирование опытной площадки по воспроизведению негативных факторов, влияющих на процессы точного земледелия;
  3. Формирование наборов данных для решения задач точного земледелия с применение машинного обучения и БПЛА;
  4. Разработка методов идентификации и классификации негативных факторов c целью оценки их влияния на развитие полезных растений;
  5. Экспериментальная оценка разработанных методов и формирование отчетности.

Основные объекты исследований и экспериментов показаны на рисунке:

 

Результаты

3. Разработан прототип многофункциональной программно-аппаратной системы по сбору и предобработке изображений и данных с целью решения задач точного земледелия. Прототип включает беспилотную летательную платформу с элементами подвеса, включающую систему точного позицирования грузоподьёмностью до 1 кг и программное обеспечение по обработке снимков, получаемых с помощью данной платформы. ПО включает в разной степени готовности функции чтения данных(загрузки снимков разных спектральных диапазонов), функции предобработки изображений и расчета спектральных индексов, функции тренировки моделей машинного обучения, функции формирования карты. Было разработано ПО для создания карт сельскохозяйственных полей сверхвысокого разрешения (4K) и ПО создающее наикратчайший маршрут для группы дронов пригодный для автоматического облёта сельскохозяйственных полей.

В видео показана склейка фото для:

  • 100 снимков с одного облета поля сои. Параметры склейки: объем — 860Mb, время выполнения — 15 сек, пик использования ОЗУ — 3,36Gb
  • 395 снимков со второго облета поля сои. Параметры склейки: объем — 3.8Gb, время выполнения — 75.88 сек, пик использования ОЗУ — 7,11Gb.

4. В результате выполнения задачи создано пять опытных площадок общей площадью 1260 м2 (каждый 252 м2) реализующих различные негативные факторы, влияющие на процессы точного земледелия. На площадках посажена сахарная свекла сорта гибрид Абулхаир. 

    Первый участок представляет собой наилучшие условия для роста культуры; 
    Второй участок содержит дефицит удобрений; 
    Третий участок реализует отсутствие обработки от сорняков; 
    Четвертый участок реализует дефицит влаги (полива) ;
    Пятый участок. содержит все три упомянутых негативных фактора.

5. В результате выполнения задачи размечены более 500 фотографий полей сахарной свеклы и сои. На каждом фото индивидуально выделяются сорные растения и полезные культуры (сахарная свекла, соя). Сорных растений 10 видов (Amaránthus retrofléxus, Convolvulus arvensis, Setaria glauca, Xanthium strumarium, Cirsium arvense, Echinochloa crusgalli, Hibiscus trionum, Phragmites australis, Abutilon theophrasti, Cuscuta), две полезных культуры (Свекла (Beta vulgaris), Соя (Glycine max)).

6. Разработан прототип метода идентификации сорных растений нескольких видов. Проводятся работы по повышению точности разработанных методов и их экспериментальной апробации.

В рамках решения задачи идентификации и классификации негативных факторов, влияющих на развитие полезных растений был разработан метод распознавания полезных и сорных растений на полях сои и сахарной свеклы, была обучена нейронная сеть Yolo v7. 
    Точность распознавания для поля сои: Glycine max (соя) 87%, Amaranthus retroflexus (ширица) 77%, Convolvulus arvensis (вьюнок) 89%, Setaria glauca (щетинник) 88%, Xanthium strumarium (Дурнишник)  88%, Cirsium arvense (осот) 94%, Hibiscus trionum (гибискус) 86%, Abutilon theophrasti (канатник) 82%.            Точность распознавания для поля сахарной свеклы: (Beta vulgaris (сахарная свекла) 90%, Convolvulus arvensis (вьюнок) 75%, Hibiscus trionum (гибискус) 74%, Phragmites australis (тростник) 77%, Abutilon theophrasti (канатник) 85%, Cuscuta (повилика) 71%.

Публикации

  1. Mukhamediev, R.; Amirgaliyev, Y.; Kuchin, Y.; Aubakirov, M.; Terekhov, A.; Merembayev, T.; Yelis, M.; Zaitceva, E.; Levashenko, V.; Popova, Y.; Symagulov, A.; Tabynbayeva, L. Operational Mapping of Salinization Areas in Agricultural Fields Using Machine Learning Models Based on Low-Altitude Multispectral Images. Drones 2023, 7, 357. https://doi.org/10.3390/drones7060357(Scopus: Q1, 75%, WoS: Q2, IF:4.8)
  2. Zaitseva, E., Levashenko, V., Mukhamediev, R., Brinzei, N., Kovalenko, A., & Symagulov, A. (2023). Review of Reliability Assessment Methods of Drone Swarm (Fleet) and a New Importance Evaluation Based Method of Drone Swarm Structure Analysis. Mathematics, 11(11), 2551. https://www.mdpi.com/2227-7390/11/11/2551
  3. Mukhamediev R. I. Yakunin, K., Aubakirov, M., Assanov, I., Kuchin, Y., Symagulov, A., Levashenko V., Zatceva E., Sokolov D., Amirgaliyev, Y. . Coverage path planning optimization of heterogeneous UAVs group for precision agriculture //IEEE Access. – 2023. – Т. 11. – №. 15. – С. 5789-5803, doi: 10.1109/ACCESS.2023.3235207, https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10011226 (Scopus Quartile: Q1, 90%, JCR Category Quartile: Q2, WoS IF=3.476)
  4. Zaitseva, E., Levashenko, V., Brinzei, N., Kovalenko, A., Yelis, M., Gopejenko, V., & Mukhamediev, R. (2023). Reliability Assessment of UAV Fleets. In Emerging Networking in the Digital Transformation Age: Approaches, Protocols, Platforms, Best Practices, and Energy Efficiency(pp. 335-357). Cham: Springer Nature Switzerland. https://www.researchgate.net/profile/Elena-Zaitseva-2/publication/369409989_Reliability_Assessment_of_UAV_Fleets/links/641d5db6a1b72772e42293f8/Reliability-Assessment-of-UAV-Fleets.pdf
  5. Mukhamediev Ravil, Merembayev Timur, Symagulov Adilkhan, Kuchin Yan, Jan Rabcan. Determination of soil salinity using a UAV// The 21st INTERNATIONAL CONFERENCE INFORMATION TECHNOLOGIES AND MANAGEMENT 2023, April 20-21, 2023, ISMA University of Applied Sciences, Riga, Latvia
  6. Symagulov Adilkhan, Kuchin Yan, Jan Rabcan, Nadezhda Nikitina, Ravil Mukhamedyev, Laila Tabynbaeva. Unmanned aerial platform prototype with a multifunctional hardware and software system for acquiring and processing images and data for precision agriculture// The 21st INTERNATIONAL CONFERENCE INFORMATION TECHNOLOGIES AND MANAGEMENT 2023, April 20-21, 2023, ISMA University of Applied Sciences, Riga, Latvia
  7. Symagulov Adilkhan, Kuchin Yan, Jan Rabcan, Laila Tabynbaeva. Using UAVs and machine learning to generate plotted data sets for precision farming// The 21st INTERNATIONAL CONFERENCE INFORMATION TECHNOLOGIES AND MANAGEMENT 2023, April 20-21, 2023, ISMA University of Applied Sciences, Riga, Latvia
  8. Mukhamediev, R.I.; Merembayev, T.; Kuchin, Y.; Malakhov, D.; Zaitseva, E.; Levashenko, V.; Popova, Y.; Symagulov, A.; Sagatdinova, G.; Amirgaliyev, Y. Soil Salinity Estimation for South Kazakhstan Based on SAR Sentinel-1 and Landsat-8,9 OLI Data with Machine Learning Models. Remote Sens. 2023, 15, 4269. https://doi.org/10.3390/rs15174269