Разработка и адаптация методов компьютерного зрения и машинного обучения для решения задач точного земледелия с применением беспилотных летательных систем (AP14869972 )

Проект направлен на решение задач мониторинга для поддержки технологий точного земледелия. В процессе выполнения проекта будут разработаны методы компьютерного зрения и машинного обучения для решения задач классификации и идентификации изображений, в том числе мультиспектральных, полученных с помощью БПЛА. Решаемые задачи: классификация сорняков, идентификация стрессов полезных растений.  В ходе реализации проекта будут воссозданы факторы, мешающие развитию полезных растений, созданы значительные по объему наборы размеченных изображений и обучены модели, в том числе глубокие нейронные сети, с помощью которых упомянутые задачи будут решены.

Цель проекта:

Разработать и адаптировать методы компьютерного зрения и машинного обучения для решения задач точного земледелия путем обработки данных и изображений, полученных с помощью беспилотных летательных систем.

Задачи проекта:

  1. Разработка многофункциональной программно-аппаратной системы по сбору и предобработке изображений и данных с целью решения задач точного земледелия;
  2. Формирование опытной площадки по воспроизведению негативных факторов, влияющих на процессы точного земледелия;
  3. Формирование наборов данных для решения задач точного земледелия с применение машинного обучения и БПЛА;
  4. Разработка методов идентификации и классификации негативных факторов c целью оценки их влияния на развитие полезных растений;
  5. Экспериментальная оценка разработанных методов и формирование отчетности.

Основные объекты исследований и экспериментов показаны на рисунке:

 

Результаты:

  1. Разработан прототип многофункциональной программно-аппаратной системы по сбору и предобработке изображений и данных с целью решения задач точного земледелия. Прототип включает беспилотную летательную платформу с элементами подвеса, включающую систему точного позицирования грузоподьемностью до 1 кг и программное обеспечение по обработке снимков, получаемых с помощью данной платформы. ПО включает в разной степени готовности функции чтения данных(загрузки снимков разных спектральных диапазонов), функции предобработки изображений и расчета спектральных индексов, функции тренировки моделей машинного обучения, функции формирования карты.
  2. Создано четыре опытных участка площадью 135 м2 каждый, в сумме участки составляют 540 м2. На участках посажена сахарная свекла. Негативные факторы:
    1. Первый участок реализует собой дефицит удобрений в почве;
    2. Второй участок реализует отсутствие обработки от сорняков;
    3. Третий участок реализует дефицит влаги (полива);
    4. Четвертый участок содержит все три предыдущих негативных фактора.
  3. Размечено 300+ фотографий соевого поля на первом этапе роста. На каждом фото индивидуально выделяются сорные растения и полезная культура (соя). Сорных растений 9-10 видов (Amaránthus retrofléxus, Convolvulus arvensis, Setaria glauca, Xanthium strumarium, Cirsium arvense, Echinochloa crusgalli, Hibiscus trionum, Abutilon theophrasti, Chenopodium album, Apera spica-venti), полезная культура одна (Glycine max).
  4. Разработан прототип метода идентификации сорных растений нескольких видов. Проводятся работы по повышению точности разработанных методов и их экспериментальной апробации.

Публикации:

  1. Mukhamediev, R.; Amirgaliyev, Y.; Kuchin, Y.; Aubakirov, M.; Terekhov, A.; Merembayev, T.; Yelis, M.; Zaitceva, E.; Levashenko, V.; Popova, Y.; Symagulov, A.; Tabynbayeva, L. Operational Mapping of Salinization Areas in Agricultural Fields Using Machine Learning Models Based on Low-Altitude Multispectral Images. Drones 2023, 7, 357. https://doi.org/10.3390/drones7060357(Scopus: Q1, 75%, WoS: Q2, IF:4.8)
  2. Zaitseva, E., Levashenko, V., Mukhamediev, R., Brinzei, N., Kovalenko, A., & Symagulov, A. (2023). Review of Reliability Assessment Methods of Drone Swarm (Fleet) and a New Importance Evaluation Based Method of Drone Swarm Structure Analysis. Mathematics, 11(11), 2551. https://www.mdpi.com/2227-7390/11/11/2551
  3. Mukhamediev R. I. Yakunin, K., Aubakirov, M., Assanov, I., Kuchin, Y., Symagulov, A., Levashenko V., Zatceva E., Sokolov D., Amirgaliyev, Y. . Coverage path planning optimization of heterogeneous UAVs group for precision agriculture //IEEE Access. – 2023. – Т. 11. – №. 15. – С. 5789-5803, doi: 10.1109/ACCESS.2023.3235207, https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10011226 (Scopus Quartile: Q1, 90%, JCR Category Quartile: Q2, WoS IF=3.476)
  4. Zaitseva, E., Levashenko, V., Brinzei, N., Kovalenko, A., Yelis, M., Gopejenko, V., & Mukhamediev, R. (2023). Reliability Assessment of UAV Fleets. In Emerging Networking in the Digital Transformation Age: Approaches, Protocols, Platforms, Best Practices, and Energy Efficiency(pp. 335-357). Cham: Springer Nature Switzerland. https://www.researchgate.net/profile/Elena-Zaitseva-2/publication/369409989_Reliability_Assessment_of_UAV_Fleets/links/641d5db6a1b72772e42293f8/Reliability-Assessment-of-UAV-Fleets.pdf
  5. Mukhamediev Ravil, Merembayev Timur, Symagulov Adilkhan, Kuchin Yan, Jan Rabcan. Determination of soil salinity using a UAV// The 21st INTERNATIONAL CONFERENCE INFORMATION TECHNOLOGIES AND MANAGEMENT 2023, April 20-21, 2023, ISMA University of Applied Sciences, Riga, Latvia
  6. Symagulov Adilkhan, Kuchin Yan, Jan Rabcan, Nadezhda Nikitina, Ravil Mukhamedyev, Laila Tabynbaeva. Unmanned aerial platform prototype with a multifunctional hardware and software system for acquiring and processing images and data for precision agriculture// The 21st INTERNATIONAL CONFERENCE INFORMATION TECHNOLOGIES AND MANAGEMENT 2023, April 20-21, 2023, ISMA University of Applied Sciences, Riga, Latvia
  7. Symagulov Adilkhan, Kuchin Yan, Jan Rabcan, Laila Tabynbaeva. Using UAVs and machine learning to generate plotted data sets for precision farming// The 21st INTERNATIONAL CONFERENCE INFORMATION TECHNOLOGIES AND MANAGEMENT 2023, April 20-21, 2023, ISMA University of Applied Sciences, Riga, Latvia