목초지 잡초 관리 전달!무인기를 이용한 농업 대책

개시하다
안녕하세요@dcm_yamaya
NTT도코모 R&D 어드벤트 캘린더의 2022일 보도다.
올해 달력이 두 개라니!부디음식을 드셔 보세요!
필자의 평소 업무는 이미지 식별과 테두리 계산을 담당하는 기술 분야이다.
advent 달력이 3년째인데 과거 기사도 꼭 봐야 해요.

달력

Jetson 및 TensorRT를 통한 이미지 인식 속도 향상 2019

올해는 농업 AI 관련 기술을 소개하고 싶다.세계에서도 애그리텍이라 불리는 분야죠.
농업 AI에 대한 조치도 일부 있지만, 이번에는 이미지 인식 기술을 개발하는 농업용 드론의 활용에 관해 쓰려고 한다.
잡초 관리 효율화 활용
홋카이도의 치즈 목축업은 품질이 좋은 목초를 생산하기 위해 중요한 잡초 관리 과제가 있다.매우 넓은 지반에서는 잡초가 어느 위치에서 얼마나 무성한지 순회적으로 확인하지만, 일손 부족이 심각한 상황에서 시간을 충분히 활용하지 못하는 사회적 과제가 있다.
이 과제에 대해 드론과 이미지인식 기술을 활용해 보다 효율적인 목초 생산에 기여할 수 있는지를 고려해 드론 이미지에 대한 이미지인식 기술을 개발했다.
따라서 지금까지 인공적으로 진행된 순회와 실제 잡초를 제거하는 제초제 살포를 획기적으로 성력화해 효율적인 목초 생산을 실현함으로써 심각한 일손 부족과 취업자의 노동부하 등 사회문제를 해결하고자 한다.
앞으로 이미지 식별 기술과 개발 중인 시스템을 소개하고 싶습니다.
드론 시스템 및 사용 방법
NVIDIA Triton Inference Server로 추론
우선 실제 무승부에 쓰이는 시스템부터 소개한다.최근에도 탱크에 제초제를 쌓아 살포할 수 있는 드론이 등장해 이 시스템을 이용해 잡초의 바늘을 살포할 수 있다.다음 그림과 같이 2단계로 구성됩니다.
STEP1: 이미지 인식을 통한 감지
1단계로 먼저 무인기를 바탕으로 한 이미지 촬영과 이 이미지에 대한 이미지 식별을 실시한다.
무인기의 자동 비행과 촬영 시스템을 개발해 목초지의 영상을 촬영했다.촬영 위치는 비행 전 시스템 내에서 지정된 것처럼 자동 비행하기 때문에 사용자는 무인기를 운전할 필요가 없다.
촬영한 이미지를 이미지 식별 플랫폼에 제공한 후 이미지 식별 처리를 하여 목초지 내 잡초의 위치를 확정한다.상기 자료에서 핑크색 테두리로 weed1.00을 표시한 것은 새우개구리라고 불리는 잡초다.
목초지의 이미지 전체에 대해 이것을 실시하면 시스템에서 목초지 전체의 감지, 즉 잡초의 분포 상황을 파악할 수 있다.
STEP2: 제초제를 뿌리는 동작
이어 2단계로 이미지 인식을 통해 확정된 잡초의 위치에 대해 제초제를 건너뛰고 드론을 살포하고, 잡초가 있는 위치에만 바늘로 제초제를 뿌린다.
제초제 산포 무인기는 비행과 산포가 자동으로 실행되기 때문에 사용자가 조작할 필요가 없다.그래서 비행하는 모습만 감시하면 된다.
드론의 목초 관리를 활용한 구조다.
무인 비행기 x 이미지 식별 기술
나는 이 절에서 1단계의 이미지 식별과 관련되고 싶다.
실제 무인기 이미지에 대해 이미지 식별을 실시한 결과는 다음과 같다.

이미지 식별 기술에서 물체 검측이라고 불리는 모델을 학습함으로써 비동기적인 위치를 확정한다.
학습과 추론의 처리
모형 학습에서는 드론 이미지가 5K 크기이기 때문에 그렇게 학습시키면 이미지가 붕괴돼 제대로 배우지 못한다.
따라서 이 예에서 그림을 가로 9×세로 6의 격자로 나누어 격자 이미지로 학습한다.
목초와 비교하면 엽록기서의 색이 거의 같고 잎의 모양 특징만 있어 초기 학습에서는 식별이 어려웠으나 초기 학습에서는'제작'으로 불리는 이미지 처리로 생성된 데이터를 포함해 정교함을 높였다.
모형의 개량과 데이터의 방법을 계속하고 그물을 뛰어넘는 잡초의 통합 부분도 완성했다.
물론 공부할 때'패러디'로 불리는 정확한 데이터를 만드는 것이 중요한데 이곳은 인공적으로 실시된 것이다.
학습 모델의 추론(식별 처리)에서 각 그물칸, 특히 잡초가 많은 곳은 빨간색으로 투과하고 조금 많은 곳은 파란색으로 투과하여 잔디의 질을 가시화시켰다.이렇게 되면 제초제는 빨간 곳에만 있거나 빨간색과 파란색 두 자리에만 제초제를 뿌려 바늘로 제초를 한다.
드론의 촬영 고도는 보통 25m 정도다.
- 가능한 한 높은 곳에서 촬영해서 한 장의 이미지로 포착
- 하지만 너무 높으면 이미지 인식이 어려워
- 제초제의 분포 폭도 고려해야 한다
이런 3시에 같이 결정했어요.
이미지 식별을 바탕으로 한 제초제 산포

이러한 이미지 인식 결과 2단계로 진행된 제초제로 흩어진 것은 위 사진이다.
제거하고 싶은 잡초는 실제 뿌리고 2주 뒤 상태를 확인하면 충분히 살포 효과를 볼 수 있다.
끝말
목초지의 잡초 관리에 무인기를 활용하는 배합에 대해 이번에 소개했다.
앞으로도 이미지 인식 정밀도를 높이고 농가가 보다 편리하게 이용할 수 있도록 노력하겠다.