東北ドローンと東北大学タフ・サイバーフィジカルAI研究センター、AIやドローンを活用した山岳遭難者探索システム研究開発の報告

山岳遭難者の捜索をする「人」に焦点を置いたシステム研究開発

株式会社東北ドローン（本社：宮城県仙台市、代表：桐生俊輔）はこのたび、東北大学タフ・サイバーフィジカル AI研究センター（岡田佳都特任准教授、小島匠太郎特任助教、Ranulfo Bezerra特任助教らのグループ）との共同研究により、AIやドローンを活用した山岳遭難者探索システムを研究開発いたしました。

【プレスリリースの概要】
1.年2,500件以上発生する山岳遭難の解決を支援する、自動飛行ドローンと人検出AIを融合した「遭難者探索システム」を開発
2.ドローン電源投入から空撮、遭難者発見、クラウド経由の報告までを完全自動化
3.夜間、一部通信圏外のロボット競技会において性能を実証




[画像1: https://prtimes.jp/i/26407/7/resize/d26407-7-386a89017409fbbac841-4.png ]


＜現状の課題と解決策＞
・捜索コストとリスク
警察庁の統計によると、令和3年の山岳遭難の発生件数は 2,635件と過去2番目の多さであり、近年右肩上がりに増加しています。
また捜索する側の課題も顕在化しており、一度遭難が発生した場合には山間部を数日にわたり大人数で捜索するため、多大な運用費用に加えて捜索者側の安全リスクも高まることが考えられます。

様々な課題の解決を目標として、株式会社東北ドローン（以下：東北ドローン）と東北大学タフ・サイバーフィジカルAI研究センター（以下：東北大学TCPAI）は令和4年度に、ドローンを使った革新的な遭難者探索システムの共同研究に着手しました。

東北大学TCPAIでは、社会や産業の課題解決へ向けたロボットやAIの研究開発を行っています。

・「ドローン」×「熱画像カメラ」×「AIシステム」×「位置情報取得システム」
共同研究では、東北ドローンのドローンの運用ノウハウと東北大学TCPAIの研究実績を掛け合わせて、実践的なシステムの開発を目指しました。

開発したシステムでは事前に設定した範囲をドローンが自動航行し、熱画像カメラの映像から自動で人らしき箇所を捉え、その位置座標を送信します。

空から捜索する中で、人らしきものを見つけた場合、その位置情報を伝えるという流れを捜索と一貫して行います。
「見つけるだけ、飛ばすだけ」ではない、統合的なシステムの開発となります。

具体的には、ドローンが離陸後に赤外線カメラを使用して赤外線映像を撮影します。
次に、白黒の赤外線映像から、周囲の環境よりも温度が高い（色が白い）、人の特徴をもった形状をAIが認識します。
そして、動画を画像に切り分けて、AIが認識した物体に関する位置情報を計算して、着陸後または上空利用が可能なSIMカードを搭載した端末にて拠点に送信します。

ドローンによるデータ取得は膨大な撮影枚数になりがちなのですが、送信されるデータは、全体のうちAIが認識した部分のみのデータになるため、データ確認が容易となります。
共同研究では、東北ドローンが機体や通信の、東北大学TCPAIが遭難者検出や位置特定技術の開発を主に担当しました。
[画像2: https://prtimes.jp/i/26407/7/resize/d26407-7-671f7ff803d5f294d40a-10.png ]


・物体検出AI
映像中から人を検知するために、YOLOv7という物体検出AIモデルを採用しました。
YOLOv7に上空から人を撮影した赤外線画像を使った独自のチューニングを施すことで、検出機能を実現し、
チューニング後のYOLOv7では、赤外線画像から人らしき物体を検出し、矩形（長方形）とテキストで表示します。
[画像3: https://prtimes.jp/i/26407/7/resize/d26407-7-d087e62fa732e190070e-2.png ]



＜研究開発の方向性＞
・課題を解決する捜索者（人）ためのシステム
捜索者にとって安全なしくみが生まれると、昼夜を問わない持続可能な捜索が可能となる未来になると考え、
捜索者（人）の為に寄与するテクノロジーを使用した課題解決を検討しました。

東北ドローンの強みであるドローンを使った、空から遭難者を捜索するシステムを開発することで、人が現場に赴いて捜索するリスクを減らしつつ、遭難者の早期発見に貢献することができると考えました。
そこでドローンの電源投入から飛行、分析者へのデータ送信まで、人の介入が少しでも少なくなるようなシステムの開発を検討しました。
[画像4: https://prtimes.jp/i/26407/7/resize/d26407-7-dd1f8e6973b88dcff0cc-9.png ]


・画像認識AIと位置座標推定システムを組み合わせ、山岳遭難者探索システムを開発
既存の製品の組み合わせでは自動で物体を見つけることは困難で、仮に発見したとしても、映像中から物体の場所を特定することが難しいため、自動で人を検知し、その場所を推定するシステムを目指すとともに夜間の捜索も可能とするために、熱画像カメラを採用しました。


＜ジャパン・イノベーション・チャレンジ2022＞
・実際の現場でシステムを検証
実用的なシステムを目指して開発する中で、検証する機会を得ました。

北海道の上士幌町でジャパン・イノベーション・チャレンジ2022（以下、JIC2022）という、遭難者救助のテクノロジーを競うロボットコンテストが開催されることとなりました。

「東北ドローンと東北大QuixAir」というチーム名のもと、コンテストの課題のひとつである「発見」に注力し参加しました。

コンテストでは実際の山間部に捜索対象となる人の体温を模した人形（模擬被災者、以下：マネキン）が複数体設置されます。
マネキンの位置情報は出場者には伝えられないルールとなっており、出場者は夜間にロボットを使ってマネキンを捜索します。

開発にあたって、標高差がある広大な山間部に設定された場所での自動航行や、夜間飛行、遠隔地での離発着管理など非常に多くの障壁がありました。
急ピッチで共同開発を行い、JIC2022までに間に合わせることができ、課題に挑戦することが可能となりました。
[画像5: https://prtimes.jp/i/26407/7/resize/d26407-7-c0aa667829477cd489b2-0.jpg ]

[画像6: https://prtimes.jp/i/26407/7/resize/d26407-7-9e7c03739bbb41b8bf68-1.jpg ]


・AIが遭難者を検知し近しい位置を検知
コンテスト中、完成したばかりのシステムは数々の困難に直面しました。

地形による伝送の乱れや低温など、自然の影響を多く受け、制限時間内の課題達成はなりませんでした。

一方で、後の検証で、自動航行から帰還したドローンはターゲット（マネキン）らしき物体を検知していたことが分かり、捉えたターゲットは正解で、推定した位置座標も誤差が少ないことが判明しました。

それでも課題はまだ多くあり、コンテスト後も引き続き共同研究を続けました。
[画像7: https://prtimes.jp/i/26407/7/resize/d26407-7-aea69cc6f12b75f0c468-6.png ]

[画像8: https://prtimes.jp/i/26407/7/resize/d26407-7-ca6d3d636b64a691d97b-8.png ]


・福島ロボットテストフィールドにてJIC2022での課題を踏まえた実験の実施
JIC2022で模擬被災者（マネキン）を検知したシステムの性能を定量的に評価することで、システム改善の具体的な方向性を見出すことができます。そのため、令和5年の1月に福島ロボットテストフィールド（以下、福島RTF）
内で、JIC2022と同様の模擬被災者（マネキン）を配置して、再度システムの運用を行い、そこで取得したデータをもとに検証を行いました。

ここでは、AIの評価指標を求めることができました。具体的には再現率と適合率です。陽性と陰性をそれぞれ、真陽性、偽陽性、真陰性、偽陰性のように細分化した数値から計算して求められる数値です。

再現率は、検出すべき物体のうち、正しく検出された物体の割合を表しています。偽陰性を考慮して、見逃しをなるべく抑えたいときに有用な評価指標です。

適合率は、システムが検出した物体のうち、正しく検出された物体の割合を表しています。誤検知などをなるべく抑えたいときに有用な評価指標です。

＜検証結果について＞
福島RTFで複数回取得したデータを東北大学TCPAIが分析を行いました。

分析結果として、全体の再現率は50.9％で、適合率は90.5％となりました。これらの評価指標は、目安となるような絶対的な数値基準はなく、あくまで相対的な評価としてAIの精度を検証するために用いられます。

適合率の90.5％は高く、AIは陽性と検知した物体の9割が正しい結果であったことを示しています。

一方で、再現率の50.9％はまだまだ改善の余地があることを示していると見てとれます。これは陽性全体のうち、AIは約半数の陽性を陰性と判断していると言い変えることができます。
[画像9: https://prtimes.jp/i/26407/7/resize/d26407-7-eeaccf192c02df82251c-3.png ]



＜今後へ向けて＞
・システムの精度を向上させる必要性
JIC2022や福島RTFの検証を通して、2つの課題が浮き彫りになりました。

まず、AIの推定による再現率の向上です。
再現率とは、見逃しをなるべく抑えたいときに使う指標です。
再現率を上げることで、飛行ルート内の遭難者を見逃さないシステムへ近づくことになりますが、現時点ではAIの追加学習が必要となっています。

次に、探索システムの精度向上です。
熱画像カメラに付随するパラメータや、ドローンのタイムスタンプの取得によって、より正確な位置推定につながるデータの取得が可能となりますが、現在使用しているカメラの技術的な分析などが必要となっています。

・実用へ向けた研究開発
東北ドローンと東北大学タフ・サイバーフィジカルAI研究センターでは、山岳遭難者の早期発見が実現可能な社会へ向かって、これからも研究を続けていきたいと考えております。

今回の研究は、ビジネスよりも社会的な意義を重視し、東北大学TCPAIとの共同研究を実施いたしましたが、研究開発を持続させるためには多くの資金が必要となります。

現在の課題であるAIや位置座標特定システムの精度向上へ向けて、東北ドローンでは、ドローンやAIによる遭難救助支援システムの向上への取り組みをご支援いただけるスポンサー様などを募集しております。

ご興味ある方は是非お気軽にご連絡くださいませ。


【問合せ先】
https://www.tohoku-drone.jp/
株式会社東北ドローン
担当：桐生・中里
info@tohoku-drone.jp

http://tcpai.tohoku.ac.jp/
国立大学法人東北大学
タフ・サイバーフィジカルAI研究センター
担当：岡田佳都
okada@rm.is.tohoku.ac.jp

PR TIMESプレスリリース詳細へ