知能行動情報学研究室

知能行動情報学研究室は、医療情報をテーマとし、病院情報システム、および、実世界のセンシングデータをもとに、医療従事者の行動理解、支援、行動変容を研究していきます。
2023-06-27
Visual Processing

実世界環境理解

人の意図は直接は計れません。医療現場で医療従事者の意図を理解するためには、彼らの行動を記録し、解析することでその意図を推定する必要があります。医療従事者の行動を解析するためには彼らが置かれている環境をセンシングし、さまざまな角度からその行動を解析することが必要不可欠です。実世界環境理解プロジェクトでは、環境センシングを画像解析技術を中心に進めていきます。

画像（動画）から環境の構造理解をするためのソフトウェアは多く、本研究プロジェクトでは以下の技術にまず焦点を当てて、研究を進めていきます。

1. SLAM

SLAM (Simultaneous Localization and Mapping, 自己位置推定と環境地図作成の同時実行) とは文字通り移動体の移動体の自己位置推定と環境地図作成を同時に行う技術の総称です。SLAMを活用することで、自動運転、自律移動ロボット（AGV）、ドローンなどをはじめとした移動体が未知の環境下での環境地図を作成し、自分がどこにいるのか、周辺がどうなっているのかを把握することができます。構築した地図情報を使って障害物などを回避しつつ、特定のタスクを遂行します。本研究室ではその中でも以下のVisualSLAMという技術をもとに実世界環境理解を進めます。

Visual SLAM

Visual SLAM(Simultaneous Localization and Mapping)は、カメラで撮影された映像から、環境(地図、場所)の3次元情報とカメラの位置姿勢を同時に推定する技術。カメラには、単眼カメラ、ステレオカメラ、RGB-Dカメラ(D=Depth、深度)などが利用されます。本研究室では、通常の単眼カメラ（アクションカメラやスマホに搭載されたカメラ）を用いて、地図作成と自己位置推定を進めていきます。以下のYoutube URLは、ORB SLAM3という有名なVSLAMの動作を紹介した動画です。

2. 姿勢推定

画像や動画から人間の体の姿勢を推定する技術のこと。特定のフレーム内の人間の体の各部位、特に関節（肘、膝、肩、腰など）の位置や向きを推定する技術。SLAMが環境地図を作成するために使用されるのに対して、この技術は環境内にいる人の動きを把握するために使われます。本研究室はMediaPipeというGoogle社がリリースしたソフトウェアを使って、姿勢推定、顔特徴点推定を行います。推定された姿勢情報を上記のVSLAMで作った地図上にマッピングすることで統合的な実環境理解を進めていくことを目指しています。

以下のYoutube URLは、OpenPoseという有名な姿勢推定ソフトウェアの動作を紹介した動画です。

3. オブジェクト認識

デジタル画像やビデオ内の特定のオブジェクト（例えば人、犬、車、椅子など）を自動的に検出・認識する技術のこと。本研究ではYoloという有名なオブジェクト認識ソフトウェアを用います。以下は、東大阪キャンパスE棟の2階の研究室スペースの通路の一角をオブジェクト認識してみた結果です。

image block
image block

オブジェクト認識の結果も、最終的にはVSLAMで作った地図上にマッピングすることで統合的な実環境理解を進めていくことを目指しています。

4. セマンティックセグメンテーション

画像の各ピクセルに対してラベルを割り当てるコンピュータビジョンのタスク。画像内のすべてのピクセルがどのオブジェクトクラス（人、犬、車、建物など）に属するかを予測します。以下は、オブジェクト認識を適用したのと同じ画像に対してセマンティックセグメンテーションを適用してみた結果です。ご覧の通り、廊下や天井、椅子、机といったオブジェクトが色分けして塗り分けられているということがわかります。

image block
image block

セマンティックセグメンテーションの結果も、最終的にはVSLAMで作った地図上にマッピングすることで統合的な実環境理解を進めていきます。

まとめ

実世界環境理解プロジェクトは、交通情報学研究室（多田研）との共同研究プロジェクトです。交通情報学研究室では、主に屋外（走行中の車から）の映像から環境理解を目指し、知能行動情報学研究室では逆に室内（病棟など）の映像からの環境理解を用います。屋内外の環境理解を上に紹介した様々な技術を統合して進めることで多角的な観点から構造的な環境情報を取得することができます。

実世界環境理解プロジェクトで得られた環境情報は、病棟内における看護師の行動推定や、病院の被災状況の理解などの防災用途への応用が期待されています。

提携
  • 本研究は、近畿大学情報学部情報学科 実世界コンピューティングコース交通情報学研究室との共同研究プロジェクトとして進めています。
  • 本研究プロジェクトの一部は以下の科研費のもと、実施されています。

    工学的・医学的見地から評価する地震被災地域における地域医療のクリフエッジ

    日本学術振興会 科学研究費助成事業 基盤研究(A) 基盤研究(A) 2021年4月 - 2025年3月

    倉田 真宏, 趙 晃済, 小島 紘太郎, 杉山 治, 藤田 皓平, 大鶴 繁, 金尾 伊織

Visual Processing