脳卒中は高齢者にとって命に関わる深刻な病気です。しかし、脳卒中の予兆を早期に検知できれば、多くの命を救える可能性は高まります。
時間との戦いである脳卒中では、迅速な対応が回復の鍵を握ります。近年のAI技術やロボット技術の進化により、脳卒中の予兆をこれまでよりも早期に検知できる可能性が高まりつつあります。
脳卒中の兆候を見逃さないために、どのような技術が使われているのか、長崎大学の小林透教授にAIロボット「ロボホン」を用いた脳卒中予兆検知システムについて詳しく伺いました。
小林 透 / toru kobayashi
長崎大学 大学院工学研究科 教授
【プロフィール】
1985東北大・工・精密機械卒.1987同大大学院工学研究科修士課程了.同年NTT入社.以来,ソフトウェア生産技術,情報セキュリティ、データマイニング、Web技術などの研究開発に従事。1998から2002までドイツ、デュッセルドルフに駐在し欧州研究機関とWeb技術、セキュリティ技術に関する共同研究開発、およびスマートカードに関する標準化活動に従事.2013から長崎大学大学院工学研究科教授、2017から2022まで情報担当副学長,IEEE(シニア),電子情報通信学会(シニア),情報処理学会(シニア)各会員、博士(工学).
脳卒中予兆検知システムの仕組み
KL:はじめに、脳卒中予兆検知システムの仕組みについて教えていただけますか。
小林氏:はい、脳卒中予兆検知システムでは、シャープ社の「ロボホン」というロボットを活用しています。ロボホンは、スマートフォン機能を持つ小型ロボットでSIMが内蔵されているため、無線LANや携帯のネットワークに接続できます。我々は、シャープ社が提供するソフトウェア開発キット(SDK)により、ロボホンの独自プログラムを開発し、特定の動作や機能を実行させています。
脳卒中予兆検知システムの中心には「ソーシャルメディア仲介システム」と呼ばれるクラウドサーバーがあり、サーバー上で稼働するプログラムが、ロボホンと通信しながら脳卒中の予兆検知を行います。
ロボホンは、手を動かしたり歩行ができる他に、カメラ機能や音声合成機能が搭載されています。ロボホンが行う脳卒中の検知プロセスは以下の通りです。
- ロボホンが対象者の動画を撮影
- 撮影した動画をサーバーに送信
- サーバー上のAIが動画を分析・解析
- 脳卒中の予兆の有無を判断
予兆が検出された場合、ロボホンを通じて本人に通知したり、LINEを通して家族に連絡する仕組みになっています。
KL:ロボホンはどのように脳卒中の予兆検知を行うのでしょうか。
小林氏:実際の動作をデモビデオでご覧いただくとイメージが湧くと思います。
ロボホンは手のひらのるくらいの大きさで、ロボホンの目の前に座っている人を脳卒中かどうかを判断します。ロボホンには特定の音声コマンドがあり、特定の音声コマンドを言うとロボホンのプログラムが起動する仕組みです。
例えば、「腕」というコマンドを言うと、我々が作った特定のプログラムが動き始めます。ロボホンが行う実際の脳卒中予兆検出の流れは、先ほど説明した通りです。
ソーシャルメディア仲介システムの役割
KL:脳卒中予兆検出システムの「ソーシャルメディア仲介システム」とはどのようなものなのでしょうか。
小林氏:ソーシャルメディア仲介システムは、LINEなどのメッセージ交換を仲介するロボットのことを指します。ソーシャルメディア仲介システムの技術を応用して、認知症や脳卒中の検知に使えないかと考えたのが今回の研究です。
ソーシャルメディア仲介システムでは、例えば、高齢者がロボットと音声で会話をすると、ロボットとの音声がテキストに変換され、離れた家族にLINEメッセージとして送られます。反対に家族がLINEでテキスト入力して送ると、高齢者側のロボットが音声で高齢者に話しかけるというシステムです。
脳卒中予兆検知システムにおけるソーシャルメディア仲介システムの主な役割は伝達機能です。ロボットが脳卒中の可能性を判断した結果をLINEで家族に伝える際に利用されます。つまり、ソーシャルメディア仲介システムには2つの大きな機能があります。
1. LINEのメッセージを交換する機能
2. 動画から脳卒中かどうかを判定する機能
これらの機能を組み合わせて、ロボホンから送られてきた動画を分析し、脳卒中かどうかを判定し、判定結果をソーシャルメディア仲介機能を使ってメッセージで送るという仕組みになっています。
CPSSとAIによる脳卒中検知の技術
KL:脳卒中予兆検知システムの実際の利用例や、使用した人の満足度などについて教えていただけますか。
小林氏:まず、脳卒中の簡易的な判断指標として、シンシナティ病院脳卒中スケール(CPSS)があります。CPSSには以下の3つの項目があります。
- 顔面の下垂:脳卒中になった場合、顔の半分が少し歪んで左右非対称になることがあります。
- 上肢の偏倚:腕を前に出した時に、脳卒中の予兆がある人は片方の腕が下がってしまうことがあります。
- 言語障害:特に「ら行」の発音がうまくできなくなることがあります。
我々のロボホンシステムでは、このうち2番目と3番目の項目を実装しています。腕の上げ方の左右差をAIが検知し、「るり色の針も照らせば光る」という文章を被験者に発音してもらい、正しく音声認識できるかどうかで言語の問題を判定しています。顔の非対称性の検出については現在実装していません。
また、満足度などの評価については、実際の脳卒中患者での試験は倫理的・実践的な理由から難しいため、研究室内での評価を行っています。健康な被験者に対して、インターフェースの使いやすさやシステムの理解しやすさなどの評価を実施しています。
実際の患者での評価ができていない理由としては、研究費の問題や、実際の脳卒中患者を対象とした評価の難しさがあります。また、脳卒中予兆検知システムは100%の精度で脳卒中を判断できるわけではないため、実際の医療現場での使用には慎重を期する必要があります。
KL:今後、顔の非対称性の検出についても実装されるのでしょうか。
小林氏:はい、技術的には可能だと思っています。先ほどの腕の右左差判定に「OpenPose」というソフトウェアを使用しています。OpenPoseは体の動きを検知でき、腕や肘、肩などの関節をポイントとして認識しています。
顔の表情分析にも「OpenFace」というソフトウェアを使用すれば、表情の数値化が可能です。笑顔、怒り、口角の下がり、目のつり上がりなどを検知でき、脳卒中の予兆の一つである顔の表情変化も定量化できると考えています。
したがって、技術的には顔の表情分析も実現可能ですが、現時点では実装していません。今後の改善点として検討しています。
KL:脳卒中予兆検知システムでは、脳卒中の可能性の程度を段階的に示すようなレベル分けはできるのでしょうか。
小林氏:現時点で、脳卒中の可能性を明確に数値化できる指標は世の中にはないと思います。ただ、脳卒中予兆検知システムの利点として、ビッグデータの活用が可能であるということです。多くの高齢者の情報をサーバーに集めることで、年齢や性別ごとの平均値を算出し、相対的な評価を行うことができます。
また、同じ人のデータを継続的に記録することで、経年変化の把握が可能です。例えば、1年前と比べて変化があるか、または昨日と今日で違いがあるかなどを判断することができます。
これらデータの相対比較や経時変化の観察を通じて、ある程度のレベル分けや閾値の設定は可能かもしれません。ただし、絶対的なレベル分けは現時点では難しいと考えています。
システムの課題と日常生活のモニタリングによる早期ケア
KL:脳卒中予兆検知システムにおける、課題や問題点を教えていただきたいです。
小林氏:実はそこが一番言いたかったことです。先ほど申し上げたように研究を中断した理由の一つは、脳卒中予兆検知システムの評価が難しいということです。万が一評価できたとしても、脳卒中は非常に深刻な病気なので、本来なら脳卒中になる前の段階で対処する必要があると考えるようになりました。
実は、脳卒中研究の後に行った研究映像があるので、見ていただいた方がイメージがつかみやすいと思います。
私が単身赴任している大学の宿舎の部屋です。先ほどのシャープのロボホンとは違い、NECのパペロというロボットが私の部屋にいます。
(映像の内容:ロボットとの対話シーン)
パペロ:おはようございます。今日も良い天気ですね。さて今日は燃えるゴミの日です。ゴミ出しする場合は9時までにお願いします。今日はゴミ出ししますか? 小林氏:今日はあまりゴミが溜まっていないから、ゴミ出しはやめようかな。少し雨も降っているし、もう少し溜まってから出すようにするわ。ありがとう、教えてくれて。 パペロ:そうなんですね。ちなみに明日は燃えないゴミの日です。 小林氏:ありがとう。 |
小林氏:このようにゴミ箱を開けると、ロボットがそれを検知して会話をしてくれます。次は冷蔵庫のパターンを見てみましょう。
(冷蔵庫を開ける場面)
パペロ:こんにちは。今日のお昼は何にする予定ですか? 小林氏:今日はチャーシューとネギのチャーハンを作ろうと思います。 パペロ:美味しそうですね。いっぱい食べて午後も頑張りましょう。 小林氏:ありがとう。頑張ります。 |
小林氏:このように、冷蔵庫を開けると、ちょうどお昼の時間だったので何を作るのかを聞いてくれます。要するに、生活の中で住人の行動をトリガーにして、ロボットが会話をします。ロボットとの会話自体も楽しいのですが、大事なのはやりとりした情報をずっと履歴として残しておくことができることです。
情報履歴があれば、例えば「この人はいつもお昼に冷蔵庫を開けて食事を作っていたのに、ここ何週間かはお昼になってもほとんど冷蔵庫を開けていない」という状況を検知し、何か異変があったのではないかと推測できます。「体調が悪くなっているのではないか」「自分で料理を作れなくなっているのではないか」などが考えられます。
また、ゴミ出しについても同様です。よく問題になるのが、高齢者の住まいがゴミ屋敷のような状態になってしまうことです。以前はゴミ箱を開けてゴミ出しをしていたのに、最近ゴミ箱に触らなくなったという状況を検知できれば、家の中にゴミが溜まってきているのではないかと推測できます。
通常、他人の家の中は見えないのでわかりませんが、情報履歴の蓄積により、自然な形で行動記録を残すことができます。すると、その人の生活の微妙な変化をつかめるのではないかと思います。
よく言われることですが、高齢化により日常のことが面倒くさくなって、やらなくなったりしてしまいます。私の母もやはり高齢になってくると、そういった傾向が増えてきました。離れて暮らしていると気づきにくいのですが、このようなシステムがあれば、高齢者の些細な変化を把握することができます。
先ほど話した脳卒中のような危機的な状況になる前の、もう少し早い段階でケアをしてあげられるのではないかと考え脳卒中の研究後は、このような研究の方向にシフトしています。
ビッグデータの活用と脳卒中予兆検知の限界
KL:検知システムは音に反応しているのでしょうか。
小林氏:いい質問ですね。実は、音に反応しているわけではありません。冷蔵庫のドアにガムテープで貼り付けたボタン電池くらいの大きさの加速度センサーにより行動を検知しています。加速度センサーにはBluetooth機能があり、センサーが動くと動いたという情報をロボットにBluetoothで通知しています。
例えば、冷蔵庫のドアの開閉により、センサーが動くので、センサーが動いたという情報を検知してロボットが喋るという仕組みになっています。このシステムの限界は、動くものは検知できるのですが、動かないものは検知できないという点です。
また、冷蔵庫のドアなどであれば大きな問題はないのですが、例えば薬箱の場合は難しい面があります。薬を飲んでいるかどうかを検知したいので薬箱にセンサーを貼っていたのですが、単に薬箱を動かしたり、テーブルを叩いた振動により、センサーが反応してしまうケースがありました。
他にも、お風呂のシャワーカーテンも同様です。シャワーを使用したかどうかを検知したいのでシャワーカーテンにセンサーを貼り付けていたのですが、カーテンが風で揺れるだけで反応してしまい、実際にはシャワーを浴びていないのに反応してしまうというケースもありました。
つまり、完全に正確なデータが検知できるわけではないのです。このような問題は、ビッグデータの世界の課題であり、誤検知は避けられません。したがって、ソフトウェアの方で「これは誤検知だろう」という判定をして、できるだけ誤検知を減らす対応をしています。しかし、完全に誤検知をなくすことは難しいです。
技術の組み合わせと統合
KL:そもそもの話になりますが、検知システムを開発しようと思ったきっかけは何かあるのでしょうか。
小林氏:きっかけは、総務省の予算をいただいた研究で、ロボットと人間が会話した内容を家族にLINEで通知するシステムを作ったことです。この研究は「高齢者でも気軽に離れた家族とメッセージ交換できたらいいな」という構想から始まりました。
また、実証実験をしていく中で、ロボットは高齢者と頻繁に会話を交わすことになるわけですから、ロボットと高齢者の会話情報をうまく使えば、認知症かどうかの判定ができるのではないかと思いついたこともきっかけの一つです。
KL:実際にロボットを利用できる形にしていく段階で、何か難しかったことや時間がかかったことはありますか。
小林氏:共通して言えることは、我々だけでロボットをゼロから作りあげることは現実的ではないということです。例えば、先ほど話した関節の位置を検知するソフトウェアのOpenPoseはアメリカの大学が作ったものです。また、シンシナティー・スケールも医学の分野で一般的に使用されているものです。
我々はこうした既存の要素技術をうまく組み合わせて、脳卒中の予兆を検知するシステムを作り上げました。既存のサービスをどのようにつなぎ合わせ、足りないところをどう補完すれば、脳卒中の予兆を検知する情報を取得でき、その情報からどのように検知していくのか、というところまで繋げるソフトウェアの開発技術が一番難しく、工夫した点だと思います。
したがって、難しかったことといえば、様々な要素技術をどのように組み合わせれば、やりたいことが実現できるのかを試行錯誤していくことだといえるでしょう。
携帯キャリアとの連携によるサービス展開の可能性
KL:先生が開発された、脳卒中や認知症の予兆検知システムは、今後サービスとして展開していく可能性はあるのでしょうか。
小林氏:先ほど紹介したシャープのロボホンは、シャープが開発したロボットで、SIMが入っているため、普通のスマートフォンのように使えます。ただ、脳卒中や認知症の予兆検知システムをサービスとして提供するとしたら、携帯キャリアがこういったロボットをスマートフォンの一種として提供していくという展開が考えられるでしょう。
ロボットを介して様々なメッセージ交換ができ、オプションとして月500円プラスすれば、ロボットを使って認知症や脳卒中の予兆検知もできるというようなサービスです。ただし、大学だけでこういったビジネスを行うことは難しいですし、ベンチャーを立ち上げても限界があるとは思います。
したがって、既存キャリアの付加価値サービスとして提供できるような形になれば、より現実的に多くの人たちに届き、使ってもらえるのではないかと考えています。
KL:費用はどの程度を想定されているのでしょうか。
小林氏:ロボホンを使うとすれば、買い切りの場合で約10万円〜20万円くらいです。また、月々の通信料が月額600円くらい、クラウドサーバーのレンタル費用も含め、月額1000円未満でできるのではないかと思います。
人々の役に立つ製品開発を
KL:では最後に、起業家志望の学生に対して、アドバイスをお願いできますか。
小林氏:起業の場合、「売れないといけない」「お金が入ってこないと全く意味がない」というような事情も当然あるでしょう。しかし、一番重要なのは、開発するものによって「どのような人たちが喜ぶのか」「どういう付加価値を提供できるのか」「どのように役に立てるのか」ということが、まずは重要だと思います。
どうやってマネタイズしていくかという問題は別の課題としてありますが、本当に人の役に立つかどうかが、まずは一番重要なのではないかと思います。