センサフュージョンとは何なのか？
センサフュージョンは、自動車業界において今後の自動運転技術の安全性を左右するものとして重要視されています。ここでは、センサフュージョンの概要や重要性、今後について解説します。
センサフュージョンの概要
センサフュージョンとは、一定基準を満たす複数のセンサから得た情報を統合し、自動で目的に応じた情報処理を行うことで使用者の意思決定を補助する技術です。例えば人間は日常的に視覚や嗅覚、聴覚、触覚、味覚の五感から得る情報を統合し、必要に応じて分析することで状況を判断しています。センサフュージョンは、この人間における五感のプロセスのような能力を実現します。
センサフュージョンの技術は、種類の異なる複数のセンサが情報を取得し、それを複合的に分析します。それぞれのセンサには得手・不得手があり、単一で完璧に目的を果たすのは困難です。センサフュージョンはそれぞれのセンサの苦手分野を互いに補い、データの欠落や歪みの解消を実現します。
例えば、自動車運転における安全性の向上を目的とするセンサフュージョン技術では、カメラによって車両や歩行者、道路標識、信号機を認識します。しかし、日中や夜間、雪、雨、霧などの周囲環境により、カメラでは能力が発揮できない場合があります。一方、LiDAR（Light Detection and Ranging）では物体の位置や速度の検出に特化している反面、道路標識などを見分けることはできません。LiDARとはLight Detection And Rangingの略語であり、レーザレーダ、または光学式レーダとも呼ばれます。3次元状に光を照射することで、センサから物体までの距離や形状を把握できるセンサです。
このように、単一のセンサでは取得できない死角となる情報を、複数のセンサが同時に持ち寄ることで補完します。そして、同時に検出した重なり合う情報を分析することで、信頼性の高い情報提供を可能にするのがセンサフュージョンの技術です。
センサフュージョン技術の重要性と今後
技術の発展により、近年、多くの分野でセンサフュージョンが活用されています。中でも、今後市場が拡大していくとみられる自動運転技術の分野で大きく注目されている技術です。例えば、緊急ブレーキや前方衝突アラート・回避、ブラインドスポットの検出などの事故を未然に防ぐシステムに活用されます。具体的には、ミリ波レーダや赤外線センサ、カメラ、通信システムを融合し、精度の高い歩行者の検知や車車間通信、路車間通信を行うことができます。年々実用化が進んでいる自動運転技術の発展に伴い、今後もこれらのシステムは拡大を続けていくと見られています。
近年はますますセンサフュージョン技術の開発が進んでおり、センサフュージョンに人工知能（AI）を導入することで、取得した情報をもとに人間の意思決定プロセスを再現できるようになると期待されています。一方で、自動車業界以外でも、ウェアラブルデバイスやIoTを用いた家電分野でセンサフュージョン技術が注目されています。成長が著しいこの2つの業界において、これからもセンサフュージョン技術の開発がさらに推進されていくでしょう。
センサフュージョンの仕組みを解説
センサフュージョンは、統合方法の違いにより「集中型」「分散型」「ハイブリッド」の3種類に分けられます。この3種類のうち、方法自体に優劣はありません。行う戦略に対して、目的に沿った最適な統合方法を選ぶことが重要です。その際には、処理能力や通信、コスト、セキュリティなどの要素を考慮する必要があります。
すべての情報を一か所に集める集中型フュージョン
それぞれのセンサが取得した情報を集めて、CPU（中央処理装置）へ直接送信する手法が集中型です。この手法におけるメリットは、直接CPUで処理するため高精度の分析結果を得られることや、アルゴリズムに柔軟性を持たせられる点にあります。しかし、一度に膨大な情報を処理するため、高性能のCPUを必要とし、処理がパンクした場合には能力を低下させます。瞬間的な判断が求められる自動者の安全分野においては、遅延の発生は致命的なデメリットとなり得ます。集中型はこのような課題があることから、実現が困難であると言わざるを得ません。
一度近くで情報を処理してから一か所に集める分散型フュージョン
分散型では、それぞれのセンサが取得した情報を、一度センサごとなどで処理してからCPUに送信されます。集中型と違う点は、CPUへの送信が直接的ではないことです。処理を受けた情報は、CPUによって情報統合されます。これにより分析された最終結果が算出されるという工程です。この手法では、情報を統合・分析する前に処理を行うため、分析材料となり得る一部の情報が消失します。このことから、集中型と比較して最終結果の精度は低くなります。
上記2つを組み合わせた複雑な仕組みのハイブリッドフュージョン
集中型と分散型を組み合わせた手法がハイブリッドフュージョンです。具体的には、直接CPUへ情報送信するセンサと、その前に情報処理するセンサが組み合わせたもので、それぞれが持つ適応性や安定性などのメリットを兼ね備えています。しかし、システム構造が複雑化し、全体では通信や計算処理にかかるコストが大きくなるという側面があります。なお、基本的にセンサフュージョンにおける分析能力の大部分はソフトウェアに依存します。そのため、解説した3つの手法のうち、どの手法を用いるかにかかわらず、ソフトウェアのアルゴリズムを最適化することが重要です。使用目的に応じた効率的なアルゴリズム開発が、センサフュージョン技術の課題となっています。
センサフュージョンの使用例を紹介
センサフュージョン技術の著しい進化から、近年では多くの分野で活用され、生活の様々な場面に浸透しつつあります。今後もあらゆる分野において、センサフュージョンを活用した技術の発展が期待されます。
自動運転で使われるセンサフュージョンの技術
自動運転技術においては、安全性を第一に考え、障害物や周囲の環境を検知するためのセンサが必要になります。主に道路標識や白線などの色による認識を行うビューカメラや、至近距離の対象物を検知する超音波、近距離の対象物を検知する中・短距離レーダ、長距離対象物を検知するミリ波レーダ、対象物の位置や距離を計測するLiDARなどが用いられます。これらの複数のセンサから得た情報を統合・分析し、結果に間違いがあれば機械学習による改善を施し、自動運転の安全性を高めます。
NECソリューションイノベータの「NEC 車両周辺監視ソフトウェア」にも、センサフュージョン技術が応用されています。それは、カメラと3D LiDARを組み合わせたセンサフュージョン技術です。
「NEC 車両周辺監視ソフトウェア」で活用されているセンサフュージョン技術では、カメラが人を認識し3D LiDARで距離を検知することで、高精度な認識性能を実現します。さらに、AIによるDeep Learningを活用することで人の姿勢パターンを学習し、認識性能向上を図っています。このセンサフュージョンを用いた「NEC 車両周辺監視ソフトウェア」は、自動運転技術の手前である「安全支援システム」に活用されています。また、自動車以外にも建機やフォークリフト等のカメラに搭載することで、建設現場における事故防止に役立てることができます。
NECソリューションイノベータの「NEC 車両周辺監視ソフトウェア」については、こちらで詳しく紹介しています。
