東芝情報システム株式会社

低コスト・小型・高精度な「単眼カメラ距離計測技術」

近年、様々な分野で画像認識システムの重要性が増しています。これらの用途では、より高精度な距離計測を求められる一方で、低コスト化や小型化などが課題となっています。当社は、AIを活用して正確な距離を計測する「単眼カメラ距離計測技術」を実用化しました。この技術は、単眼カメラ1台のみで正確な距離計測が実現できるため、低コスト化や小型化の課題解決につながります。「単眼カメラ距離計測技術」は多くの可能性を秘めており、応用範囲はさらに広がります。
エンベデッドソリューション事業部
黛 博

エンベデッドソリューション事業部
黛 博

カメラによる距離計測の需要と技術開発の背景について教えてください

 一般的に画像認識システムの距離計測で用いられるのは、ステレオカメラでの計測や単眼カメラ+距離計測センサーによる計測です。ステレオカメラではカメラが2台必要となり、単眼カメラ+距離計測センサーの場合でもハードウェアが2つ必要になります。いずれもコストとスペースの点で課題がありました。また、ToF(Time of Flight)という、反射光を受光するまでの時間の差異を計測する方法がありますが、画像認識システムとして実現するためには、単眼カメラ自体に特殊な改造を施す必要があり、やはりコストが増大してしまいます。
 これに対して(株)東芝の研究開発センターでは、2019年頃から単眼カメラの改造を行うことなく撮影した画像から計算式で距離計測を実現することを繰り返し試み、AIを使った計測技術を開発しました。 当社はこの基礎技術を用いることで、単眼カメラ1台による正確な距離計測が可能になるのではないかと考え、ソフトウェアとしての「単眼カメラ距離計測技術」を開発し、これをお客様の製品に組込み、安価で小型で、しかも高精度な距離計測を実現しました。
画像1-1

「単眼カメラ距離計測技術」はどのようなものですか

 「単眼カメラ距離計測技術」は、カメラ1台で、しかもカメラの改造を行わずに被写体までの距離を計測する技術です。距離計測でポイントとなるのが「収差」です。収差とは、対象物からの光をレンズで一点に集めようとするときに光線の束が完全には一点に集まらない現象で、いわゆる「ピントが合っていないボケ」のことです。(図-1)の距離や画面内位置によるボケ形状の違いがこれにあたります。「単眼カメラ距離計測技術」は、被写体までの距離と撮影画像の画素位置で収差に特徴があることを利用したものです。単眼カメラで撮影した場合、ピントが合った位置に映っている被写体と、それより近くに映っているもの、あるいは遠くに映っているものを比較すると、軸上と軸外で違った形や色合いのボケが生じています。
画像2-1
 「単眼カメラ距離計測技術」では、撮影した画像情報を距離測定に結び付けるためにAIを使います。AIに学習させるときに、DNN(ディープニューラルネットワーク)という学習法を使いました。DNNとはディープラーニングの学習法の一つで、深い階層に分けた構造のAIに学習させることができる技術です。東芝の研究開発センターでは、収差を解析して距離を導き出すDNNを開発することにより、撮影した画像からリアルタイムで距離を計測することを可能にしました。
 従来のディープラーニングでは、大量に撮影した画像の各画素について、正解となる距離をAIに教えなければなりませんでした。それには多くの手間と時間がかかります。一方、今回開発したDNNは、画像の局所的なボケと相対的な距離の関係性を学習する技術であるため、画像に対応する単眼カメラから被写体の距離だけをAIに教えれば済むのです。そのため、単眼カメラを自動でスライドする装置上に載せて、距離を変えながら撮影するだけで学習させることができます。この方法は、従来の画像を学習する方法に比べて、学習期間を大幅に短縮するとともに、データ作成のためのコストも低減できます。
 そして、撮影した画像から学習データを取り込んだDNNを通して画素ごとに距離を推定します。この結果をカラーマップで可視化し、近くに映っているものを赤く、遠くのものを青く表示することで、一目で距離の違いを確認できます。(図-2)
画像2-2

他の計測技術と比較してどのような優位性がありますか

 他の計測技術では、屋外での距離計測で天候などの影響を受けます。例えば距離計測センサーの1つであるLiDARは、雨・雪・霧のときは乱反射して正確な計測ができません。別の距離計測センサーであるミリ波レーダーでは、金属板状のものがあると正確に計測できません。これらに対して「単眼カメラ距離計測技術」は安定した計測が可能です。
 また、至近距離での計測が可能なToF技術は、赤外光を使って距離を計測するため、遠くの被写体を計測するには強い光を照射しなければならず、測定距離に限度があります。一方、「単眼カメラ距離計測技術」では、理論上は単眼カメラで撮影可能な距離まで計測が可能です。それと同時に、「単眼カメラ距離計測技術」は他の距離計測センサーと比べて至近距離での計測も可能で、他の距離計測技術では検知しにくいワイヤーフェンスやポールなどの細い物体まで検知できるという高解像度性にも優れています。これらを1台のカメラで実現することで、結果的にシステムが単純化し、小型・省スペース化と低コスト化につながります。

開発のプロセスで苦労したことを聞かせてください

 「単眼カメラ距離計測技術」の課題として、距離計測に活用しているAIは、一般的には膨大な処理時間とCPUパワーがかかります。実際に開発の初期段階では、一般的なAIの処理を実装していたため処理にかなりの時間を要していました。しかし組込み向けとして実現するには即時に応答する必要があり、高速処理化が最大のテーマでした。それに応じるため、距離にあまり寄与しない処理をカットするなど、DNNのモデル構造を見直して精度をなるべく落とさずに高速処理を実現するのに苦労しました。実際には、処理速度を上げると精度が下がる可能性があるのでバランスを考える必要があります。速度を求めるケース、逆に速度よりは精度を優先するケース、それぞれのお客様のニーズに合わせてパラメータを切り替えることで対応できるようにしました。
 例えば障害物を検知して衝突を回避するというニーズに応えられる技術がさまざまな分野で注目されています。監視カメラを使ってこれ以上近づいたら危険であることを知らせるのは、工場などで求められる距離計測の注目すべきニーズだと言って良いでしょう。このように、従来は平面画像つまり二次元でしか情報を得られなかったものに、ソフトウェアによって距離情報を加えて三次元化することで、誤検知や不検知を少しでも減らすことができるなど、「単眼カメラ距離計測技術」の可能性は広がっていくと思います。

今後はどのような分野への展開を考えていますか

 当社では、他の距離計測技術との比較を前提に、実際の現場で使われることを想定した実証実験を進めてきました。障害物検知・衝突回避としては、倉庫や工場で活躍するAGV(自動搬送装置)に採用するため、壁や棒状の障害物までの距離を測定できるかを確認しました。また、「積んであるものの高さから個数を算出する」という発想から、陳列棚にある商品の数量カウントの検証を行いました。ティッシュボックスをいくつか積んで、ティッシュボックス1個あたりの奥行(4.5㎝)の差異を検知できるかを検証しました。その結果、撮影画像から得られた距離マップで、5箱・3箱・2箱という奥行をはっきりと区別することができました。(図-3)
画像5-1
 ソフトウェアにより距離を計測できる本技術は、さまざまな応用が期待できます。例えば店舗向けの商品管理では、速い検知が不要な代わりに正確な数量カウントが求められます。AGVなどの自律走行では、障害物を事前に検知して危険を回避する必要があるため、リアルタイムの距離計測が求められます。また、農業分野で収穫用自律走行ロボットも登場してきていることから応用分野の広がりが期待できます。さらに、3Dスキャナを使った美術品の正確な測定では、高精細・高解像度の撮影による復元作業や、セキュリティ強化の観点から三次元の顔認証などが考えられます。ソフトウェアのパラメータを切り替えることでそれぞれのニーズに対応できるのです。
 当社では、お客様のニーズとご使用になるカメラに合わせてAI学習のサービスを行い、さまざまな用途に対応していきます。

※本記事は2021年12月に取材した内容をもとに構成しています。記事内における組織名、役職などは取材時のものです。
※本文中の会社名および製品名は各社が商標または登録商標として使用している場合があります。

お気軽にお問い合わせください。