ハイパースペクトルカメラとは？ | Milk.株式会社
はじめまして、Milk.株式会社の藤井です。
Milk.株式会社は、ハイパースペクトルデータ解析のプロフェッショナルとして多くの企業様から解析をご依頼いただいており、複数メーカーのハイパースペクトルカメラの特徴を生かしながら、技術の実用化に向けた支援を行っています。
現在、市場では一括りに「ハイパースペクトルカメラ」と呼ばれて販売されていますが、実はハイパースペクトルカメラの機種や分光方式によって、取得できるデータの特徴が異なります。
この記事では、日常的にハイパースペクトルカメラを取り扱う立場から、「ハイパースペクトルカメラ」とは何かということを
初心者の方から、中級者の方に向けて、定義やトレンド/事例などを含め、横断的に紹介できればと思います。
1.ハイパースペクトルカメラの定義
実際、ハイパースペクトルカメラには明確な定義や国際基準がありません。あえて、市場に出回っている製品から包括的な定義を考えると「特定範囲の波長帯を数十～数百の波長のまとまりで分割した情報（分光情報）とその位置情報（ピクセル）を同時に取得できるカメラ」と言えます。
初めて知る方にとっては、通常のRGB画像と比べ、「色の情報量が非常に多いカメラ」と考えると分かりやすいかもしれません。上図のように、「可視光」と言われ人間が見えていると認識している光にも、まだ見えていない情報が眠っているということです。
X線などと混同してしまい、「内部が見えるってこと？」というご質問を受けることがありますが、そうではなく、表面の色合いがより細かく見えるカメラです。（厳密には対象物や波長によっては透過しますが）
また、分光方式によっては、連続的な波長情報を取得できないカメラやバンド数が十数のカメラであってもハイパースペクトルカメラと呼ぶケースがあるので、利用をご検討の際にはご注意ください。
スペクトルデータの解析をする立場として、
以下にハイパースペクトルカメラというハードウェアに求める要素とその目的を5つにまとめてみました。
|
求める要素 |
利点 |
|
①分光情報が連続的に取得可能 |
偏光や蛍光などの光学特性の観測ができる |
|
②分光精度が高い |
物質固有の吸収を容易に区別できる |
|
③取得波長範囲が広い |
金属や無機物、有機物など様々な対象物の識別に活用できる |
|
④撮影速度が速い |
動く対象物にも利用可能 |
|
⑤取り回しがいい（顕微鏡取り付けや三脚固定が可能） |
従来のカメラと同様のシチュエーションで活用できる |
研究用途や実利用用途など、ユースケースによって必要な要素は分かれますが、ハイパースペクトルカメラ選定の際に参考になると思います。
2.ハイパースペクトルカメラのトレンド
最新の論文やメーカーの製品発表、特許の取得状況などから
ここ10年程度で進行するハイパースペクトルカメラ技術のトレンドについて考えてみました。
以下の３つが大きな柱になると考えています。
①CPU/通信/バッテリーの進化 → スタンドアローン化
②センサー感度向上 → 波長帯域の広がり
③擬似ハイパースペクトルの広がり → 撮影の高速化
①スタンドアローン化
これは比較的短期的なトレンドですが、最近は小型のCPUでも性能が高く、5Gなどの携帯回線を利用した通信技術も発展しているため、取得した膨大なハイパースペクトルデータを送信しながら撮影を続けるといったことが可能になっていきます。給電の無線化なども進歩しているので、屋外の様々な環境において監視/異常検知目的で利用できるようになると思います。
時系列データの取得も容易になり、数ヶ月分の継続的なデータ取得に基づいた研究なども盛んになると思います。
②波長帯域の広がり
2020年ごろからソニーセミコンダクタソリューションズ株式会社から販売が開始されているInGaAsのSWIRセンサーですが、従来よりも同時取得可能な波長帯域が広がっており、可視光域と近赤外領域の幅広い範囲を同時に取得できるハイパースペクトルカメラが開発できるようになります。これにより、研究が十分進んでいた近赤外分光法の研究結果を用いながら可視光域の分光情報を見ることが容易になり、ハイパースペクトルカメラの利用範囲が大きく拡張すると考えています。
・参考記事 2020年5月12日
業界最小※15μm画素で、可視光から非可視光帯域まで撮像可能な
SWIR（短波長赤外）イメージセンサー 2タイプを産業機器向けに商品化
https://www.sony.com/ja/SonyInfo/News/Press/202005/20-036/
③撮影の高速化
ソフトウェアの力を使いながら、通常の画像に近いデータから、擬似的にハイパースペクトル情報を取得する方法を各メーカーが開発しています。2021年には、擬似ハイパースペクトル画像をRGB画像から生成するイスラエルのスタートアップ「Voyage81」（https://voyage81.com/）が15億ドルの評価額で買収されたことが話題になりましたが、通常のカメラから高速に高感度/高画質なハイパースペクトルデータが取れることは、ハイパースペクトル技術の実用化に大きく貢献します。
国内企業でもPanasonic様の圧縮センシング技術やNTT様のメタレンズも、従来手法のような物理的な分光をすることなく、ハイパースペクトルデータの撮影を行うという点では、類似した開発思想を持っていると言えます。波長帯域によっては精度が落ちることから、現在は可視光の一部の領域に限られていますが、非常に高感度/高精度な撮影ができるため、弊社としても大きな期待を持っています。
・参考記事① 2023年1月26日
世界最高感度*1のハイパースペクトルイメージング技術を開発
https://news.panasonic.com/jp/press/jn230126-1
・参考記事② 2022年10月24日
世界初、通常のデジタルカメラにメタレンズとAIを組み合わせてハイパースペクトル画像・動画の取得を実現する技術を確立～光技術とAIの融合で「普通のカメラ」を「モノの性質が見えるカメラ」に～
https://group.ntt/jp/newsrelease/2022/10/24/221024a.html
全体のトレンドを見ていると、研究用から実用化に向けて、ハードウェアとしてもソフトとしても進歩していく印象を受けています。
3.ハイパースペクトルカメラの種類
ハイパースペクトルカメラの種類に関して、
大きく分けると以下の3種類になると思います。
1)ラインスキャンタイプ
スリットを通した１次元（線）の光を、プリズムや回折格子などの分光器を通して分光し、２次元（面）の画像センサーで捉える方式です。
技術としては最も歴史が古い方式で、波長分解能が高く、ノイズも乗りにくいことが特徴です。
特に工場のライン利用や人工衛星への搭載など、等速で動くものの撮影に最適です。
ただし、画像として撮影する際には、スキャンをする必要があるため、撮影速度が遅い（一枚の画像撮影に数秒～十数秒）ことが難点です。
また、機種によりますが、外部に動作機構（電動ステージや電動三脚など）が必要な機種もあり、カメラ単体の金額とは別で予算を確保する必要がある場合もあります。
2)分光フィルタータイプ
数～十数バンドのマルチスペクトルカメラにもよく使用される方式ですが、特定の波長帯の光だけを通すバンドパスフィルターを使用し、そのフィルターを高速で切り替えながら撮影を行う方式です。
（演劇の照明で使われる色付きのフィルターを次々と切り替えるイメージが個人的にはわかりやすかったです）
最初に決めた波長帯以外での利用ができないことが難点ですが、液晶チューナブルフィルター（LCTF）は、電圧を操作することで通す波長帯を1nm単位で切り替えることができるため、その難点を克服しており、波長分解能が高い高画質な画像を撮影することができます。
ただし、切り替えた後の撮影時間の制約は受けるため、動くものの撮影に向かず、高速撮影が必要な際には波長を絞り込む必要があります。
また、対応波長帯もラインスキャンタイプと比較して狭い傾向にあります。
3)スナップショットタイプ
こちらは、分光フィルター方式の応用と考えると分かりやすいです。
カシャカシャとフィルターを切り替えると全ての波長を同時に撮影できないため、撮影するセンサーの手前にとても小さい、複数種類のバンドパスフィルターを取り付けようというアイデアです。
撮影速度が速く、動作部が必要ないため小型化が可能な点が最大の特徴で、センサー単体でimec社が販売しているため、ここ数年で多くのメーカーが、このセンサーを使用したハイパースペクトルカメラの製造を開始しています。
技術自体は素晴らしいイノベーションだと感じていますが、いくつか難点があります。
まず、フィルターの数を増やしていくと、そこを通る光は少なくなるため、特定の波長帯あたりの光の量が減り、画像が暗くなります。
また、使用できる波長帯が限定されており、連続的でないため、あとから必要な波長帯を選び出すといった運用が難しい部分もあります。
そのため現状は、あくまで事前に使用したい波長帯が選定できている前提での利用になると弊社では認識しています。
4.ハイパースペクトルカメラの用途/応用事例
最後に、いくつかのジャンルに分けて簡単な事例を紹介させていただきます。
①食品分野 マグロの鮮度
こちらの事例は、マグロの鮮度についての研究です。屋外放置のマグロの切り身と冷蔵保存したものとを比較し、時間経過によってどのようにスペクトルに変化が出るかを観測したところ、点線で囲っている特定の波長帯（625nm付近）に変化が出ることがわかりました。これにより、鮮度を数値化できる可能性が出てきます。
②インフラ分野 ホテル外壁のサビ可視化
こちらの事例は、ホテルの老朽箇所の特定に関する簡易的な解析ですが、通常の画像解析だと検知の難しいサビのみの可視化を、教師データを必要とせず、一枚の画像から行っています。ここからグレードごとの数値化を行うことで、定期撮影により、メンテナンスの必要な箇所を広範囲から絞り込むことが可能です。
③美容分野 ファンデーションの塗布箇所の特定
こちらは、目視では確認が難しい「ファンデーションを塗った箇所」と「塗っていない箇所」のマッピングの事例です。化粧品の評価や分類などに活用が可能です。
④医療分野 がんのグレード分類
こちらは、膵臓がんの細胞診検体の良悪性予測に関する研究です。画像のように膵臓がんの細胞核の高精度な抽出とトレーニングデータによる良悪性予測を行っており、がん診断分野以外でも幅広いバイオ領域での研究に利用が可能であると考えています。
⑤工業分野 透明塗料の膜厚測定
こちらは、透明な塗料の薄さを誤差±0.2μm単位で予測できるシステム開発の事例です。ハイパースペクトルカメラにより膜厚に影響する波長帯を絞り込み、従来はポイント単位でしか行えなかった膜厚検査をマッピングすることを可能にしました。
5.最後に
いかがだったでしょうか。
弊社では、業様の現場課題のPOC段階からのフォロー、実際のプロトタイプの開発まで一貫して行える体制を構築しています。
また、研究利用でもMilk.株式会社所有のハイパースペクトルカメラのレンタルや出張撮影サービスなど、業界最安の5万円～でお受けしておりますので、もし、ハイパースペクトルカメラを使用してみたいという方がいらしたら、ぜひご相談ください。
料金については、以下のシミュレータを使用するとすぐにお見積りが可能です。