ハイパースペクトルカメラの画像解析について
Milk.株式会社は宇宙技術「ハイパースペクトルカメラ」を中核技術として所有するディープテックスタートアップです。当社は中核事業であるハイパースペクトルカメラ事業について、「Invisible World」という事業ブランドを立ち上げています。Invisible Worldは、「ハイパースペクトルカメラ」をがん細胞の識別に応用して高精度な診断を実現するANSWER for Pathologyの開発を中核とし、解析コンサルティングやWebアプリ開発受託も行っています。当社ではハイパースペクトルカメラの活用に関しては、医療分野以外にも様々な分野で活用して解析を行い、ソリューションを開発してきました。今回は「ハイパースペクトルカメラ」を活用した画像解析について解説していきます。
-
ハイパースペクトルカメラとは？
ハイパースペクトルカメラは、従来のカメラの色彩情報が3原色であるのに対し、141原色の色彩情報を有し、人間の目では見分けることの出来ない色（＝ゴーストカラー※）の違いを見分けることが出来るカメラです。また、従来のカメラとハイパースペクトルカメラの中間ほどの色彩情報を有するカメラとして、マルチスぺクトルカメラがあります。
※ゴーストカラー・・・可視光領域における人間の目で識別できない色に対する当社独自の呼称
ハイパースペクトルカメラは国際的に明確な定義があるものではなく、一般的に特定の波長帯を数十〜数百バンドに分光した情報と空間情報（ピクセル）を同時に取得できるカメラがハイパースペクトルカメラと呼ばれています。4バンド〜十数バンドの分光情報を取得できるカメラをマルチスペクトルカメラと呼ぶことが多いです。
なお、当社ではハイパースペクトルカメラを、市場に出回っている製品から「特定範囲の波長帯を数十～数百の波長のまとまりで分割した情報（分光情報）とその位置情報（ピクセル）を同時に取得できるカメラ」と定義しています。
波長数の多さや連続的なスペクトルを取得できることを要件とするケースもありますが、それぞれの方式にメリットがあるので広義に捉えています。
参考：SPECIM、スペクトラルイメージング株式会社
「ハイパースペクトルイメージングとは？」
https://www.specim.com/technology/what-is-hyperspectral-imaging/
参考：Invisible World（Milk.Inc）「ハイパースペクトルカメラとは？
https://www.milk-med.com/blog/2024-03-25/
-
ハイパースペクトルカメラによる測定方法とデータ取得
ハイパースペクトルカメラで撮影した画像と一般的な市販カメラ（RGBの３原色）との最大の違いは、前述したとおり「色彩情報の量」となります。ハイパースペクトルカメラで撮影した画像は当社で扱う商品であれば141原色の色彩情報を有しており、通常、数十〜数百バンドの情報を取得することができます。
このようにハイパースペクトルカメラの画像は、１つのピクセルに多くの色彩情報を有しているため、詳細な色彩情報の分析に活用することが可能となるのですが、ラインスキャン方式、スナップショット方式、分光フィルター方式など分光方式がカメラによって異なります。今回は、国内で主流となっているラインスキャン方式（なかでもステージスキャン方式）を前提に説明していきます。
ハイパースペクトルカメラで測定（撮影）する際には以下の要素について、①対象物の大きさ、②対象物の形状、③知りたい変化量などに応じて、最適な選定を行って測定する必要があります。単純にハイパースペクトルカメラと対象物を用意して測定すれば良いというものではないため、注意が必要です。少なくともこれらの要素を専門知識に基づき、選定していかないと正しくデータを取得できない可能性があります。こうして測定したデータをcsv等の形式で解析できるよう取得することが一般的です。
-
ハイパースペクトルデータの代表的な解析手法
上記のとおり、ハイパースペクトルカメラの画像は、通常の画像に比べて非常に多くの色彩情報を有しています。そしてこのデータをソフトウェア（解析ソフト）で解析することで、ピクセル単位で大量の波長データを色彩情報として可視化することができます。代表的な解析手法はいくつかありますが、ここでは波長を成分ごとに分析して、成分ごとの光の強度をグラフにして波形とする手法である主成分分析を紹介いたします。
主成分分析による解析は一般的には以下のような工程で行われます。以下はあくまで一般的な工程ですが、取得したデータにノイズが全くないということは現実的にはあまりなく、前処理の手法や目的に合わせて別の解析手法を組み合わせたり、アウトプットを変更します。
-
ハイパースペクトルカメラ解析の具体的な活用事例
ハイパースペクトルカメラで計測（撮影）したデータを具体的に活用するためには、まずはデータを解析することによって、見るべき波長を特定する等、技術的な実証が必要となります。技術的な実証がされれば、AIを活用して学習モデルを構築し、カメラシステムやハンディタイプのデバイスにアルゴリズムとして搭載することが可能となります。なお、当社ではハンディタイプのデバイスとして「イロドリ」という商品を開発しています。
当社においても様々な活用事例がありますが、以下にマグロの鮮度を可視化した事例を紹介いたします。これはマグロの切り身を常温保存と冷凍保存で一定時間管理し、鮮度低下度合いをスペクトル変化として可視化したものです。
-
ハイパースペクトルカメラをお探しならMilk.
以上のように、ハイパースペクトルカメラの画像からは非常に多くの情報が得られることがお分かりいただけたかと思います。しかしながら、ハイパースペクトルカメラを使用しても、きちんとした知識に基づき、測定（撮影）を行ってデータ解析を行わなければ、実装を目指した活用には繋がりません。
したがって、ハイパースペクトルカメラの技術をソリューションとして活用するには、ハイパースペクトルカメラのハード面と画像解析のソフト面の両面が重要となります。この点、当社は多くの解析実績に基づくノウハウと、独自開発した解析ソフト”ANSWER”があります。当社ではハイパースペクトルカメラを活用した解析により、狙う波長を特定した上で、マルチスペクトルカメラ等、分解能のスペックを落として扱うデータ量を限定することで、実装に向けた開発を見据えたサポートを提供しております。ハイパースペクトルカメラにご興味を持たれましたら、是非、当社までご連絡ください。
