技術
「持続可能」な成長に向けての課題は、「情報量の多さ」と「消費電力の増大」が有ります。経産省データでは、情報流通量増大;190倍、IT機器の消費電力増大;5倍(@2006→2025)と言われています。世の中のトレンドは膨大な情報量増大に対応し、アルゴリズムの対策(nVIDIAが高シェア)や、伝送系の対策(5G、IOWN)、機器の省エネとか、当たり前のことをしています。
一方、弊社が提案しているAnti Imaging(AI)の発想は、センシング段階での単能アプローチによる、少情報化、省電力化です。しかし万能ではありませんので主流でなく、賛同者が少ない状況です(泣)。
せめて語呂でも普及させようと思い、ILS2023のNEDOドリームピッチでプレゼンをさせて頂きました。ここでは”AI(Artificial Intelligence)にAI(Anti Imaging)を”、”nVIDIAにNie-VIDIAを”、”IOWNにI OWNを”と締め、最先端技術とは異なる追加の提案を孤立無援で行いました。キャッチーなタイトル;「AI(Anti Imaging)カメラを用い、AIの負荷軽減」のお陰か、半導体/精密機器/電子部品/バッテリー分野で視聴数Topをキープしました。添付資料(アニメーションで順次表示されて行く)は気に入っているので啓蒙資料として活用します。
NTT次世代戦略である「IOWN」構想では、流行りの「持続可能」な成長に向けた課題である、IT機器の消費電力増大;5倍、情報流通量増大;190倍(@2006→2025)に対応するために、オールフォトニクス・ネットワークを構築して、伝達遅延を減らすアプローチを掲げていて、IOWNグロバルフォーラムには94社が参加しているそうです。因みにIOWNは「beyond Internet」とか、「beyond 5G」と言われています。
「IOWN構想」とは何か? NTT“次世代戦略”と参加企業をわかりやすく解説 |ビジネス+IT (sbbit.jp)
一方、弊社が提案しているAnti Imaging(AI)カメラは、大幅な情報量削減、省エネに特徴があります。このようなセンシングで対応する単能アプローチは、IOWNのように万能ではありませんので、賛同者が少ない状況です(泣)。
Anti Imaging(AI)と言っても、Imageを出して伝送し処理するのではなく、Imageに所属(own)した情報(動き輪郭。特徴点)をセンサから出すので、このアプローチもIOWNと呼ぶのかもしれませんネ。弊社はHPやプレゼンでの啓蒙活動が精々で、IOWNフォーラムは大手企業ばかりなので参加は無理ですが。
啓蒙活動としてプレゼンしている資料からの抜粋を少し紹介しますと、IoTの課題として「情報量の多さ」を挙げています。現行のIoTシステムは、インターネットに繋げる機器が増えて情報量が増大し、少しでも遅延を防ぐため、5Gや「IOWN」構想(高速化故にbeyond 5G)で、情報量が増えることを前提とし対策を行っています。現行は画が出るイメージセンサ・カメラが普通ですので、膨大な画像情報と格闘しています。高速でAI処理するためにはアルゴリズムが重要で、優れた画像処理エンジンを有するNVIDIAが有名です。
弊社の提案は、このアルゴリズム勝負から、センシング勝負にすることで、「AI(Artificial Intelligence)からAI(Anti Imaging)へ」という言葉を流行らせるべく、2022年のイノベーションジャパンで提唱しています。このセンシング勝負というのは、画が出ないカメラ・センサで必要な情報(動体の輪郭・特徴点)を、必要な時(動きが有る時)だけ出力することです。「Big useless data から Small usefull data へ 」という言葉のように、従来の膨大な画像情報(Big useless data)から必要情報(usefull data)を抽出するため、アルゴリズム勝負(力ずくでバタバタ)するのではなく、必要な情報を動きに特化しイメージセンサから画像を出さず、動体の必要情報(Small usefull data;輪郭や特徴点)を直接出す、センシング勝負(スマートでテキパキ)に持ち込みたいと考えています。
センシング勝負にするためには、イメージセンサ内で処理を簡単化することが必要です。啓蒙活動としてプレゼンしている資料からの抜粋でそのセンサの構造(特許図面より引用)を説明します。
露光時間の異なる2種類の画素の隣接画素差分をとることで、膨大な画像情報の大半を占める静止画の情報を大元から無くし(センサから出力しない)、動体の輪郭のみの情報にします。この輪郭から特徴点を抽出方法はアルゴリズムが必要ですが、大幅に情報量が減っているので、センサ内の回路で処理することも可能です。するとイメージセンサからは画が出ず、必要な情報のみを出すことができて、大幅に情報量は削減できます。
露光時間の異なる2種類の画素の隣接画素の加算をすると、高ダイナミックレンジな画像(スマホカメラのHDRモード)を提供するイメージセンサになります。このHDRイメージセンサは画像が出ますので情報量は多いままです。差分をとると大幅に情報量が減ります。この隣接画素差分で静止画を削除(出力をゼロに)するためには、露光時間が異なりますので、一般的には画素の出力を揃えるためにゲイン調整が必要です。しかし露光時間見合いで感度が異なる画素を使うと、ゲイン調整が不要になり(上側の特許図面参照)、CCDイメージセンサのCDS回路(差分回路)がそのまま使えます。
この画が出ないセンサをイメージセンサと呼ぶかは疑問符が付きますが、加算機能を追加するだけでHDRイメージセンサになることと、イメージから必要な情報のみを抽出するセンサですので、やはり広義のイメージセンサになります。現役時代に画が出る(狭義の)イメージセンサしか作ってこなかった大いなる反省の基に、定年退職後(老後?)は広義のイメージセンサを提唱しています。この広義のイメージセンサを活用することで、伝送速度改善だけでなく、伝送情報量を削減することで、データ量増大;90倍(@2010→2025)に寄与できればと夢見ています。
因みにスロベキア語で「vidia」は「見る」という意味が有るそうで、否定形の「non」はスロベキア語では「nie」だそうです。「見てない」は「nie-vidia」となり「NVIDIA」と略せますね。(膨大な画像情報と格闘しているので)これを意識して社名を付けた訳ではないでしょうが?。見てないセンサがあれば、社名に因んで面白い応用を考えてくれそう。(でも情報が少なすぎて活躍の場がないか?)
上述したIoTの課題解決のために、弊社で開発中、コンセプト提案中の6つの目(5つの目から増えました!)の概要に付き下記に記します。今まではトップページにあり冗長になっていました。内容的に増えてきましたので、鳥の目、虫の目、魚の目に対応する3つの目(本流)と、派生(欠点対策)の3つの目(傍流)に分割しました。
コジツケですが、これらは全て、今流行りのAIカメラに略せます。(以下の各説明文中の最後にAIカメラの説明を追加しました)
まず、主流の3つの目の説明をします。啓蒙活動としてプレゼンしている資料からの抜粋で、3つの目の導入部を添付しました。
①(無駄な)画が出ないカメラ‥鳥の目(マクロ(俯瞰的)に”見る目”)
必要時のみ画が出るカメラ(イメージセンサ)です。従来イメージセンサ、カメラからは常時画が出るために、カメラ台数だけモニター画面が分割され、モニターし辛い監視システムとなっています。
特定領域(例えば立ち入り禁止区域)で動きがあった場合のみ画を出し、それ以外は画を出さず、後段のシステムをOFFするという特長を持ったセンサ、カメラを提供することで、モニターする側、される側のストレス軽減、省エネ、情報量削減、小型、低コストといった利点を生じます。情報量が少なく複数台のカメラを連携させて俯瞰的に見る目ということで”鳥の目”に相当します。
このカメラは動きの少ない場所での監視、見守りに向いています。例えば立ち入り禁止区域での監視、介護等の現場で特定領域(例えば廊下のドア付近)、での動きの見守り、留守宅の見守りです。情報量の少なさを活かし複数カメラを連携させると、動き追跡対象物の移動ルートが追えるようになります。
このカメラは別名”居眠りカメラ”と言います。”寝ている状態(Sleep)”と、”起きている状態(Wake-Up)を繰り返すことで、消費電力の大幅削減、情報量の削減を実現し、ソーラーバッテリー駆動、無線通信機能と組み合わせて、設置場所を問わない見守りカメラを提供します。 本命はセンサチップ内で判定をして、必要時以外には画が出ないイメージセンサだと考えていますが、未だ物(センサ)は有りません。
特許は国内、海外(米国、中国、韓国、欧州(英、独、仏))で登録されました。
画が出ないカメラは、Imageが常には出ないのでAnti Imagingカメラ(AIカメラ その1)と称します。
②(小さすぎて)”見えない”カメラ‥虫の目(ミクロに足元を見る目)
TSV(貫通電極)を用いたウエハレベルピンホールカメラです。血管内視鏡用センサ(0.7mm角)で試作すると、1mgの世界最軽量カメラになり小さすぎて見えません。レンズレスで何処でもピントが合います。低感度、低解像度が欠点ですが、盗撮に向かない(綺麗に見えない)というメリットもあります。見えないカメラは現場に接し足元を見つめ直す目‥虫の目に相当します。(未だモックアップだけですが、文字通り落とすと探すのに苦労します。)
特許は国内、海外(米国、欧州(英、独、仏)、中国)で登録されました。
AIカメラや顔認証カメラのように膨大な画像データをリアルタイム高速演算で画像処理し、特徴抽出するインテリジェントカメラが主流ですが(究極はSONY様のインテリジェントビジョンセンサ)、監視カメラは膨大な動画データを事件後にチェックするため、現行犯逮捕に至っていません。実際、警察署(”富田林”署)から犯人逃走後、日本一周!?の途中で逮捕という”トンだ話”がありましたが‥、鳥の目で俯瞰的に見ることで、誰かは不明だが何処かは分かるモニターシステムを提供し、パトカーのカーナビに逃走者の現在位置を表示させ、”捕った話”にしたいと思います。
(トンダバヤシ⇒トンダハナシ⇒トッタハナシ)。
Big useless data から Small useful data 取得カメラとし、”画が出ない” 、”画にならない” 、”見えない”カメラを提供することで、新たな価値(省エネ、低ストレス、情報量の削減、健康管理)を創造し、世の中の役に立ちたいと考えています。
見えないカメラは、見えないのでAnti Imagingカメラ(AIカメラ その2)と称します。
③画にならないカメラ‥魚の目(トレンド(流れ)は”見てる目”)
画素が1列に並んだリニアイメージセンサを用いたカメラで、”画にならないカメラ”が提供できます。この適用箇所は便座で、動きが無いお尻は画にならず、移動物体である出たてのホヤホヤの便を、異なる発光波長のLEDを順次点灯しながら照明し、これと同期しながら複数のリニアセンサで全周から読み取ります。ここで扱うのは画像データではなく数値データで、抵抗感を無くした”健康便座”を試作しました。
便の色の日常チェックを行うことで大腸がんの早期発見のみならず、将来的には”健康見守りロボット”として、ビックデータ解析(日常のトレンド;傾向管理)で病気の予兆が見つかったら良いなと夢見ています。これは流れを見る目で”魚の目”に相当します。 特許は国内、海外(欧州(英、独、仏)、中国)で登録されました。
画にならないカメラは、ImageにならないのでAnti Imagingカメラ(AIカメラ その3)と称します。
本流の目の欠点対策をした傍流の3つの目を、啓蒙活動としてプレゼンしている資料からの抜粋で、次に紹介します。
④いつも綺麗に”見える目”(”鳥目対策の鳥の目”)
”見えるカメラ”を着想しました。(昼も夜も綺麗に)見えるカメラ(イメージセンサ)”で、未だ物は有りません。現在のカラーカメラでは人間の視感度に合わせるために赤外カットフィルターを挿入しますが、夜間では赤外光が主体になる為、これが邪魔になります。即ち夜盲症(鳥目)になります。見えるカメラは赤外カットフィルターがなくても色再現性が良く、昼でも夜でも綺麗に見えるカメラになります。”見えるカメラ”とは”鳥目対策の目”で、この目(イメージセンサ)を用い”鳥の目”を構成しますと、”鳥目対策の鳥の目”となり、少々ややこしいネーミングの関係になります。
見えるカメラの特許は国内、海外(米国、中国)で特許登録され、米国での特許登録番号はNo.10,008,521と1千万の大台と僅か1週間の差でした!‥※注)参照。
いつも綺麗に見えるカメラは、暗時でも見えるので、Anji Imagingカメラと称します。ここいらからコジツケが苦しくなってくる!
⑤画がないカメラ(”虫の目の欠点対策”)
”画がないカメラ”も追加しました。これは動きベクトルカメラで、背景の静止画が消え動きの輪郭だけが表示されます。方向を色で、速度を幅で表現します。輪郭だけで画がないので、”画がない目”に対応します。虫の目の欠点としてはピンホールカメラであるが故に、低感度・低解像度の問題が有ります。動きの輪郭に相当する必要解像度は低く、10画素×10画素ブロックの平均化でも十分であることが分かりました。即ち100画素相当の感度になりますので、ピンホールカメラの低感度の対策になります。同様に解像度に対する許容度も増えます。このように”画がない目”で”虫の目の欠点対策”ができます。
画素ブロックでの平均化は別のメリットも生じます。単画素で処理し動きベクトルを作成する場合、ビット的なノイズが生じます。画素ブロックでの平均化の場合、均されてこのビット的なノイズが発生しにくいというメリットです。
またカメラ問題点のプライバシー侵害の懸念が無くなります。後段の演算処理が容易なHuman-Machine-Interfaceの入力手段として、藤沢市のロボット産業推進事業補助金を活用して開発を進めました。動きベクトルカメラの構成は国内で特許登録されました。画がないカメラは輪郭だけで画がなく、虫の目(AIカメラ その2)の欠点の対策になりますので、Anti Imagingカメラ(AIカメラ その2’)と称します。
⑥見てないカメラ(”無視の目”)
更に情報量を減らして”骨格カメラ”や”特徴点カメラ”も、藤沢市のロボット産業推進事業補助金を活用し開発しました。動きベクトルカメラとは異なり、輪郭も見ていませんので、”見てない目”に対応します。特徴点ですと究極のプライバシー対策になります。
”見てない”ので、”無視の目”というネーミングのカメラです(虫の目と発音は同じです)。見てないカメラは、輪郭も見ていませんので”無視の目”です。虫の目(AIカメラ その2)の欠点である低解像度、低感度に対し、”無視の目”は究極の対策になりますので、Anti Imagingカメラ(AIカメラ その2”)と称します。
※)どうでも良いことですが、6つの目になったことで、Six Eyes technology というSEtechの語源が増えました。(あと一つ目を増やせる。逆さのメは目でないし)
※)更にどうでも良いことですが、米国特許のキリの良い番号の年月を調べました。
US1‥1836.7 ,US10‥1836.8 ,US100‥1836.12 ,US1,000‥1838.11 ,US10,000‥1853.9 ,US100,000‥1870.2 ,US1,000,000‥1911.8 ,US10,000,000‥2018.6.19
ということで、今回の10,000,000は1世紀(107年)ぶりだったそうです。それと僅か7日の差か。弊社の米国特許の第1号と第3号はそれぞれ2018.3.20、2018.12.18なので、これらも-91日と+182日の差と近かった。
因みに米国での特許第1号は1790.7.31に出願されている(1790年特許法;米国憲法の特許条項に基ずく)そうですが、1836年特許法(特許庁を設立)した最初の特許は上記だそうです。 http://beikokupat.com/us-patent/number10/