技術
「持続可能」な成長に向けての課題は、「情報量の多さ」と「消費電力の増大」が有ります。経産省データでは、情報流通量増大;190倍、IT機器の消費電力増大;5倍(@2006→2025)と言われています。世の中のトレンドは膨大な情報量増大に対応し、アルゴリズムの対策(nVIDIAが高シェア)や、伝送系の対策(5G、IOWN)、機器の省エネとか、当たり前のことをしています。
一方、弊社が提案しているAnti Imaging(AI)の発想は、センシング段階での単能アプローチによる、少情報化、省電力化です。しかし万能ではありませんので主流でなく、賛同者が少ない状況です(泣)。
せめて語呂でも普及させようと思い、ILS2023のNEDOドリームピッチでプレゼンをさせて頂きました。ここでは”AI(Artificial Intelligence)にAI(Anti Imaging)を”、”nVIDIAにNie-VIDIAを”、”IOWNにI OWNを”と締め、最先端技術とは異なる追加の提案を孤立無援で行いました。キャッチーなタイトル;「AI(Anti Imaging)カメラを用い、AIの負荷軽減」のお陰か、半導体/精密機器/電子部品/バッテリー分野で視聴数Topをキープしました。添付資料(アニメーションで順次表示されて行く)は気に入っているので啓蒙資料として活用します。
NTT次世代戦略である「IOWN」構想では、流行りの「持続可能」な成長に向けた課題である、IT機器の消費電力増大;5倍、情報流通量増大;190倍(@2006→2025)に対応するために、オールフォトニクス・ネットワークを構築して、伝達遅延を減らすアプローチを掲げていて、IOWNグロバルフォーラムには94社が参加しているそうです。因みにIOWNは「beyond Internet」とか、「beyond 5G」と言われています。
「IOWN構想」とは何か? NTT“次世代戦略”と参加企業をわかりやすく解説 |ビジネス+IT (sbbit.jp)
一方、弊社が提案しているAnti Imaging(AI)カメラは、大幅な情報量削減、省エネに特徴があります。このようなセンシングで対応する単能アプローチは、IOWNのように万能ではありませんので、賛同者が少ない状況です(泣)。
Anti Imaging(AI)と言っても、Imageを出して伝送し処理するのではなく、Imageに所属(own)した情報(動き輪郭。特徴点)をセンサから出すので、このアプローチもIOWNと呼ぶのかもしれませんネ。弊社はHPやプレゼンでの啓蒙活動が精々で、IOWNフォーラムは大手企業ばかりなので参加は無理ですが。
啓蒙活動としてプレゼンしている資料からの抜粋を少し紹介しますと、IoTの課題として「情報量の多さ」を挙げています。現行のIoTシステムは、インターネットに繋げる機器が増えて情報量が増大し、少しでも遅延を防ぐため、5Gや「IOWN」構想(高速化故にbeyond 5G)で、情報量が増えることを前提とし対策を行っています。現行は画が出るイメージセンサ・カメラが普通ですので、膨大な画像情報と格闘しています。高速でAI処理するためにはアルゴリズムが重要で、優れた画像処理エンジンを有するNVIDIAが有名です。
弊社の提案は、このアルゴリズム勝負から、センシング勝負にすることで、「AI(Artificial Intelligence)からAI(Anti Imaging)へ」という言葉を流行らせるべく、2022年のイノベーションジャパンで提唱しています。このセンシング勝負というのは、画が出ないカメラ・センサで必要な情報(動体の輪郭・特徴点)を、必要な時(動きが有る時)だけ出力することです。「Big useless data から Small usefull data へ 」という言葉のように、従来の膨大な画像情報(Big useless data)から必要情報(usefull data)を抽出するため、アルゴリズム勝負(力ずくでバタバタ)するのではなく、必要な情報を動きに特化しイメージセンサから画像を出さず、動体の必要情報(Small usefull data;輪郭や特徴点)を直接出す、センシング勝負(スマートでテキパキ)に持ち込みたいと考えています。
センシング勝負にするためには、イメージセンサ内で処理を簡単化することが必要です。啓蒙活動としてプレゼンしている資料からの抜粋でそのセンサの構造(特許図面より引用)を説明します。
露光時間の異なる2種類の画素の隣接画素差分をとることで、膨大な画像情報の大半を占める静止画の情報を大元から無くし(センサから出力しない)、動体の輪郭のみの情報にします。この輪郭から特徴点を抽出方法はアルゴリズムが必要ですが、大幅に情報量が減っているので、センサ内の回路で処理することも可能です。するとイメージセンサからは画が出ず、必要な情報のみを出すことができて、大幅に情報量は削減できます。
露光時間の異なる2種類の画素の隣接画素の加算をすると、高ダイナミックレンジな画像(スマホカメラのHDRモード)を提供するイメージセンサになります。このHDRイメージセンサは画像が出ますので情報量は多いままです。差分をとると大幅に情報量が減ります。この隣接画素差分で静止画を削除(出力をゼロに)するためには、露光時間が異なりますので、一般的には画素の出力を揃えるためにゲイン調整が必要です。しかし露光時間見合いで感度が異なる画素を使うと、ゲイン調整が不要になり(上側の特許図面参照)、CCDイメージセンサのCDS回路(差分回路)がそのまま使えます。
この画が出ないセンサをイメージセンサと呼ぶかは疑問符が付きますが、加算機能を追加するだけでHDRイメージセンサになることと、イメージから必要な情報のみを抽出するセンサですので、やはり広義のイメージセンサになります。現役時代に画が出る(狭義の)イメージセンサしか作ってこなかった大いなる反省の基に、定年退職後(老後?)は広義のイメージセンサを提唱しています。この広義のイメージセンサを活用することで、伝送速度改善だけでなく、伝送情報量を削減することで、データ量増大;90倍(@2010→2025)に寄与できればと夢見ています。
因みにスロベキア語で「vidia」は「見る」という意味が有るそうで、否定形の「non」はスロベキア語では「nie」だそうです。「見てない」は「nie-vidia」となり「NVIDIA」と略せますね。(膨大な画像情報と格闘しているので)これを意識して社名を付けた訳ではないでしょうが?。見てないセンサがあれば、社名に因んで面白い応用を考えてくれそう。(でも情報が少なすぎて活躍の場がないか?)
上述したIoTの課題解決のために、弊社で開発中、コンセプト提案中の6つの目(5つの目から増えました!)の概要に付き下記に記します。今まではトップページにあり冗長になっていました。内容的に増えてきましたので、鳥の目、虫の目、魚の目に対応する3つの目(本流)と、派生(欠点対策)の3つの目(傍流)に分割しました。
コジツケですが、これらは全て、今流行りのAIカメラに略せます。(以下の各説明文中の最後にAIカメラの説明を追加しました)
まず、主流の3つの目の説明をします。啓蒙活動としてプレゼンしている資料からの抜粋で、3つの目の導入部を添付しました。
①(無駄な)画が出ないカメラ‥鳥の目(マクロ(俯瞰的)に”見る目”)
必要時のみ画が出るカメラ(イメージセンサ)です。従来イメージセンサ、カメラからは常時画が出るために、カメラ台数だけモニター画面が分割され、モニターし辛い監視システムとなっています。
特定領域(例えば立ち入り禁止区域)で動きがあった場合のみ画を出し、それ以外は画を出さず、後段のシステムをOFFするという特長を持ったセンサ、カメラを提供することで、モニターする側、される側のストレス軽減、省エネ、情報量削減、小型、低コストといった利点を生じます。情報量が少なく複数台のカメラを連携させて俯瞰的に見る目ということで”鳥の目”に相当します。
このカメラは動きの少ない場所での監視、見守りに向いています。例えば立ち入り禁止区域での監視、介護等の現場で特定領域(例えば廊下のドア付近)、での動きの見守り、留守宅の見守りです。情報量の少なさを活かし複数カメラを連携させると、動き追跡対象物の移動ルートが追えるようになります。
このカメラは別名”居眠りカメラ”と言います。”寝ている状態(Sleep)”と、”起きている状態(Wake-Up)を繰り返すことで、消費電力の大幅削減、情報量の削減を実現し、ソーラーバッテリー駆動、無線通信機能と組み合わせて、設置場所を問わない見守りカメラを提供します。 本命はセンサチップ内で判定をして、必要時以外には画が出ないイメージセンサだと考えていますが、未だ物(センサ)は有りません。
特許は国内、海外(米国、中国、韓国、欧州(英、独、仏))で登録されました。
画が出ないカメラは、Imageが常には出ないのでAnti Imagingカメラ(AIカメラ その1)と称します。
②(小さすぎて)”見えない”カメラ‥虫の目(ミクロに足元を見る目)
TSV(貫通電極)を用いたウエハレベルピンホールカメラです。血管内視鏡用センサ(0.7mm角)で試作すると、1mgの世界最軽量カメラになり小さすぎて見えません。レンズレスで何処でもピントが合います。低感度、低解像度が欠点ですが、盗撮に向かない(綺麗に見えない)というメリットもあります。見えないカメラは現場に接し足元を見つめ直す目‥虫の目に相当します。(未だモックアップだけですが、文字通り落とすと探すのに苦労します。)
特許は国内、海外(米国、欧州(英、独、仏)、中国)で登録されました。
AIカメラや顔認証カメラのように膨大な画像データをリアルタイム高速演算で画像処理し、特徴抽出するインテリジェントカメラが主流ですが(究極はSONY様のインテリジェントビジョンセンサ)、監視カメラは膨大な動画データを事件後にチェックするため、現行犯逮捕に至っていません。実際、警察署(”富田林”署)から犯人逃走後、日本一周!?の途中で逮捕という”トンだ話”がありましたが‥、鳥の目で俯瞰的に見ることで、誰かは不明だが何処かは分かるモニターシステムを提供し、パトカーのカーナビに逃走者の現在位置を表示させ、”捕った話”にしたいと思います。
(トンダバヤシ⇒トンダハナシ⇒トッタハナシ)。
Big useless data から Small useful data 取得カメラとし、”画が出ない” 、”画にならない” 、”見えない”カメラを提供することで、新たな価値(省エネ、低ストレス、情報量の削減、健康管理)を創造し、世の中の役に立ちたいと考えています。
見えないカメラは、見えないのでAnti Imagingカメラ(AIカメラ その2)と称します。
③画にならないカメラ‥魚の目(トレンド(流れ)は”見てる目”)
画素が1列に並んだリニアイメージセンサを用いたカメラで、”画にならないカメラ”が提供できます。この適用箇所は便座で、動きが無いお尻は画にならず、移動物体である出たてのホヤホヤの便を、異なる発光波長のLEDを順次点灯しながら照明し、これと同期しながら複数のリニアセンサで全周から読み取ります。ここで扱うのは画像データではなく数値データで、抵抗感を無くした”健康便座”を試作しました。
便の色の日常チェックを行うことで大腸がんの早期発見のみならず、将来的には”健康見守りロボット”として、ビックデータ解析(日常のトレンド;傾向管理)で病気の予兆が見つかったら良いなと夢見ています。これは流れを見る目で”魚の目”に相当します。 特許は国内、海外(欧州(英、独、仏)、中国)で登録されました。
画にならないカメラは、ImageにならないのでAnti Imagingカメラ(AIカメラ その3)と称します。
本流の目の欠点対策をした傍流の3つの目を、啓蒙活動としてプレゼンしている資料からの抜粋で、次に紹介します。
④いつも綺麗に”見える目”(”鳥目対策の鳥の目”)
”見えるカメラ”を着想しました。(昼も夜も綺麗に)見えるカメラ(イメージセンサ)”で、未だ物は有りません。現在のカラーカメラでは人間の視感度に合わせるために赤外カットフィルターを挿入しますが、夜間では赤外光が主体になる為、これが邪魔になります。即ち夜盲症(鳥目)になります。見えるカメラは赤外カットフィルターがなくても色再現性が良く、昼でも夜でも綺麗に見えるカメラになります。”見えるカメラ”とは”鳥目対策の目”で、この目(イメージセンサ)を用い”鳥の目”を構成しますと、”鳥目対策の鳥の目”となり、少々ややこしいネーミングの関係になります。
見えるカメラの特許は国内、海外(米国、中国)で特許登録され、米国での特許登録番号はNo.10,008,521と1千万の大台と僅か1週間の差でした!‥※注)参照。
いつも綺麗に見えるカメラは、暗時でも見えるので、Anji Imagingカメラと称します。ここいらからコジツケが苦しくなってくる!
⑤画がないカメラ(”虫の目の欠点対策”)
”画がないカメラ”も追加しました。これは動きベクトルカメラで、背景の静止画が消え動きの輪郭だけが表示されます。方向を色で、速度を幅で表現します。輪郭だけで画がないので、”画がない目”に対応します。虫の目の欠点としてはピンホールカメラであるが故に、低感度・低解像度の問題が有ります。動きの輪郭に相当する必要解像度は低く、10画素×10画素ブロックの平均化でも十分であることが分かりました。即ち100画素相当の感度になりますので、ピンホールカメラの低感度の対策になります。同様に解像度に対する許容度も増えます。このように”画がない目”で”虫の目の欠点対策”ができます。
画素ブロックでの平均化は別のメリットも生じます。単画素で処理し動きベクトルを作成する場合、ビット的なノイズが生じます。画素ブロックでの平均化の場合、均されてこのビット的なノイズが発生しにくいというメリットです。
またカメラ問題点のプライバシー侵害の懸念が無くなります。後段の演算処理が容易なHuman-Machine-Interfaceの入力手段として、藤沢市のロボット産業推進事業補助金を活用して開発を進めました。動きベクトルカメラの構成は国内で特許登録されました。画がないカメラは輪郭だけで画がなく、虫の目(AIカメラ その2)の欠点の対策になりますので、Anti Imagingカメラ(AIカメラ その2’)と称します。
⑥見てないカメラ(”無視の目”)
更に情報量を減らして”骨格カメラ”や”特徴点カメラ”も、藤沢市のロボット産業推進事業補助金を活用し開発しました。動きベクトルカメラとは異なり、輪郭も見ていませんので、”見てない目”に対応します。特徴点ですと究極のプライバシー対策になります。
”見てない”ので、”無視の目”というネーミングのカメラです(虫の目と発音は同じです)。見てないカメラは、輪郭も見ていませんので”無視の目”です。虫の目(AIカメラ その2)の欠点である低解像度、低感度に対し、”無視の目”は究極の対策になりますので、Anti Imagingカメラ(AIカメラ その2”)と称します。
※)どうでも良いことですが、6つの目になったことで、Six Eyes technology というSEtechの語源が増えました。(あと一つ目を増やせる。逆さのメは目でないし)
※)更にどうでも良いことですが、米国特許のキリの良い番号の年月を調べました。
US1‥1836.7 ,US10‥1836.8 ,US100‥1836.12 ,US1,000‥1838.11 ,US10,000‥1853.9 ,US100,000‥1870.2 ,US1,000,000‥1911.8 ,US10,000,000‥2018.6.19
ということで、今回の10,000,000は1世紀(107年)ぶりだったそうです。それと僅か7日の差か。弊社の米国特許の第1号と第3号はそれぞれ2018.3.20、2018.12.18なので、これらも-91日と+182日の差と近かった。
因みに米国での特許第1号は1790.7.31に出願されている(1790年特許法;米国憲法の特許条項に基ずく)そうですが、1836年特許法(特許庁を設立)した最初の特許は上記だそうです。 http://beikokupat.com/us-patent/number10/
国内登録(特許第6051399号)され、米国でも特許が登録(US10157945)されたウエハレベルピンホールカメラの概略に付きご紹介します。これはレンズレスカメラで、超小型、安価なカメラを提供します。サイズは1mm以下を狙い、(小さ過ぎて目に)”見えないカメラ”です。
製造工程は下記のようになっています。まずイメージセンサウエハの表面にカバーガラスウエハを貼り合わせます。次にイメージセンサウエハの裏面より薄くし、表面の電極目がけてイメージセンサウエハの裏面より貫通孔(TSV;Through Silicon Via)を開けます。貫通孔を経由してイメージセンサウエハ裏面には表面の電極と繋がった配線を形成し、配線には半田ボールを搭載します。この際、ガラスウエハ表面には遮光膜を形成し、遮光膜にはイメージセンサと位置あわせをしたピンホールを開けておきます。最後にイメージセンサをカバーガラスと共に個片化することで、ピンホールカメラモジュールが形成されます。
このウエハレベルピンホールカメラモジュールの利点は、レンズが無いのでピント合わせが不要なことです。ピンホールカメラの特長である何処でもピントが合うカメラが簡単に実現でき、非常に小型で安価なカメラが製作が出来ます。一辺が0.7mmのイメージセンサ(血管内視鏡用センサ)で、カバーガラスの厚さも0.7mmでは、何と重さは1mgr!しかなく、世界最軽量のカメラモジュールが実現します。さらにピンホールを2つ以上開けると近距離の距離センサになります。 このピンホールカメラモジュールの問題点は、感度が低いこと、解像度が悪いことです。高感度、高解像度は通常のカメラの得意分野ですのでそちらに任せます。
このウエハレベルピンホールカメラモジュールの応用は、低ストレスカメラ、動きスイッチ、動きベクトル、指紋認証、Human-Machine-Interface、距離センサがあります。この内Human-Machine-Interfaceは、SEセンサが動きベクトルモードだと背景の静止画が消えますので、指先の空間座標位置が簡単な演算で求まります。
明るい所でしか使えない制限が有りますが、サイズが余りにも小さい(見えない)ので、撮られているストレスも有りません。逆に何処で撮られているか分からないというストレスに対しては、ピンホールカメラの欠点である低解像度、低感度(綺麗に見えない)であることが、かえって利点(低ストレス)になるかもしれません。
尚、本コンセプトはSEセンサ同様物は出来ていません。但しTSV工程は一般的になってきており、SEセンサ開発と共に試作をしたいアイテムです。
目に見えないカメラ(ウエハレベルピンホールカメラ)は大きさが1mm以下(血管内視鏡用TSVチップを使用すると;0.7mm角)と目に見えずカメラの存在感の低ストレスになります。また感度対策でピンホールを大きくすると低解像度(ピンボケ状態)になり、それがかえって高精細なカメラで見られていないという安心感から、ストレス低減に役立ちます。このことから”見えないカメラ”とは、(小さすぎて)見えないカメラ以外に、(綺麗に)見えないカメラ(ピンボケカメラ)の意味もあります。
介護の現場では”目障りなカメラで何時もくっきりと見られている!というストレスからカメラを外されてしまう。”という切実な声を聞きました。ピンボケ画像でもどのような状態かは分かるので、見えないカメラの特長である;①0.7mm角と存在感が無く、②ピンボケカメラは、介護現場での各部屋でのモニターとして相応しいと思います。画が出ないセンサ(SEセンサ);常には見てないカメラで、見えないカメラ(ピンホールカメラ)を製作すると、指定場所での動きが有った時だけピンボケ画像(綺麗に見えない)を出すことでモニターされる側にとって低ストレスなカメラになることが期待されます。
見えないカメラ(ウエハレベルピンホールカメラモジュール)の応用の、Human-Machine-Interfaceの原理は、SEセンサが動きベクトルモードだと背景の静止画が消えますので、指先の空間座標位置が簡単な演算で求まります。動きベクトルのドットは複数画素で構成しますので、ピンホールカメラの欠点である低感度をカバーします。また動きベクトル画像ですので解像度の要求レベルも下がり、SEセンサの動きベクトルモードとの相性が良くなります。
明るい所でしか使えない制限が有りますが、液晶モニターの前面は液晶のバックライトで明るくなっています。サイズが小さいので、配置の場所の制約が少なくなります。液晶モニターの4隅に配置するとアンタッチパネルになり、駅の券売機や銀行のATMのように画面にタッチするストレスから開放されます。(潔癖症の方に朗報!?)、ピンホールカメラは何処でもピントが合い、指紋センサとして使用できるかもしれません。
高齢化社会の進行と共に、高齢者の意思疎通が重要となり、Human-Machine-Interfaceのツールが有ることで、言語表現が不自由になり意志表示が困難になっても、体(例えば指先)の動きで意思伝達をしたり可能になります。
また体の動きの輪郭画像(動きベクトル画像)をスポーツゲームに活用し、体力の低下を防止できます。
バーチャルリアリティーゲーム(HMDを装着)を使ったリハビリ(ゲームリハビリ)では、可動範囲の不足分を補正することでゲームが楽しめます。こうすると発病・ケガのリハビリがゲーム感覚で行え、楽しいリハビリになります。この補正係数はリハビリの回復度の定量的な目安になり、より定量化されたリハビリになるという副産物も有ります。リハビリが楽しく退院しなくなるのも困りますが(笑)。
藤沢市のロボット産業推進事業補助金に、”ロボットのHuman-Machine-Interface向け要素技術開発”と題して3年連続で採択され開発を進めました。如何にカメラから出力される情報量を減らして、必要最小限な情報を出して後段の処理を減らすか。を研究しています。
動きベクトルカメラ(画がないカメラ)の応用としては、Human-Machine-Interfaceへの応用が有ります。パネルの4墨に配置し指先の空間座標位置が容易に求まり、アンタッチパネルが実現します。また動いている体の輪郭も捉えられますのでスポーツゲームや、VRと組み合わせたゲームリハビリの応用が有ります。リハビリ中では稼動範囲が制約されるため、そのままではゲームが楽しめません。実際の稼動範囲に補正を掛け、VR上では稼動範囲が確保されゲームが楽しめるようになります。この際に重要なのはこの補正係数がリハビリの回復度になることです。リハビリの回復度の定量化ができ、ゲーム感覚でリハビリが楽しめます。回復度が定量化されて、楽しみながら(楽しすぎて退院しないと困りますが)リハビリができるので、リハビリ期間の短縮になり、健康長寿に貢献出来るのでは?と夢見ています。
動き情報撮像装置が特許登録(特許第7025073号)されました。
動き情報撮像装置とは動き輪郭情報から簡単な演算で、動きの方向や動きの速度を取得する方法に関する特許です。この簡単な演算とは差分信号、微分信号の論理積と論理和を取るだけなので、イメージセンサから直接動きベクトルの出力が可能になります。この回路図を添付図に示します。
露光時間の異なる一対の画素差分を取得し、静止画では差分出力がゼロになるように調整すると、動体の輪郭部分のみ差分出力が得られます。更に微分出力も取得し、差分情報と微分情報の論理和。論理積を取得すると動きベクトル情報が得られます。
従来この動きベクトルの取得は、イメージセンサから出力される膨大な情報量の画像情報を、リアルタイムで高速演算することが必要になり(動線取得難)、膨大な電力が必要でした(カメラ開発会社社長談)。
今回の特許では上流側(イメージセンサ側)で、画素差分情報を基に動き情報を抽出し、この情報を基に論理和や論理積で動きベクトル情報を抽出しますので、イメージセンサ駆動+αの消費電力で、動きベクトル情報取得が可能(動線取得容易)となります。
この動き情報カメラ(センサ)は画素ブロック(例えば;10×10画素)の平均値で差分を取り、露光時間の異なる画素は隣接しています。このため虫の目の欠点であった、低感度・低解像度の問題は解消できます。(感度は100画素分の感度となります)
Human-Machine-Interface応用では、解像度も低くて済みます。文字通り、”無視の目”(動きベクトル)センサを用いると、”虫の目”の欠点の解消が出来ます。本知財も、優遇制度が有るPCT(国際出願)で、独力で手続きをしました。
R4.4.1にPCT出願手数料が(送付手数料;1→1.7万円、調査手数料;7→14.3万円)改定されており、早めに手掛けておけばと悔やまれる。但し7.1からは更に国際出願手数料が15.95→17.9万円に改定されるので、これに間に合っただけでも良いか?。中小ベンチャーは1/3になる減免制度があり、ダメージは少ないが。
未だSEセンサは出来ていませんが、SEセンサより直接出力を目論んでいる動きベクトルにつき説明します。これはカメラからの出力が画像でなく動きベクトルですので、”画がない”カメラと命名し、カテゴリーを変えました。見てないカメラとも称し、画像はないので低ストレスです。
画素ブロック毎に動き判定を行いますが、動きが無ければ画像出力がゼロになり、動きの輪郭のみ出力がされることから、動きベクトルが簡単なアルゴリズムで所得できます。
図は動きベクトルのデモ画像ですが、背景の静止画が消え、動きの方向が色で、スピードが幅で表示されます。動きベクトルを重畳するだけで動線が簡単に求まり、動線取得が容易になります。パネルの4隅に配置することで指先の空間座標位置が三角測量の原理で簡単に求まります。従来、カメラ画像から出力される画像から動線を取得するには、リアルタイム高速演算が必要で動線取得が困難でした。センサから動きベクトルが直接取得でき、重畳するだけで動線が取得できると、動線管理が簡単になります。
これはHuman-Machine-Interfaceへの応用分野が有ります。見えないカメラ(ピンホールカメラ)では何処でもピントが合いますので相性が良く、タッチパネルのように
パネル表面が汚れることなく、また指先も非接触なので清潔感が有ります。
SEカメラを改造し動きベクトルカメラを試作しました。動きの輪郭のみ表示され、方向を色で速度を幅で表示します。
Dipスイッチの切り替えで、元画像に動きベクトルを重畳させ表示させるモードと、動きベクトルのみを表示させるモードが選べます。
背景の静止画が消え、動きの輪郭のみが表示されると情報量が減り、Human-Machine-Interfaceへの応用が拓けると考えています。
この開発費用として令和元年度の藤沢市ロボット産業推進事業補助金に、平成30年度に引き続き採択されました。
見てないカメラの説明をします。見てないカメラは無視の目カメラとし、虫の目の分類に入れます。
添付の画像は、原画像、動きベクトル画像(画がない)、骨格・特徴点画像(見てない)を列挙しています。原画像の内、動画だけに注目し、動体の輪郭と動きの方向を動きベクトル画像で表示し、動体の骨格と、特徴点を骨格特徴点画像として表示しています。動きベクトルでは静止画を消し、動体も輪郭しか残していませんので、”静止画、動画”を無くしており、”画がない”状態です。
更に、動体の輪郭すら消している骨格・特徴点画像は、原画像を”見てない”状態になり、特徴点の座標だけですと、16×16ブロックでは8bit(1バイト/フレーム)となり、動き方向センサとして方向のみ出力すると、左右だけなら1ビット/フレームの情報量になり、文字通り世界最少(情報量)カメラを提供できます。
無視の目を虫の目で提供しますと、世界最少カメラを世界最小カメラで提供できることになります。語呂合わせとしても面白いですね!
見てないカメラ画像例です。1動体に1点(特徴点)が対応します(単体特徴点と称す)。
原画像、輪郭画像、動きベクトル画像と特徴点表示画像を示します。特徴点の数が動体(車、バイク、歩行者)の数に相当しますので、簡易交通量調査カメラになります。
画でなく、解像度は要求しませんので、虫の目の欠点である低解像度はクリアし、
複数画素で輪郭画像を処理することで、虫の目の別の欠点である低感度もクリアします。
見てないカメラの別の画像例です。1動体に複数の特徴点(頭頂、手の先)が対応します(複数特徴点と称す)。
原画像、動きベクトル画像と特徴点表示画像を示します。頭の先端、手の先といった個所が特徴点になります。
これらの画素差分で得られた輪郭情報からの骨格・特徴点の取得アルゴリズム・フローチャートは、老脳に鞭打って?作成しました。
一般的な画像より、動体のみを”選りすぐる”センサの出力イメージを説明します。「選りすぐるイメージセンサ」で動体のみをセンシングした出力イメージです。
元画像(左上)をベースに、画素差分で動体の輪郭画像(右上)を取得し、この輪郭画像からマスキング画像(右下)を求め、元画像とのANDを取得することで、動体のみの画像(左下)を得ます。これを走査線毎(マスキング信号は複数走査線を活用しても良い)に行います。これにより、一般的な撮影画像から動体のみをイメージセンサから直接出力(走査線毎に動体認識)します。(マスキング画像、動体のみ画像はイメージです。)
これにより「イメージセンサからの膨大な画像情報を、リアルタイムでハンドリングして動体を抽出するという」今までの力ずくの常識的な発想を覆し、「発想を変える視点」の”蝙蝠の目”である、「選りすぐるセンサ」を実現します。
人や動物の動きはActionと呼ぶので、「選りすぐるセンサ」をAction Imaging(AI)と呼びますが、他に、活性(Active)な個所(画像領域)だけ抽出するので、Active Imaging(AI)と称することも出来ます。何れにせよAIの範疇には変り有りません。
商品陳列棚の発展形で、動体(ピックアップ商品、車、通行人)のみを出力する、センサ方式の提案(特許第7449019号)を行います。動体のみの出力をするイメージセンサですので、”選りすぐった(動体)画像のみ”を出力するので、文字通り動体のみを「選りすぐるセンサ」となります。 「選りすぐりセンサ」と言うと、”センサの中で選りすぐられた”の意味になりますので、「(動体のみを)選りすぐるセンサ」と呼ぶことにします。
通常のイメージセンサでは常に撮像し画像処理をしていますが、エリアセンサを含めたイメージセンサで、簡単な処理をセンサ上ですることで、背景の静止画を消し、動き物体の画像のみを出す工夫です。これにより後段の信号処理の負担を大幅に軽減できます。
これはリニアセンサを用いた商品陳列棚だけでなく、一般的な撮影画像から動体のみをイメージセンサから直接出力(走査線毎に動体認識)することを狙います。これにより「イメージセンサからの膨大な画像情報を、リアルタイムでハンドリングして動体を抽出するという」今までの常識的な発想を覆します。”蝙蝠の目”には、「発想を変える視点」の意味もあるので、この「選りすぐるセンサ」を”蝙蝠の目”と呼びます。‥これで4つの目(視点)が完成した!。
また人や動物の動きはActionと呼ぶので、「選りすぐるセンサ」をAction Imaging(AI)と呼び、AIの範疇に含めます!‥全てAIにコジツケルことも継続中!。
必要な画像情報(動体画像)のみを処理することで、撮像システム負荷を大幅に軽くし、店舗だけでなく様々なシチュエーションでの情報処理量を減らします。
無人店舗としては、AIカメラを沢山配置したシステムや、セルフレジで顧客にバーコードを読ませる方式が一般的ですが、商品陳列棚から商品をピックアップする際にセンシングする、センサ方式の提案(特許第74001129号)です。商品ピックアップ時にのみ、動体(商品、顧客の手)のみ、の出力をするイメージセンサを狙っており、”選りすぐった(必要な)画像のみ”を出力するので「選りすぐりセンシング2」と呼びます。
ピックアップ時に必要な画像情報のみを読ませるべく、リニアセンサで情報量を減らした上に、動きが有る時のみ動き物体のみをリニアセンサから出力します。「リアルタイム動きイメージセンサ(リニアセンサ)」になります。
無人店舗としては、AIカメラを沢山配置したシステムや、セルフレジで顧客にバーコードを読ませる方式が一般的ですが、商品陳列棚から商品をピックアップする際に、商品に付与された簡易コードをセンシングする方式の提案(特許第7376958号)です。商品ピックアップ時に無意識にセンシングすることを狙っており、顧客が”選りすぐった商品のみ”を、ピックアップ時にセンシングしますので、「選りすぐりセンシング1」と呼びます。
ピックアップ時にバーコードを読ませるのは精度の点で難しいので、棚に陳列された商品を限定し、ピックの際に簡易コードを読み取らせます。全ての商品がセンシングOKなら、インセンティブとしてレジレスゲートに誘導し、カード引き落としの会計を行います。センシングNGが一つでもあれば、通常通りセルフレジゲートで商品毎のバーコード読み取りをします。客の動線とリンクし無人店舗化を目指しますが、動線は「無視の目」の得意分野です。
通常のPOSシステムではレジに通した時のみ、売り上げが分かるので同時性がなく、手に取ったものの元に戻した場合には記録に残らず、顧客の関心度は別の手法(監視カメラ)が必要ですが、本方式ではリアルタイムで、売り上げや関心商品動向を把握することができます。元に戻した場合はリニアセンサでも、商品の動き方向で戻したことが分かります。次世代のPOSはこの”POST-POS”だと語呂合わせをしています。
コロナ対策グッズとしてはWBS年間トレたま大賞候補になった空調フェースシールド(2021.3.18放映)があります。これは、顔を覆う部分が密閉されていて、頭の方からファンとフィルターできれいな空気を取り込み、吐く息は顎の方にあるフィルターでろ過して出しているそうです。”マスクより苦しくなくて良い”とのキャスターのコメントが有りましたが、ファンを廻すための動力が必要なのと、防毒マスクのフェースシールド版で、顔全面が密閉されているため食事が出来ません。特許の公知例も同様の密閉式マスクで、これに対し新規性・進歩性を有すると承認された。
提案のコロナ対策の構成は、歯科クリニックの飛沫を収集する吸引フードの様に、メガホンの向きを逆さまにし、ジョウゴ状にして口や鼻から出た飛沫を収集して、減圧ホースで飛沫を吸引(始末)するものです。これが飛沫の始末でゼロコロナとなります。具体的なイメージは、形状例で示したように、フェースシールドの形状をした吸引フードで、吸引フードの下側の部分を可動部にし、会話時や声援時にはメガホン状で、飛沫感染を防止しますが、会食時には可動部が跳ね上がり、口元の空間が広がって飲食が出来るようにします。飲食時には手元を見るために下を向き、会話時には正面を向きますので、顔の上下の動きに連動し、吸引フードの下部が自動的に(重りを活用し)可動する工夫を考えています。顔が下向き(ルックダウン)で飲食モードになりますので、経済が廻ります。ロックダウンと一文字違いですが、大きな差ですね。
コロナ流行時に「3密回避」とかの「標語」作りで各知事が競っていましたが、
「ヒョウゴ」より「ジョウゴ」の方がよりコロナ対策になり、何時罹患するか分からないというコロナストレスの軽減になるのでは?と密かに思っていました。標語より字数が多くなりますが短歌に纏めて、”コロナ禍に飛沫の始末でゼロコロナ、ルックダウンで経済廻す” を流行らせたいと思います。
因みにクラスター発生医療機関1225件中、歯科は1件だけだったようです(厚労省局長の答弁)。歯科医は除菌を細目に行うから(かかりつけ歯科医談)と言われていますが、この吸引フードの寄与もあるのでは?と考えています。
提案の吸引フードの下側の可動部の動かす機構について説明します。手で稼働させる方法も有りますが、会食時にはマスク会食と同様に、頻繁に切り替える必要が有り面倒で飲食や会話に集中できなくなります。一般的に飲食時には手元を見るために下を向き、会話時や声援時には正面を向きますので、顔の上下方向の向きに連動して可動部が切り替わることが望まれます。
これの方法としては図に示したように、下側の可動部(図では下部透明パネルと表記)がフェースシールド(図では透明パネルと表記)に蝶番で繋がっており、蝶番を支点に可動するような構造です(図6(b))。下部透明パネルには蝶番を介して支柱が延びており、その先端には重りが付いています。
顔が下を向いて透明パネルが立ってきて、支柱が鉛直線よりも前に出ますと(図6(c))、重りの重さで回転が始まり、支点(蝶番)を軸として下部透明パネルが跳ね上がり飲食モードになります(図6(d))。この状態で正面を向いても飲食モードのまま保ちますので(図6(e))正面を向いて飲食が出来ます。
次に少し上を向きますと透明パネルが寝てきて、支柱が鉛直線よりも顔側に戻りますと(図6(f))、重りの重さで逆回転が始まり、支点(蝶番)を軸として下部透明パネルが下がり会話・声援モードになります(図6(g))。この状態で正面を向いても会話・声援モードのままを保ちますので(図6(a)、(b))正面を向いて会話・声援が出来ます。このように下部透明パネルはヒステリシスを持った動きをしまので、正面を向いたときに前の状態を維持します。
会話・声援モード⇒飲食モードでは手元の食材を見るために下を向くので、自然に切り替わりますが、注意点は、飲食モード⇒会話・声援モードで少し上側を向いて会話・声援モードに戻すことです。戻さないと飛沫が下部透明パネルで反射され下側に飛散してしまいます。下部透明パネルの端部が視界に現れ自然に上を向いて戻す癖が付けば気にならなくなるかもしれません。
「蝙蝠の目」にコジツている”逆さまのメ”は、上述した様に無意識にモードが変わり、”(自動的に)飛沫の始末(隔離)”が出来ますので、Anti Imagingとは異なりますが、”Auto Isolation”と、頭文字がAIになることに気が付きました!。
逆さまのメ(蝙蝠の目とコジツケテいる)の構成案について説明します。左図がイメージ図であり、右図が展開図です。展開図には透明パネルと下部透明パネルがあり、両者は蝶番穴で連結され、角度が変化する様になっています。下部透明パネルから延びた支柱の部分を重りがスライドします。この重りの位置を調整し、自然に会話モードと飲食モードの切り替えをします。これの方法としてはコロナ対策(構成2)で説明しました。
イメージ図で透明パネルと下部透明パネルの位置関係を示します。上図が会話モード、下図が飲食モードです。顔の向きでモードが自然に変わる(Auto Isolation)ように、支柱に沿った重りの位置をスライドさせて調整し固定します。
提案のコロナ対策の具体的な設置イメージは参考図を付けましたが、減圧ホースは飲食店のテーブル下や、スタジアムの座席下に設置された減圧配管に繋げばフェースシールド内は減圧になります。
飲食時に各テーブル毎に減圧ホースを纏めて飛沫を回収し、PCR検査や抗原検査を行うと、一括検査が出来て、検査費用は勘定と同様に割勘(割勘PCR)で行えば安く済みます。検査の精度を上げるためには、マスク会食せずに、勿論アルコールを飲んで、長時間大いに盛り上がって飛沫を出すことが重要で、静かに会食されると飛沫が収集できません。自治体の緊急事態宣言の要請事項とは真逆ですネ。時間を気にせず大いに盛り上がる(割勘PCRの検体を大いに採取できる)ことでコロナ不況対策にもなります。コロナが蔓延すると医療がひっ迫しますが、飛沫の始末(吸引)をして日常が取り戻せたら良いですね。
昨年の緊急事態宣言時には休業補償として4万円/日の補助金が出ましたが、減圧ポンプを含めても1テーブル/日のペースでコロナ対策が出来るのでは?と考えます。全テーブルへの設置が済めば通常営業に復帰できます。コロナ禍でもスタジアムや飲食店で大いに騒いでストレスを発散し、コロナ不況も吹き飛ばし、以前の日常を取り戻せたらな‥と夢見ています。
またスタジアムでの応援も、現状は、入場者数を絞って、観客の間隔をあけて、声を出さずに拍手だけで応援を求められており、一体となった応援が出来ずにいます。しかし、この逆さまメガホンの減圧ホースを減圧配管に繋ぎ飛沫吸引をすれば、いつも通りの一体となった応援が出来るようになります。顔を下に向けて可動部を跳ね上げ、飲食モードにすれば通常に飲食が可能です。
因みに、2020年4,5月の緊急事態宣言時には飲食店の売り上げが、前年同月比6割減(1.7兆円⇒1.0兆円)になり(厚労省データ)、飲食店従事者にとり大きなコロナストレスになりました。スポーツ関連は2020年に年次で3割減(2.2兆円⇒1.6兆円)となり、カラオケ店の売り上げも、年間で145億円減少したそうです。月次で換算すると飲食;1兆円、スポーツ関連;500億円、カラオケ;12億円の売り上げ減少になり、コロナ不況を引き起こしました。提案の逆さまメガホンで憂さを晴らしてコロナストレスを吹き飛ばし、コロナ対策が図れたら良いですね。
ストレス発散には飲食やスポーツ観戦以外に、音楽イベントへの参加やカラオケが有ります。音楽イベントはスポーツ観戦と同様に、座席下に設置された減圧配管に減圧ホースを繋げばフェースシールド内は減圧になります。
このように様々な場所で飛沫感染防止が出来て、コロナによる医療のひっ迫防止や、コロナ不況対策、コロナストレスの抑止が出来ます。
カラオケでは図で示す様に、フェースシールド内部にマイクを固定すれば良いです。可動部に固定しますと顔の向きにより可動し音量が安定しませんので、図のように固定部にマイクを設置した方が良くなります。飲食モードでマイクを持って歌うことも可能ですが、飛沫が外部に出てしまう事と、マイクによる接触感染の懸念も出てきますので、フェースシールド内のパーソナルマイクの方がコロナ対策には相応しいです。またカラオケに付きもの?のマイクの奪い合いにならないメリットもあります。これによりマイクの本数不足で皆で合唱し辛い不具合も解消しますネ。
これは合唱コンクールでの飛沫感染対策にも有効となることが期待されます。コロナ禍で全日本合唱コンクールやNHK全国学校音楽コンクール(Nコン)は2020年は中止になってしまいましたが、”マイク内蔵の逆さまメガホン(フェースシールド)”でコーラスにも日常が取り戻せたら。と願っています。個々のマイクで拾った大人数の音を、どの様に加工して合唱の音にするかの課題は出てきそうですが。
提案のコロナ対策はメガホンを逆向きにしますので、”逆さまメガホン”と呼んでいます。語呂合わせですが”サッカー(観客)さまメガホン”と変化するので、サッカー観戦に活用できないかと思い、J1所属の2つのサッカーチームに早速提案しました。
残念ながら、”J1のコロナ対策の方針と逆行するので‥”と相手にしてもらえませんでした(泣)。このアイデアに早く気が付き実証出来ていれば、東京オリ・パラは有観客で行えたのでは?と勝手に一人で後悔しています。
今まで”弊社が開発しているカメラ(目)は鳥の目、虫の目、魚の目だ!”と騒いおり、3つの視点(マクロ、ミクロ、トレンド)しか知りませんでした。しかしながら最近、できるビジネスマンは4つの視点;”鳥の目”、”虫の目”、”魚の目”、”蝙蝠の目”を持つことを知り、”蝙蝠の目”に該当するものが無く愕然!としました。”蝙蝠の目”の意味は、蝙蝠は逆さにとまっているので、物事を逆さまに見る視点が重要との意味だそうです。
画が出ない、画にならない、見えないカメラとか、十分時流に逆行したカメラのネーミングですが、今回の登録特許は”逆さまメガホン”なので、これを”逆さまメ”と略し、蝙蝠の目とコジツケルことにしました。メガホンは目ではないと”お目玉”を食らいそうですが、特許証は年初なので”大目”に見てと、”お年玉”に勝手にさせて頂きました。
尚、本知財は特許出願(2021.5.31)してから、特許査定(2021.11.30)を受けるまで丁度半年で完了し、登録日が2021.12.13で、特許証は2022.1.4と仕事始めの発行日‥まさにお年玉!。権利化するまでの最短の特許となりました。
やはり中小零細企業・ベンチャーに対する特許優遇制度(日本の制度は優れている)と、特許事務所を経由せず、独力で特許庁(審査官)との直接コンタクト、が功を奏していると思われます。PCT(国際出願)にも優遇制度が有るので、独力で手続きをしました。
因みに国内登録番号6,993,035は700万件目と2週間の差でした。
スマート農業の提案として、GPS搭載の無人トラクターとか、ドローンによる農薬散布とか、アシストスーツによる農業支援とかが流行りの言葉としてメディアで取り上げられています。なるほど自動運転、ドローン、介護からの流用で、手っ取り早く結果が出ますので、補助金対象としては採択されやすいのでしょうが、はたしてスマートと言えるのかと違和感を持っていました。
提案するスマートな農業とは、添付資料の様な「どの様な‥」のアイテムをクリアするコンセプトではないかな?と思っています。
これらのアイテムの解決方針として、以下に説明する農業用ロボットを提案しています。(プレゼン資料に沿って並べてみました)
プレゼン資料からの抜粋になりますが、地に足を付けない農業のコンセプトを紹介したシートです。レール上を走る移動ユニットに付属した作業ユニットと作業ツールで、農作物に対し上方より農作業をします。農地に足やタイヤを入れないので「地に足を付けない農業」です。色々なメリットが有ります。
プレゼン資料からの抜粋になりますが、地に足を付けない農業のコンセプトの続きを紹介したシートです。農地に立てた支柱とレールは、農業用部材の保持部材になります。「地に足を付けない農業」で、農地に足やタイヤが入りませんから、農業用部材の敷設や除去はロボットが行います。
農業用部材としては様々な選択が可能で、ビニールシートで温室となり冷夏対策になりますし、ネットだったら防虫、防鳥になります。また端部に壁を設置(ロボットor人手)すれば、防風や防獣になります。また光学フィルムを設置すれば生育促進環境になります。閉環境の農作物育成環境が提供できますので、レール断面がパイプ状で、ガスや気体の通り道として活用すれば、最適育成環境を提供できます。ビックデータ解析で最適生育条件を閉空間で実現すると、文字通り「ビックリデータ」の収率が達成できるかもしれませんね。
光学フィルムにストライプ状(日照を確保するため)のソーラー機能が有れば、日本の農地がソーラー発電候補場所になります。効率が現状の1/3でも原発250基分となり、エネルギー自給が達成されます(経済安保?)。移動ユニットの駆動源は住宅用の中古パネルが流用出来ます。農業用ロボットにはカメラが付いており農作物を観察しますので、農作物の生育状況に応じて、剪定やピンポイント消毒をすれば、同じ農地で無農薬、農薬の区別が出来て付加価値向上に役立ちます。
日本の農業は、高齢化(68歳)、労働力減(107万人、▲20%/5年)@R3で深刻な状況です。アシストスーツとかが紹介されていますが、多少は働ける年齢が延びるだけで、担い手不足で装着する人が居なくなります。
このように農業後継者不足は深刻になりますが、農業用ロボットに頭脳(AI)を付けると、農業後継者はAIになります。農業用ロボットにはカメラが付いていますので、カメラ画像を見てベテラン農夫がAIをティーチングすれば良い訳です。農地に入って実際の農作物を見ながら人から人への伝承をする必要が無く、ベテラン農夫が画像を見ながらAIのスキルアップを行い、後継者認定すれば良いだけです。あとはAIが完全自動で農作業を行います。クローズした空間ですので農業用ロボットが環境測定をしながら移動し、レールの構成物のパイプを通じ最適環境化すれば、収率のビックリデータ化が図れます。AIは皆で共用すれば後継者不足、技術伝承は一気に解決します。
遠隔操作が可能ですので、自宅から遠隔で操作し、ワーケーションで観光農園化し、収穫物が宅配で送られてくることも可能です。(土地に触れ合う機会が喪失されるのが気がかりですが)
スマート農業としてのスマート化の確認です。提案した目指すスマートなアイテムの解決方針に対し、それなりの策になりそうな感触を得ました。
添付の図面に特許公報6243497号からの最稠密植栽図を添付しましたが、この図から植栽の方向は現行より30度傾いた方向(斜面でパチンコ玉の並ぶ方向)になります。これに伴い、日本の農地の原風景が、将来変わるかもしれませんね。