技術
画が出ないカメラ、センサのコンセプトです。このコア技術は①センサorカメラ内部で動きを検知する、②動きが無ければ画を出さない、③動きが無ければ自身、後段システムをＯＦＦする。ことです。
この機能をカメラ自体、若しくはイメージセンサ自体に持たせます。このカメラ、センサは別名SEカメラ、SEセンサと呼びます。SEとは”静止画を消す”の英語名；Still image Eraseから取り、背景の静止画を消して動きの輪郭だけをハンドリングする意味合いで命名しました。
SEセンサでは、従来のセンサ機能以外に、画素ブロックごとに処理し動き判定をセンサ内部で行い、動きが無ければセンサから画像出力をＯＦＦし、後段システムＯＦＦ信号を出します。動きがあれば画像出力を出しても良いですし、動きベクトルを出しても良いです。
未だSEセンサは出来ておらず、SEカメラはNEDO補助金で試作しました。このSEカメラの特長は①見る側、見られる側の低ストレス、②電力、情報量の削減、があり、SEセンサでは更に③サイズ、コストの小型化があります。
SEカメラを設置した現場での声を反映し、音声アラーム機能、画像拡大機能を追加しました。これは従来のSEカメラの、”指定領域で動きがあった場合のみ指定枚数の静止画が指定時間間隔でPCに飛んできて、カメラIDと撮影時刻とともに表示される。”という機能に加え、現場からのご要望が高かった、①画面をクリックしなくても最新画像を拡大表示する。②画像が飛んできた場合にカメラIDと対応した音で知らせる。③音は吹き込んだ音声ファイルとリンクできる。という機能を追加しました。
これにより、例えば”10号室関根さん”と吹き込んだ音声ファイルと紐付けしておくと、10号室のドア付近で動きが有った時に”10号室関根さん”という音声メッセージが流れます。PCとして2in1PCを用い、モニター画面がタブレットとして使えると、このタブレットを持ち歩いていると、動きがあった際に音声が流れ最新の状況が拡大画像で表示されます。
‥この開発には藤沢市のロボット産業推進事業補助金を活用させて頂き、3/20に実績報告をいたしました。
1. 実証実験の目的
特定領域での動きを検知し、複数枚の静止画を撮影します。複数 台のカメラを連携させることで、移動ルートをリアルタイムに把握 することが可能か確認します。高齢化社会で増加が予想される高齢 者等の見守りや、不審者のリアルタイム移動ルートの把握に寄与し、 安心安全な社会の実現に貢献します。
2. 実証実験の概要
プレ実証フィールド内に5台のカメラを設置。各カメラに動き検 知領域を設定（図1はカメラ1、2の例）し、領域内で動き検知した以降、 数コマの静止画を1～数秒間隔で表示。各カメラで特定の場所の 移動ルートを把握し、情報を連携させ、校舎に入ってからの動きを トレースできるか、また、どの程度の情報量でトレースが可能かを 確認しました。
［日 程］ 令和元年12月17日（火） ［場 所］ 「さがみロボット産業特区」プレ実証フィールド（元県立新磯高 等学校）
3. 検証結果
校舎内の100秒間の動きを5台のカメラの計35枚の静止画でモ ニターし、全情報量は1MBとスマホの静止画1枚（6MB）よりも少 ないことを確認しました（図2）。スマホ動画では100秒間では5台合計 で750MBとなり、本方式では約3桁少ない情報量でリアルタイム の動き追跡が可能となります。現状の膨大な画像情報から探すことな く現在位置が把握でき、今後の高齢化社会の進行に伴う、高齢者 等の見守りにも役立つことが期待されます。
遮光筐体に格納された試作カメラです。無線Ｗｉｆｉにて画像がモニターできます。マイクロUSB電源差込口は２箇所有ります。バッテリー駆動の際に２つのバッテリーと連結し、バッテリー交換時に電源が切れません。マイクロSDスロットが反対側に有りますが、カメラの駆動条件設定をマイクロSDカードで行います。全面には夜間照明用の赤外LEDランプが付いています。１灯～４灯まで発光することが出来ます。またLEDの点灯時刻、消灯時刻を設定できます。
SEカメラ（居眠りカメラ）のコンセプトです。SleepとWake Upを繰り返します。
Wake Up時に動きを検知したらWifi立ち上げに移行し、静止画を送信します。
Sleep時にはセンサ、CPUがSleepなので動き検知できません。
その際の消費電力のイメージ図です。
従来SEカメラは動き検知時の（トリガー）画像は１枚だけで、Wifi立ち上げ後の画像を順次指定枚数だけ送信するモードでしたが、”動きトリガー後の画像を増やして欲しい”とのお客様のご要望に対応し、動きトリガー後の画像を増やす（Max8枚）改造を行いました。
図では動き検知（00秒）後、１秒間隔で合計８枚の静止画像を取得送信しPCに表示させたケースを示します。今回SEカメラはインターネットに繋いであり日時がタイムスタンプされています。このため電波目覚まし時計の日時とPC画面上のTimeは一致しています。Thumbnail画像をクリックすると拡大され、00秒でトリガーが掛かり（Serial No.00）、以下順次01秒（No.01）、02秒（No.02）～07秒（No.07）の画像を受信していること、が分かります。
SEカメラ内部に保存されたトリガー以降の一連の画像はWifiが立ち上がった以降順次出力されますが、画像が出た後は、指定秒数間隔の指定枚数の静止画をリアルタイムで出力し、一旦指定秒数のSleep期間を経て、再び動き検知モードとSleepモードを繰り返します。
Sleep=ゼロでは常にWifiが立ち上がったモード（省エネにはなりませんが、Wifiの立ち上がり時間待たないモード）になります。
一方、動き検出期間を長時間に設定すると、Wifiは立ち上がっていませんが、ほぼ常時動き検知している（Sleep=ゼロに近い省エネ）モードになります。
図ではカメラは１台だけ（CAM１）ですが、複数台カメラ（CAM１、CAM２…）を同じインターネットに繋げると、順次時系列的に出力されます。
複数のSEカメラを連携させたす動体追跡イメージです（写真では２台で各３枚に設定したケース）。
緑の設定領域で動きがあった時をトリガーにして、5秒間隔で３コマの静止画を出力しています。
Net経由で室外でモニターし、２台のカメラの５秒間隔の３コマの静止画像がタイムスタンパー付きで出力されます。
Netに接続された複数のカメラから連携された静止画像が出てくることにより、動体の現在位置が分かります。
例えばドアが空いてからの入居者の移動ルートの追跡。
SEカメラは情報量が少ないが故に複数カメラの連携が出来ます。これを街灯カメラに応用した例を図面を用いて説明します。街灯カメラでは特定領域（道路や歩道）での動きがあった時だけ静止画を複数枚、SEカメラから送信します。複数の街灯SEカメラがネット環境に接続されていれば、SEカメラから送信された静止画像は、同じくこのネット環境に繋がっている記録装置に蓄積されます。特定領域で動きがあった場合のみトリガーがかかり、動画でなく複数枚の静止画で保存されるので、情報量が少なくなります。撮りっぱなしの動画監視に比べ情報活用率は飛躍的に上がります。
空き巣が侵入した場合、”達磨さん転んだ”を空き巣がやらない限り、居眠りカメラと称されるSEカメラでも空き巣の作業時間？のどこかで動きを検知し、作業風景？をスマホに飛ばします。飛んできた画像を見て不審者だと判断した場合には、作業？画像と共に、住所、逃走時刻を警察に転送します。
警察は住所に該当する街灯SEカメラの静止画像情報が蓄積されている記録装置にアクセスし、対応する時刻帯の静止画データを引き上げます。その中から空き巣を特定し、移動方向から該当する時刻、場所の街灯SEカメラの静止画情報を引き上げて繋いでいきます。ネット環境内ですと同じ記録装置の画像を繋いでいけばよいですが、そこから外れたら逃走方向の隣のネット環境の記録装置にアクセスすることにより、広範囲な逃走ルートをカバーします。繋げて行く速度は空き巣の逃走スピードよりも速い筈ですから、容疑者の現在位置がパトカーのカーナビに表示されます。これによりパトカーが出動すると現行犯逮捕できる確率が上がり（犯行写真で観念させ、数分前のアリバイチェックをすれば良い）、現在の犯罪検挙率（30%=39万/132万件@H25）の改善を期待しています。
ポイントは警察は個々のSEカメラをアクセスすることなく、複数のSEカメラが繋がっているネット環境下の記録装置をアクセスすることで、複数SEカメラの動き静止画情報を時系列的に取得することが出来る点です。SEカメラには画像を保存する必要がなく、定期的に画像データをダウンロードする必要がなくなります。今後の高齢化社会で増えるであろう徘徊老人の捜索にも役立つことを期待しています。
'18年には警察（富田林署）の取調室から容疑者が逃亡し、日本一周！の途中で逮捕されるという”とんだ話”が発生しましたが、上記SEカメラネットワークで、逃亡中の現在位置を把握し”捕った話”にしたいと思います。 ”とんだばやし”→”とんだはなし”→”とったはなし”
また、上述したSEカメラ方式で現状３割の犯罪検挙率が改善し、例えば７割を超えたら犯罪抑止効果が高まり、安心安全な社会の実現が出来るのでは？‥と夢は膨らみます！
SEカメラによる夜間モニターの画像です。蛍光灯をOFFすると真っ暗になります。ここでLED点灯が始まると、白黒画像でモニター出来ます。
施設での消灯時刻に合わせて、LED点灯の時刻を設定すると、真っ暗になっても赤外モニターし、特定領域（例えば非常口付近）での動き検知をします。
この照明用赤外光は可視域外なので、人の目には見えません。SEカメラの赤外カットフィルターは可視域とこのLEDの発光波長帯域をパスするデュアルバンドフィルターです。
SEカメラからはルーター経由でPCに画像が飛んできます。
PCでの表示画面としては、どのカメラの画像であるか（Camera ID）と、何時の画像であるか（インターネットに繋いでおくと日時がタイムスタンプされます）と、Serial No.で、動き検知の画像とその後の画像が表示されます。カメラ画像をクリックすると画像が拡大されます。
00秒（分の表示が変わるタイミング）で動きトリガがかかります。動きトリガ－後、所定間隔で所定枚数だけ内部メモリーに一時取り込み、Wifiが立ち上がったら、この動きトリガー以降の複数の静止画を順次送信されます。
目覚まし時計の背景で手を動かしても、動き検知領域ではありませんので、動きトリガ－が掛かりません！。
SEカメラは画面を192分割（16×12）に分割し、任意のブロックでの動き検知を行うことが出来ます。
図面では分の表示の一桁台の上のブロック（目覚まし時計の写真で緑枠内）だけの、動き検知を行っています。
ここでの数字の変化を見てみますと、2→3、5→6、8→9ではこのブロックでの変化はありません。
実際の結果も42分→43分、45分→46分、48分→49分の変化時点では動き検知をせず、画像を飛ばしていません。
他の変化は00秒に起こりますので、40分、41分、42分、44分、45分、47分、48分、50分の変化時点（00秒）での、動きトリガー画像と、その後の指定枚数の画像と共に、画像がＰＣへ飛んできています。
Camera１のみのケースで表示しましたが、Camera２，３‥でも同様でＰＣ上の表示としては、時系列的に表示が並びます。
このように特定領域で動きがあった場合のみ画像を飛ばすことが可能となり、プライバシーに配慮した動き検知が出来ます。
SEカメラ（居眠りカメラ）の低消費電力化の概念図と、システムシーケンスです。
SEカメラ（居眠りカメラ）では、低消費電力化を目的に、Sleep（居眠り）、Wake-Up（覚醒）を繰り返します。
Sleep時はImage Sensor、CPUを共にスタンバイ状態にし、
Wake-Up時にはどちらもONにします。
Wake-Up時に動きを検知すると、Wifiを立ち上げるモードに移行します。
Wifiが立ち上がったら、最初に動きのトリガーが掛かった画像＋指定間隔で所定枚数の複数静止画像を送信します。
ここでルーターがインターネットに繋がっていると日時がタイムスタンプされます。
本SEカメラでは都度画像送信しますので、定期的にカメラより画像をダウンロードしに行く必要がありません。
Sleep期間を０秒に設定すると、Wifiは常に立ち上がった状態になります。即ち、動きがあった際に、都度時間の遅延なく、Wifi経由で送られてきます。
Sleep期間を十分長く設定すると、Wifiは立ち上がっていない状態で常に動きの検知をするモードになります。
未だSEセンサは出来ていませんが、SEセンサより直接出力を目論んでいる動きベクトルにつき説明します。これはカメラからの出力が画像でなく動きベクトルですので、”画がない”カメラと命名し、カテゴリーを変えました。
画素ブロック毎に動き判定を行いますが、動きが無ければ画像出力がゼロになり、動きの輪郭のみ出力がされることから、動きベクトルが簡単なアルゴリズムで所得できます。
図は動きベクトルのデモ画像ですが、背景の静止画が消え、動きの方向が色で、スピードが幅で表示されます。動きベクトルを重畳するだけで動線が簡単に求まり、パネルの４隅に配置することで指先の空間座標位置が三角測量の原理で簡単に求まります。
これはHuman-Machine-Interfaceへの応用分野が有ります。見えないカメラ（ピンホールカメラ）では何処でもピントが合いますので相性が良く、タッチパネルのように
パネル表面が汚れることなく、また指先も非接触なので清潔感が有ります。
SEカメラを改造し動きベクトルカメラを試作しました。動きの輪郭のみ表示され、方向を色で速度を幅で表示します。
Ｄｉｐスイッチの切り替えで、元画像に動きベクトルを重畳させ表示させるモードと、動きベクトルのみを表示させるモードが選べます。
背景の静止画が消え、動きの輪郭のみが表示されると情報量が減り、Human-Machine-Interfaceへの応用が拓けると考えています。
この開発費用として令和元年度の藤沢市ロボット産業推進事業補助金に、平成30年度に引き続き採択されました。
画にならないカメラ（健康便座）の紹介をします。これは”大便色検知装置”として特許第5861977号にて登録されています。
図に示すように便座と便器の間に、光源とリニアイメージセンサで構成された便座カメラを複数台設置し、大便表面の色を全周にわたって観察します。
トイレに座ると便器内は暗くなりますので、便の照明光として発光波長の異なるLEDを順次点灯することで、簡便に便表面のスペクトル解析をすることが出来て、便表面にある潜血部を早期に見つけようという試みです。
現在、日本人の3人に1人は癌で亡くなり、部位別で大腸癌は男性の3位、女性の1位になり、年間5.1万人（交通事故死亡者数の14倍！）も亡くなり、医療費も5500億円も掛かっています。
５年生存率はStageⅠ→Ⅱ→Ⅲ→Ⅳで、99→91→82→18％と早期発見が非常に重要です。現状の便潜血検査では苦労して乾燥状態でサンプリングし、便表面を擦って採取しても、便裏面に潜血部があったら分からないために、初期癌の見落とし率が高く問題になっています。
こうした現状を打破するために、日常的に全周の便の色を観察することで、大腸癌の早期発見に少しでも役に立てればと試作カメラでの検証を行っています。
画素が１列にしか並んでいないリニアイメージセンサでは便器上部の１ラインしか撮像しないので、お尻は”画になりません”。取れる情報は、このラインを通過する移動物体である大便からの、各波長のLED照明時の反射強度に対応したセンサ出力です。これは数値データで、波長の反射強度比でハンドリングし、画像データはハンドリングせず抵抗感をなくします。
また現状の便潜血検査では、採取したキットを室温に保管すると、腸内細菌が血液を分解してしまい、検知精度が夏場は悪くなるという情報がTVで放映されていました。落下後の液体内でなく、出たてのホヤホヤを、全周方向からデータ取得できることも本方式のメリットと考えています。
健康便座のプレゼン資料の最後につけているメッセージの評判が良いので、ご紹介します。
世界で初めて人口雪の結晶製作に成功（1936年）した北大の（故）中谷宇吉郎先生（寺田寅彦門下生）が”雪は天からの手紙”というエッセイを出されています。”雪の結晶形状から上空の状態が分かる”ことから付けられたネーミングです。
これにあやかり？”大便は消化器からの手紙！（大きな便り）”と期待しています。”読まずに流すのは勿体無い！”ので、出たてのホヤホヤ状態を毎回健康便座でメッセージ解読できたら！と思っています。
データが積み上がりビックデータ解析で傾向把握が可能となった暁には、傾向管理で発病前にアラームが上がり、自己責任で市販薬を服用するか休養取得することで、未病対策に繋ぎ、2025年問題の医療費58兆円（52兆円という数字もある）の削減に寄与できれば！？‥と夢は拡がります。
国内登録（特許第6051399号）され、米国でも特許が登録（US10157945）されたウエハレベルピンホールカメラの概略に付きご紹介します。これはレンズレスカメラで、超小型、安価なカメラを提供します。サイズは1mm以下を狙い、（小さ過ぎて目に）”見えないカメラ”です。
製造工程は下記のようになっています。まずイメージセンサウエハの表面にカバーガラスウエハを貼り合わせます。次にイメージセンサウエハの裏面より薄くし、表面の電極目がけてイメージセンサウエハの裏面より貫通孔（TSV；Through Silicon Via）を開けます。貫通孔を経由してイメージセンサウエハ裏面には表面の電極と繋がった配線を形成し、配線には半田ボールを搭載します。この際、ガラスウエハ表面には遮光膜を形成し、遮光膜にはイメージセンサと位置あわせをしたピンホールを開けておきます。最後にイメージセンサをカバーガラスと共に個片化することで、ピンホールカメラモジュールが形成されます。
このウエハレベルピンホールカメラモジュールの利点は、レンズが無いのでピント合わせが不要なことです。ピンホールカメラの特長である何処でもピントが合うカメラが簡単に実現でき、非常に小型で安価なカメラが製作が出来ます。一辺が0.7mmのイメージセンサ（血管内視鏡用センサ）で、カバーガラスの厚さも0.7mmでは、何と重さは1mgr！しかなく、世界最軽量のカメラモジュールが実現します。さらにピンホールを２つ以上開けると近距離の距離センサになります。 このピンホールカメラモジュールの問題点は、感度が低いこと、解像度が悪いことです。高感度、高解像度は通常のカメラの得意分野ですのでそちらに任せます。
このウエハレベルピンホールカメラモジュールの応用は、低ストレスカメラ、動きスイッチ、動きベクトル、指紋認証、Human-Machine-Interface、距離センサがあります。この内Human-Machine-Interfaceは、SEセンサが動きベクトルモードだと背景の静止画が消えますので、指先の空間座標位置が簡単な演算で求まります。
明るい所でしか使えない制限が有りますが、サイズが余りにも小さいので、撮られているストレスも有りません。逆に何処で撮られているか分からないというストレスに対しては、ピンホールカメラの欠点である低解像度、低感度であることが、かえって利点になるかもしれません。
尚、本コンセプトはSEセンサ同様物は出来ていません。但しTSV工程は一般的になってきており、SEセンサ開発と共に試作をしたいアイテムです。
見えないカメラ（ウエハレベルピンホールカメラモジュール）の応用の、Human-Machine-Interfaceの原理は、SEセンサが動きベクトルモードだと背景の静止画が消えますので、指先の空間座標位置が簡単な演算で求まります。動きベクトルのドットは複数画素で構成しますので、ピンホールカメラの欠点である低感度をカバーします。また動きベクトル画像ですので解像度の要求レベルも下がり、SEセンサの動きベクトルモードとの相性が良くなります。
明るい所でしか使えない制限が有りますが、液晶モニターの前面は液晶のバックライトで明るくなっています。サイズが小さいので、配置の場所の制約が少なくなります。液晶モニターの４隅に配置するとアンタッチパネルになり、駅の券売機や銀行のＡＴＭのように画面にタッチするストレスから開放されます。（潔癖症の方に朗報！？）、ピンホールカメラは何処でもピントが合い、指紋センサとして使用できるかもしれません。
藤沢市のロボット産業推進事業補助金に、”ロボットのHuman-Machine-Interface向け要素技術開発”と題して２年連続で採択され開発を進めています。如何にカメラから出力される情報量を減らして、必要最小限な情報を出して後段の処理を減らすか。を研究しています。
”見えるカメラ”とは、（昼も夜も綺麗に）見えるカメラ（イメージセンサ）”のことで、未だ物は有りません。現在のカラーカメラでは人間の視感度に合わせるために赤外カットフィルターを挿入しますが、夜間では赤外光が主体になる為、これが邪魔になります。即ち夜盲症（鳥目）になります。また赤外カットフィルターを外すと夜間の感度は上がりますが色味（色再現性）が悪くなります。このように夜間の感度と色再現性は、表に示したようにトレードオフ関係にあります。
見えるカメラ（イメージセンサ）は赤外カットフィルターがなくても色再現性が良く、昼でも夜でも綺麗に見えるカメラになります。”見えるカメラ”とは”鳥目対策の目”で、この目（イメージセンサ）を用い”鳥の目”を構成しますと、”鳥目対策の鳥の目”となり、少々ややこしいネーミングの関係になります。
2025年問題とは、段階の世代（S47～49年生まれ800万人）が後期高齢者（75歳以上）になることです。この時の２つの課題は”高齢化社会の進行”、”医療費の増大”です。65歳以上が人口の1/3で、医療費（58兆円）の６割を占めるまでになります。
高齢化社会の進行には低ストレスな見守りとHuman-Machine-Interfaceが重要になると考えています。また医療費の増大に対しては”健康長寿の体力維持、リハビリが重要で、これらには”画が出ないカメラ・センサ”、”見えないカメラ”が寄与します。
また医療費の増大の抑制には造早期発見、早期治療が重要で、"画にならないカメラ；健康便座” で寄与させることを目論見ます。
このコンセプトはNEDO SUI Dream Pitch (H29.3.16 NEDO Incubation Center)にてプレゼンした資料のまとめで発表しました。
第26回 「都市高齢者の健康長寿医療研究会」 （H29.4.13＠東京都健康長寿医療センター）でのプレゼン資料からの抜粋（まとめ）です。健康長寿との相性の良さが期待されます。
健康長寿には”寿命の延長”、”健康体力維持”、”心の安らぎ”の３つが重要で、それらに対して ”画にならないカメラ” と "画が出ないカメラ” が貢献できる可能性についてプレゼンしました。
寿命の延長には早期発見、早期治療で”画にならないカメラ；健康便座”が寄与し、健康体力維持には体力維持、リハビリで、”画が出ないカメラ・センサ”の動きベクトル機能を活用し、スポーツゲームやゲームリハビリで寄与させ、心の安らぎは、ストレスフリーな見守り、安心安全な社会で、”画が出ないカメラ”、”見えないカメラ・センサ”で低ストレスな見守り、犯罪検挙率アップで犯罪抑止効果を寄与する。ことを目論んでいます。
Innovation Japan 2019 exhibition panel A
Innovation Japan 2019 exhibition panel B
Innovation Japan 2018 Exhibition Panel(1)
Innovation Japan 2018 (@Tokyo Big Sight) Exhibition Panel (2)
イノベーションリーダーズサミットでの展示パネルです。