技術
画が出ないカメラ、センサのコンセプトです。このコア技術は①センサorカメラ内部で動きを検知する、②動きが無ければ画を出さない、③動きが無ければ自身、後段システムをOFFする。ことです。
この機能をカメラ自体、若しくはイメージセンサ自体に持たせます。このカメラ、センサは別名SEカメラ、SEセンサと呼びます。SEとは”静止画を消す”の英語名;Still image Eraseから取り、背景の静止画を消して動きの輪郭だけをハンドリングする意味合いで命名しました。
SEセンサでは、従来のセンサ機能以外に、画素ブロックごとに処理し動き判定をセンサ内部で行い、動きが無ければセンサから画像出力をOFFし、後段システムOFF信号を出します。動きがあれば画像出力を出しても良いですし、動きベクトルを出しても良いです。
未だSEセンサは出来ておらず、SEカメラはNEDO補助金で試作しました。このSEカメラの特長は①見る側、見られる側の低ストレス、②電力、情報量の削減、があり、SEセンサでは更に③サイズ、コストの小型化があります。
SEカメラを設置した現場での声を反映し、音声アラーム機能、画像拡大機能を追加しました。これは従来のSEカメラの、”指定領域で動きがあった場合のみ指定枚数の静止画が指定時間間隔でPCに飛んできて、カメラIDと撮影時刻とともに表示される。”という機能に加え、現場からのご要望が高かった、①画面をクリックしなくても最新画像を拡大表示する。②画像が飛んできた場合にカメラIDと対応した音で知らせる。③音は吹き込んだ音声ファイルとリンクできる。という機能を追加しました。
これにより、例えば”10号室関根さん”と吹き込んだ音声ファイルと紐付けしておくと、10号室のドア付近で動きが有った時に”10号室関根さん”という音声メッセージが流れます。PCとして2in1PCを用い、モニター画面がタブレットとして使えると、このタブレットを持ち歩いていると、動きがあった際に音声が流れ最新の状況が拡大画像で表示されます。これで新人の介護士の方でも、カメラに紐付けられた音色を記憶することなく、アラームメッセージに従って行動すれば良いので、介護現場の低ストレスになりますね。
‥この開発には藤沢市のロボット産業推進事業補助金を活用させて頂き、実績報告をいたしました。
1. 実証実験の目的
特定領域での動きを検知し、複数枚の静止画を撮影します。複数 台のカメラを連携させることで、移動ルートをリアルタイムに把握 することが可能か確認します。高齢化社会で増加が予想される徘徊高齢 者等の見守りや、不審者のリアルタイム移動ルートの把握に寄与し、 安心安全な社会の実現に貢献します。
2. 実証実験の概要
プレ実証フィールド内に5台のカメラを設置。各カメラに動き検 知領域を設定(図1はカメラ1、2の例)し、領域内で動き検知した以降、 数コマの静止画を1~数秒間隔で表示。各カメラで特定の場所の 移動ルートを把握し、情報を連携させ、校舎に入ってからの動きを トレースできるか、また、どの程度の情報量でトレースが可能かを 確認しました。
[日 程] 令和元年12月17日(火) [場 所] 「さがみロボット産業特区」プレ実証フィールド(元県立新磯高 等学校)
3. 検証結果
校舎内の100秒間の動きを5台のカメラの計35枚の静止画でモ ニターし、全情報量は1MBとスマホの静止画1枚(6MB)よりも少 ないことを確認しました(図2)。スマホ動画では100秒間では5台合計 で750MBとなり、本方式では約3桁少ない情報量でリアルタイム の動き追跡が可能となります。現状の膨大な画像情報から探すことな く現在位置が把握でき、今後の高齢化社会の進行に伴う、高齢者 等の見守りにも役立つことが期待されます。
遮光筐体に格納された試作カメラです。無線Wifiにて画像がモニターできます。マイクロUSB電源差込口は2箇所有ります。バッテリー駆動の際に2つのバッテリーと連結し、バッテリー交換時に電源が切れません。マイクロSDスロットが反対側に有りますが、カメラの駆動条件設定をマイクロSDカードで行います。全面には夜間照明用の赤外LEDランプが付いています。1灯~4灯まで発光することが出来ます。またLEDの点灯時刻、消灯時刻を設定できます。
SEカメラ(居眠りカメラ)のコンセプトです。SleepとWake Upを繰り返します。
Wake Up時に動きを検知したらWifi立ち上げに移行し、静止画を送信します。
Sleep時にはセンサ、CPUがSleepなので動き検知できません。
その際の消費電力のイメージ図です。省エネが実現します。
従来SEカメラは動き検知時の(トリガー)画像は1枚だけで、Wifi立ち上げ後の画像を順次指定枚数だけ送信するモードでしたが、”動きトリガー後の画像を増やして欲しい”とのお客様のご要望に対応し、動きトリガー後の画像を増やす(Max8枚)改造を行いました。
図では動き検知(00秒)後、1秒間隔で合計8枚の静止画像を取得送信しPCに表示させたケースを示します。今回SEカメラはインターネットに繋いであり日時がタイムスタンプされています。このため電波目覚まし時計の日時とPC画面上のTimeは一致しています。Thumbnail画像をクリックすると拡大され、00秒でトリガーが掛かり(Serial No.00)、以下順次01秒(No.01)、02秒(No.02)~07秒(No.07)の画像を受信していること、が分かります。
SEカメラ内部に保存されたトリガー以降の一連の画像はWifiが立ち上がった以降順次出力されますが、画像が出た後は、指定秒数間隔の指定枚数の静止画をリアルタイムで出力し、一旦指定秒数のSleep期間を経て、再び動き検知モードとSleepモードを繰り返します。静止画で動画は扱いませんので情報量が大幅に減ります。単に撮るだけの膨大な画像情報(Big Useless Data)から、必要なタイミングで必要情報を出すSmall Useful Data 化を目指したいと思います。
Sleep=ゼロでは常にWifiが立ち上がったモード(省エネにはなりませんが、Wifiの立ち上がり時間待たないモード)になります。
一方、動き検出期間を長時間に設定すると、Wifiは立ち上がっていませんが、ほぼ常時動き検知している(Sleep=ゼロに近い省エネ)モードになります。
図ではカメラは1台だけ(CAM1)ですが、複数台カメラ(CAM1、CAM2…)を同じインターネットに繋げると、順次時系列的に出力されます。
複数のSEカメラを連携させたす動体追跡イメージです(写真では2台で各3枚に設定したケース)。
緑の設定領域で動きがあった時をトリガーにして、5秒間隔で3コマの静止画を出力しています。
Net経由で室外でモニターし、2台のカメラの5秒間隔の3コマの静止画像がタイムスタンパー付きで出力されます。
Netに接続された複数のカメラから連携された静止画像が出てくることにより、動体の現在位置が分かります。
例えばドアが空いてからの入居者の移動ルートをカメラを連携して追跡することが出来ます。
SEカメラは情報量が少ないが故に複数カメラの連携が出来ます。これを街灯カメラに応用した例を図面を用いて説明します。街灯カメラでは特定領域(道路や歩道)での動きがあった時だけ静止画を複数枚、SEカメラから送信します。複数の街灯SEカメラがネット環境に接続されていれば、SEカメラから送信された静止画像は、同じくこのネット環境に繋がっている記録装置に蓄積されます。特定領域で動きがあった場合のみトリガーがかかり、動画でなく複数枚の静止画で保存されるので、情報量が少なくなります。撮りっぱなしの動画監視に比べ情報活用率は飛躍的に上がります。
空き巣が侵入した場合、”達磨さん転んだ”を空き巣がやらない限り、居眠りカメラと称されるSEカメラでも空き巣の作業時間?のどこかで動きを検知し、作業風景?をスマホに飛ばします。飛んできた画像を見て不審者だと判断した場合には、作業?画像と共に、住所、逃走時刻を警察に転送します。
警察は住所に該当する街灯SEカメラの静止画像情報が蓄積されている記録装置にアクセスし、対応する時刻帯の静止画データを引き上げます。その中から空き巣を特定し、移動方向から該当する時刻、場所の街灯SEカメラの静止画情報を引き上げて繋いで(カメラ連携)いきます。ネット環境内ですと同じ記録装置の画像を繋いでいけばよいですが、そこから外れたら逃走方向の隣のネット環境の記録装置にアクセスすることにより、広範囲な逃走ルートをカバーします。繋げて行く速度は空き巣の逃走スピードよりも速い筈ですから、容疑者の現在位置がパトカーのカーナビに表示されます。これによりパトカーが出動すると現行犯逮捕できる確率が上がり(犯行写真で観念させ、数分前のアリバイチェックをすれば良い)、現在の犯罪検挙率(30%=39万/132万件@H25)の改善を期待しています。
ポイントは警察は個々のSEカメラをアクセスすることなく、複数のSEカメラが繋がっているネット環境下の記録装置をアクセスすることで、複数SEカメラの動き静止画情報を時系列的に取得することが出来る点です。SEカメラには画像を保存する必要がなく、定期的に画像データをダウンロードする必要がなくなります。このSEカメラ連携は今後の高齢化社会で増えるであろう徘徊老人の捜索にも役立つことを期待しています。
'18年には警察(富田林署)の取調室から容疑者が逃亡し、日本一周!の途中で逮捕されるという”とんだ話”が発生しましたが、上記SEカメラネットワークで、逃亡中の現在位置を把握し”捕った話”にしたいと思います。 ”とんだばやし”→”とんだはなし”→”とったはなし”
また、上述したSEカメラ方式で現状3割の犯罪検挙率が改善し、例えば7割を超えたら犯罪抑止効果が高まり、安心安全な社会の実現が出来るのでは?‥と夢は膨らみます!
SEカメラによる夜間モニターの画像です。蛍光灯をOFFすると真っ暗になります。ここでLED点灯が始まると、白黒画像でモニター出来ます。
施設での消灯時刻に合わせて、LED点灯の時刻を設定すると、真っ暗になっても赤外モニターし、特定領域(例えば非常口付近)での動き検知をします。
この照明用赤外光は可視域外なので、人の目には見えません。SEカメラの赤外カットフィルターは可視域とこのLEDの発光波長帯域をパスするデュアルバンドフィルターです。
SEカメラからはルーター経由でPCに画像が飛んできます。
PCでの表示画面としては、どのカメラの画像であるか(Camera ID)と、何時の画像であるか(インターネットに繋いでおくと日時がタイムスタンプされます)と、Serial No.で、動き検知の画像とその後の画像が表示されます。カメラ画像をクリックすると画像が拡大されます。
00秒(分の表示が変わるタイミング)で動きトリガがかかります。動きトリガ-後、所定間隔で所定枚数だけ内部メモリーに一時取り込み、Wifiが立ち上がったら、この動きトリガー以降の複数の静止画を順次送信されます。
目覚まし時計の背景で手を動かしても、動き検知領域ではありませんので、動きトリガ-が掛かりません!。必要な情報のみを送付し情報量を削減します。
SEカメラは画面を192分割(16×12)に分割し、任意のブロックでの動き検知を行うことが出来ます。
図面では分の表示の一桁台の上のブロック(目覚まし時計の写真で緑枠内)だけの、動き検知を行っています。
ここでの数字の変化を見てみますと、2→3、5→6、8→9ではこのブロックでの変化はありません。
実際の結果も42分→43分、45分→46分、48分→49分の変化時点では動き検知をせず、画像を飛ばしていません。
他の変化は00秒に起こりますので、40分、41分、42分、44分、45分、47分、48分、50分の変化時点(00秒)での、動きトリガー画像と、その後の指定枚数の画像と共に、画像がPCへ飛んできています。
Camera1のみのケースで表示しましたが、Camera2,3‥でも同様でPC上の表示としては、時系列的に表示が並びます。
このように特定領域で動きがあった場合のみ画像を飛ばすことが可能(常には画が出ない)となり、プライバシーに配慮した動き検知が出来て、低ストレスになります。また必要な情報のみ送付しますので、情報量が削減され、省エネになります。
SEカメラ(居眠りカメラ)の低消費電力化の概念図と、システムシーケンスです。
SEカメラ(居眠りカメラ)では、低消費電力化を目的に、Sleep(居眠り)、Wake-Up(覚醒)を繰り返します。
Sleep時はImage Sensor、CPUを共にスタンバイ状態にし、
Wake-Up時にはどちらもONにします。
Wake-Up時に動きを検知すると、Wifiを立ち上げるモードに移行します。
Wifiが立ち上がったら、最初に動きのトリガーが掛かった画像(必要情報)+指定間隔(必要間隔)で所定枚数の複数静止画像(情報量少)を送信します。
ここでルーターがインターネットに繋がっていると日時がタイムスタンプされます。必要な時だけ、立ち上げて必要な情報を送付しますので、電力削減になります。
本SEカメラでは都度画像送信しますので、定期的にカメラより画像をダウンロードしに行く必要がありません。
Sleep期間を0秒に設定すると、Wifiは常に立ち上がった状態になります。即ち、動きがあった際に、都度時間の遅延なく、Wifi経由で送られてきます。
Sleep期間を十分長く設定すると、Wifiは立ち上がっていない状態で常に動きの検知をするモードになります。