TOP > 国内特許検索 > 情報伝送システム > 明細書

明細書 :情報伝送システム

発行国 日本国特許庁(JP)
公報種別 再公表特許(A1)
発行日 令和2年6月18日(2020.6.18)
発明の名称または考案の名称 情報伝送システム
国際特許分類 H04B  10/116       (2013.01)
H04L  27/26        (2006.01)
FI H04B 10/116
H04L 27/26 420
H04L 27/26 310
国際予備審査の請求 未請求
全頁数 30
出願番号 特願2019-529060 (P2019-529060)
国際出願番号 PCT/JP2018/025024
国際公開番号 WO2019/013023
国際出願日 平成30年7月2日(2018.7.2)
国際公開日 平成31年1月17日(2019.1.17)
優先権出願番号 2017135654
優先日 平成29年7月11日(2017.7.11)
優先権主張国 日本国(JP)
指定国 AP(BW , GH , GM , KE , LR , LS , MW , MZ , NA , RW , SD , SL , ST , SZ , TZ , UG , ZM , ZW) , EA(AM , AZ , BY , KG , KZ , RU , TJ , TM) , EP(AL , AT , BE , BG , CH , CY , CZ , DE , DK , EE , ES , FI , FR , GB , GR , HR , HU , IE , IS , IT , LT , LU , LV , MC , MK , MT , NL , NO , PL , PT , RO , RS , SE , SI , SK , SM , TR) , OA(BF , BJ , CF , CG , CI , CM , GA , GN , GQ , GW , KM , ML , MR , NE , SN , TD , TG) , AE , AG , AL , AM , AO , AT , AU , AZ , BA , BB , BG , BH , BN , BR , BW , BY , BZ , CA , CH , CL , CN , CO , CR , CU , CZ , DE , DJ , DK , DM , DO , DZ , EC , EE , EG , ES , FI , GB , GD , GE , GH , GM , GT , HN , HR , HU , ID , IL , IN , IR , IS , JO , JP , KE , KG , KH , KN , KP , KR , KW , KZ , LA , LC , LK , LR , LS , LU , LY , MA , MD , ME , MG , MK , MN , MW , MX , MY , MZ , NA , NG , NI , NO , NZ , OM , PA , PE , PG , PH , PL , PT , QA , RO , RS , RU , RW , SA , SC , SD , SE , SG , SK , SL , SM , ST , SV , SY , TH , TJ , TM , TN , TR , TT
発明者または考案者 【氏名】橋爪 宏達
【氏名】杉本 雅則
【氏名】秋山 尚之
【氏名】熊木 逸人
【氏名】嶋田 祥太
出願人 【識別番号】504202472
【氏名又は名称】大学共同利用機関法人情報・システム研究機構
【識別番号】504173471
【氏名又は名称】国立大学法人北海道大学
個別代理人の代理人 【識別番号】100101454、【弁理士】、【氏名又は名称】山田 卓二
【識別番号】100132241、【弁理士】、【氏名又は名称】岡部 博史
審査請求 未請求
テーマコード 5K102
Fターム 5K102AA02
5K102AA21
5K102AA69
5K102AH24
5K102AH27
5K102PB11
5K102PH38
要約 情報伝送システムは、情報受信装置のローリングシャッター方式の動画カメラのフレーム周波数の波形の基本周波数及びその倍数の周波数を有する、互いに異なる複数の各次搬送波を用いて変調された変調信号に従って変調された面形状の可視光信号を、面光源を用いて送信する情報送信装置と、動画カメラを用いて可視光信号を受信する情報受信装置とを備える。情報送信装置は、入力されるデジタルデータ信号に従って、各次搬送波を直交振幅変調した後、逆フーリエ変換することにより変調信号を発生する変調手段を備える。変調手段は、デジタルデータ信号に従って、フレーム出力信号を等間隔に分割した複数の区画で得られる強度信号が所定の設定値となるように各次搬送波を直交振幅変調することにより変調信号を発生する。
特許請求の範囲 【請求項1】
情報受信装置のローリングシャッター方式の動画カメラのフレーム周波数の波形の基本周波数及びその倍数の周波数を有する、互いに異なる複数の各次搬送波を用いて変調された変調信号に従って変調された面形状の可視光信号を、面光源を用いて送信する情報送信装置と、前記動画カメラを用いて前記可視光信号を受信する前記情報受信装置とを備えた情報伝送システムのための情報送信装置であって、
前記情報送信装置は、入力されるデジタルデータ信号に従って、前記各次搬送波を直交振幅変調した後、逆フーリエ変換することにより前記変調信号を発生する変調手段を備えたことを特徴とする情報送信装置。
【請求項2】
前記変調手段は、前記デジタルデータ信号に従って、前記動画カメラのフレーム出力信号を等間隔に分割した複数の区画で得られる強度信号が所定の設定値となるように前記各次搬送波を直交振幅変調することにより前記変調信号を発生することを特徴とする請求項1記載の情報送信装置。
【請求項3】
前記変調手段は、前記フレーム出力信号を等間隔に分割した複数の区画で得られる強度信号により決定される三角波ピークの位置が変更されるように前記変調信号を発生することを特徴とする請求項2記載の情報送信装置。
【請求項4】
前記変調手段は、所定の低次の搬送波を除く各次搬送波を用いて変調することを特徴とする請求項1~3のうちのいずれか1つに記載の情報送信装置。
【請求項5】
情報受信装置のローリングシャッター方式の動画カメラのフレーム周波数の波形の基本周波数及びその倍数の周波数を有する、互いに異なる複数の各次搬送波を用いて変調された変調信号に従って変調された面形状の可視光信号を、面光源を用いて送信する情報送信装置と、前記動画カメラを用いて前記可視光信号を受信する前記情報受信装置とを備えた情報伝送システムのための情報受信装置であって、
前記情報受信装置は、前記動画カメラから出力される可視光信号のフレーム出力信号をフーリエ変換した後、直交振幅復調することにより、デジタルデータ信号に復調する復調手段を備えたことを特徴とする情報受信装置。
【請求項6】
前記復調手段は、前記可視光信号のフレーム出力信号に対して、前記情報送信装置と前記情報受信装置との間に存在する障害物の伝達関数のフーリエ変換の逆畳み込みを乗算することで、前記障害物に関する情報を除去することを特徴とする請求項5記載の情報受信装置。
【請求項7】
前記情報受信装置は、前記可視光信号に含まれる同期信号を用いて、前記動画カメラの動作タイミングを修正することで、前記情報送信装置と前記情報受信装置との間の動作タイミングを調整することを特徴とする請求項5又は6記載の情報受信装置。
【請求項8】
前記情報受信装置は、複数の前記復調手段を備え、前記同期信号を用いて複数の前記復調手段の動作を互いに同期させることを特徴とする請求項7記載の情報受信装置。
【請求項9】
請求項1~4のうちのいずれか1つに記載の情報送信装置と、
請求項5~8のうちのいずれか1つに記載の情報受信装置とを備えたことを特徴とする情報伝送システム。
【請求項10】
前記変調手段は、特定の情報受信装置に向けて、前記特定の情報受信装置に対応する搬送波次数の調波を用いて搬送波を変調し、
前記復調手段は、前記搬送波次数に対応する所定のシャッター開度を前記動画カメラに設定することで、前記特定の情報受信装置でのみ選択的に前記デジタルデータ信号を復調することを特徴とする請求項9記載の情報伝送システム。
【請求項11】
前記情報送信装置は、
前記デジタルデータ信号を、送信する画面を複数の分割画面に分割したときの当該複数の分割画面に対応して、複数のデジタルデータ信号に分割するデータ分割手段と、
前記分割された各デジタルデータ信号に従って搬送波を複数の前記変調信号に変調する複数の前記変調手段と、
複数の前記変調信号に従って駆動される複数の前記面光源とを備え、
前記情報受信装置は、
前記複数の分割画面に対応する各デジタルデータ信号を復調する複数の前記復調手段と、
複数の前記復調手段からのデジタルデータ信号を1つのデジタルデータ信号に合成する合成手段とを備えたことを特徴とする請求項9又は10記載の情報伝送システム。
【請求項12】
前記情報送信装置は、
前記デジタルデータ信号を、送信する画面を複数の色情報に分割したときの当該複数の色情報に対応して、複数のデジタルデータ信号に分割するデータ分割手段と、
前記分割された各デジタルデータ信号に従って搬送波を複数の前記変調信号に変調する複数の前記変調手段と、
複数の前記変調信号に従って対応する複数の色情報でそれぞれ駆動される複数の前記面光源とを備え、
前記情報受信装置は、
前記複数の色情報に対応する各デジタルデータ信号を復調する複数の前記復調手段と、
複数の前記復調手段からのデジタルデータ信号を1つのデジタルデータ信号に合成する合成手段とを備えたことを特徴とする請求項9又は10記載の情報伝送システム。
【請求項13】
情報受信装置のローリングシャッター方式の動画カメラのフレーム周波数の波形の基本周波数及びその倍数の周波数を有する、互いに異なる複数の各次搬送波を用いて変調された変調信号に従って変調された面形状の可視光信号を、面光源を用いて送信する情報送信装置と、前記動画カメラを用いて前記可視光信号を受信する前記情報受信装置とを備えた情報伝送システムのための情報受信装置のためのプログラムであって、
前記情報受信装置が、前記動画カメラから出力される可視光信号のフレーム出力信号をフーリエ変換した後、直交振幅復調することにより、デジタルデータ信号に復調するステップを含むことを特徴とする、コンピュータにより実行されるプログラム。
【請求項14】
前記情報受信装置は、電子機器であることを特徴とする請求項13記載のプログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は、例えば面発光の可視光通信を用いて情報を伝送する情報伝送システムに関し、また、前記情報伝送システムのための情報送信装置、情報受信装置及びプログラムに関する。
【背景技術】
【0002】
可視光通信は古くから試行されているが、その開発研究が盛んになったのは、タブレット端末やスマートフォンの普及した2010年以降である。
【0003】
日本国内で製品化に先鞭をつけたのは、カシオのPicapicameraである(例えば、特許文献1及び2参照)。発光源は組み込み型のマイコンボードであり、スマートフォンでアプリソフトとともに受信する。光源とカメラのビデオフレームは必ずしも同期していない。伝送速度は10bps程度以下である。
【0004】
これに対して、発明者らは点光源の発光を用いて、前記に比較してより高速の可視光通信を行う「可視光通信を用いた時間同期方法」について非特許文献1において開示されている。
【0005】
ところで、パナソニック株式会社はスマートフォンに広く採用されているCMOS動画カメラのローリングシャッター動作の特性を利用した可視光通信技術を試みている(例えば、特許文献3参照)。この特許の場合、可視光通信の光源に点光源でなく面光源を使用し、カメラのローリングシャッター動作と併用しているところに特色がある。また、光源の高速な輝度変化を受信するため、カメラの電子シャッター開度(1/60秒のビデオフレーム中、実質的に何秒間、受光素子が受光動作をしているかの、時間割合)を数パーセントと以下、ごく短く設定して、発光をストロボのように行い、ローリングシャッターの走査線で2値の明線、暗線を区別して得ようとしているのが特色である。その効果により市販カメラで数kbps度の伝送が可能であると標榜している。
【0006】
また、非特許文献2において開示された「可視光通信方法」も同様に、短時間発光の光源とシャッター開度を短くとった動画カメラで数kbpsの通信速度を得ているが、白黒パターンの変調法において、特許文献3に開示された発明とは異なる電気的特性を用いている。
【先行技術文献】
【0007】

【特許文献1】特開2013-009072号公報
【特許文献2】特開2013-009074号公報
【特許文献3】国際出願公開第2013/175803号公報
【0008】

【非特許文献1】Takayuki Akiyama et al., "Time Synchronization Method Using Visible Light Communication for Smartphone Localization", ICWMC 2016: The Twelfth International Conference on Wireless and Mobile Communication including QoSE WMC 2016, Barcelona, Spain, November 2016
【非特許文献2】Danakis, et. al., "Using a CMOS Camera Sensor for Visible Light Communication," IEEE Workshop on Optical Wireless Communication, Anaheim, California, USA, December 2012
【発明の概要】
【発明が解決しようとする課題】
【0009】
これらローリングシャッターを使用する方式は、一般に点光源方式より高い通信速度を得られるものの、達成できる速度上限は数kbps以下であり、多くの通信応用には十分でないという問題点があった。また面形状の光源をカメラ視野全体で受光する方法となるため、例えば液晶表示装置のバックライト照明を通信光源に使う場合、表示内容があると通信を阻害する、などの難点があった。
【0010】
本発明の目的は以上の問題点を解決し、従来技術に比較して高速で可視光通信を行うことができる情報伝送システムを提供し、また、前記情報伝送システムのための情報送信装置、情報受信装置及びプログラムを提供することにある。
【課題を解決するための手段】
【0011】
第1の発明にかかる情報送信装置は、
情報受信装置のローリングシャッター方式の動画カメラのフレーム周波数の波形の基本周波数及びその倍数の周波数を有する、互いに異なる複数の各次搬送波を用いて変調された変調信号に従って変調された面形状の可視光信号を、面光源を用いて送信する情報送信装置と、前記動画カメラを用いて前記可視光信号を受信する前記情報受信装置とを備えた情報伝送システムのための情報送信装置であって、
前記情報送信装置は、入力されるデジタルデータ信号に従って、前記各次搬送波を直交振幅変調した後、逆フーリエ変換することにより前記変調信号を発生する変調手段を備えたことを特徴とする。
【0012】
前記情報送信装置において、前記変調手段は、前記デジタルデータ信号に従って、前記動画カメラのフレーム出力信号を等間隔に分割した複数の区画で得られる強度信号が所定の設定値となるように前記各次搬送波を直交振幅変調することにより前記変調信号を発生することを特徴とする。
【0013】
また、前記情報送信装置において、前記変調手段は、前記フレーム出力信号を等間隔に分割した複数の区画で得られる強度信号により決定される三角波ピークの位置が変更されるように前記変調信号を発生することを特徴とする。
【0014】
さらに、前記情報送信装置において、前記変調手段は、所定の低次の搬送波を除く各次搬送波を用いて変調することを特徴とする。
【0015】
第2の発明にかかる情報受信装置は、
情報受信装置のローリングシャッター方式の動画カメラのフレーム周波数の波形の基本周波数及びその倍数の周波数を有する、互いに異なる複数の各次搬送波を用いて変調された変調信号に従って変調された面形状の可視光信号を、面光源を用いて送信する情報送信装置と、前記動画カメラを用いて前記可視光信号を受信する前記情報受信装置とを備えた情報伝送システムのための情報受信装置であって、
前記情報受信装置は、前記動画カメラから出力される可視光信号のフレーム出力信号をフーリエ変換した後、直交振幅復調することにより、デジタルデータ信号に復調する復調手段を備えたことを特徴とする。
【0016】
前記情報受信装置において、前記復調手段は、前記可視光信号のフレーム出力信号に対して、前記情報送信装置と前記情報受信装置との間に存在する障害物の伝達関数のフーリエ変換の逆畳み込みを乗算することで、前記障害物に関する情報を除去することを特徴とする。
【0017】
また、前記情報受信装置において、前記情報受信装置は、前記可視光信号に含まれる同期信号を用いて、前記動画カメラの動作タイミングを修正することで、前記情報送信装置と前記情報受信装置との間の動作タイミングを調整することを特徴とする。
【0018】
さらに、前記情報受信装置において、前記情報受信装置は、複数の前記復調手段を備え、前記同期信号を用いて複数の前記復調手段の動作を互いに同期させることを特徴とする。
【0019】
第3の発明にかかる情報伝送システムは、前記情報送信装置と、前記情報受信装置とを備えたことを特徴とする。
【0020】
前記情報伝送システムにおいて、
前記変調手段は、特定の情報受信装置に向けて、前記特定の情報受信装置に対応する搬送波次数の調波を用いて搬送波を変調し、
前記復調手段は、前記搬送波次数に対応する所定のシャッター開度を前記動画カメラに設定することで、前記特定の情報受信装置でのみ選択的に前記デジタルデータ信号を復調することを特徴とする。
【0021】
また、前記情報伝送システムにおいて、
前記情報送信装置は、
前記デジタルデータ信号を、送信する画面を複数の分割画面に分割したときの当該複数の分割画面に対応して、複数のデジタルデータ信号に分割するデータ分割手段と、
前記分割された各デジタルデータ信号に従って搬送波を複数の前記変調信号に変調する複数の前記変調手段と、
複数の前記変調信号に従って駆動される複数の前記面光源とを備え、
前記情報受信装置は、
前記複数の分割画面に対応する各デジタルデータ信号を復調する複数の前記復調手段と、
複数の前記復調手段からのデジタルデータ信号を1つのデジタルデータ信号に合成する合成手段とを備えたことを特徴とする。
【0022】
さらに、前記情報伝送システムにおいて、前記情報送信装置は、
前記デジタルデータ信号を、送信する画面を複数の色情報に分割したときの当該複数の色情報に対応して、複数のデジタルデータ信号に分割するデータ分割手段と、
前記分割された各デジタルデータ信号に従って搬送波を複数の前記変調信号に変調する複数の前記変調手段と、
複数の前記変調信号に従って対応する複数の色情報でそれぞれ駆動される複数の前記面光源とを備え、
前記情報受信装置は、
前記複数の色情報に対応する各デジタルデータ信号を復調する複数の前記復調手段と、
複数の前記復調手段からのデジタルデータ信号を1つのデジタルデータ信号に合成する合成手段とを備えたことを特徴とする。
【0023】
第4の発明にかかるコンピュータにより実行されるプログラムは、
情報受信装置のローリングシャッター方式の動画カメラのフレーム周波数の波形の基本周波数及びその倍数の周波数を有する、互いに異なる複数の各次搬送波を用いて変調された変調信号に従って変調された面形状の可視光信号を、面光源を用いて送信する情報送信装置と、前記動画カメラを用いて前記可視光信号を受信する前記情報受信装置とを備えた情報伝送システムのための情報受信装置のためのプログラムであって、
前記情報受信装置が、前記動画カメラから出力される可視光信号のフレーム出力信号をフーリエ変換した後、直交振幅復調することにより、デジタルデータ信号に復調するステップを含むことを特徴とする。
【0024】
前記プログラムにおいて、前記情報受信装置は、電子機器である。
【発明の効果】
【0025】
本発明にかかる情報送信システム等によれば、従来技術に比較して高速で可視光通信を行うことができる。また、前記情報伝送システムのための情報送信装置、情報受信装置及びプログラムを提供することにある。
【図面の簡単な説明】
【0026】
【図1】実施形態にかかる情報伝送システムで用いるパケット構成の一例を示す図である。
【図2A】実施形態にかかる情報伝送システムの情報送信装置1の構成例を示すブロック図である。
【図2B】実施形態にかかる情報伝送システムの情報受信装置2の構成例を示すブロック図である。
【図3A】前記情報伝送システムで用いる搬送波次数kに対する振幅特性を示すグラフである。
【図3B】前記情報伝送システムで用いる搬送波次数kに対する位相特性を示すグラフである。
【図4】図2Aの変調処理部13の構成例を示すブロック図である。
【図5】図2Bの復調処理部22の構成例を示すブロック図である。
【図6】前記情報伝送システムのCMOS動画カメラ21において受信した搬送波次数kに対する正規化信号レベル特性を示すグラフである。
【図7】変形例にかかる最適変調方法を示す図であって、走査区画SS0~SS3における信号値を示す概念図である。
【図8】変形例にかかるデータ分割方式を有する情報送信装置1A及び情報受信装置2Aの構成例を示すブロック図である。
【発明を実施するための形態】
【0027】
以下、本発明にかかる実施形態について図面を参照して説明する。なお、以下の各実施形態において、同様の構成要素については同一の符号を付している。

【0028】
本発明にかかる実施形態の概要.
発光ダイオード(以下、LED(Light Emitting Diode)という)のような高速発光素子による面光源とローリングシャッター方式動画カメラを使った可視光通信に代表される光学的通信技術の発明である。スマートフォンなどの可搬型情報端末に内蔵される動画カメラを信号検出に利用して、その撮影フレームレートの数100倍を超える速度での情報伝送を実現する。LEDは液晶表示装置のバックライト、デジタルサイネージ、自動車の照明装置などに普及しており、高速で精密な光強度変調をかけ、また面形状の発光を得ることが可能である。またローリングシャッター方式動画カメラを内蔵した可搬型情報端末も普及している。両者で可視光線を主とした光学的情報伝送を行えば、見通し距離内だけの通信方式として、臨場性を前提とした、ラジオ波無線通信にない特徴をもつ通信応用が可能となる。

【0029】
このような応用に、高速通信のために専用受光素子や高速フレームレートのカメラを使用して数メガビット/秒以上の通信を実現した例がある。しかし、スマートフォンなど市販モバイル機器に内蔵される市販動画カメラのフレームレートは30~60フレーム/秒(30~60fps)程度であって、それを使った場合は面発光とローリングシャッター受光を利用しても数キロビット/秒(数kbps)程度の通信しか例はなかった。可視光通信の用途は主に通信速度の制約から限られたものであった。

【0030】
一方、そのような動画カメラは通信用には低速であるが広く普及しているので、市販動画カメラで従来の実施例より高速なビットレートの通信をできれば、市民生活の場で広く可視光通信が使用されるようになると期待される。具体的には液晶表示装置、発光型ポスター、デジタルサイネージ(掲示板)などからの情報伝送、自動車照明装置を使った車車間通信などである。

【0031】
本発明にかかる実施形態は、低速な市販の動画カメラを使う可視光通信に関するものである。例えば60fpsのローリングシャッターカメラにより、面発光の通信照明を使用して20kbps以上の通信を可能とする。

【0032】
従来、面光源とローリングシャッター方式カメラを使用して、比較的高速な可視光通信を行った発明例ないし実施例があった。動画カメラの撮影時パラメータには電子シャッターと称する撮影フレームごとの光積分時間に関するものがある。このシャッター開度を小さくとると(フレームごとの光積分時間を短く設定すると)速く動く被写体をはっきりと撮影できるので、特別な撮影時にそのように使用される。面発光通信光源とローリングシャッター方式動画カメラを使用した可視光通信でもその特性を利用し、通信の受信時はシャッター開度を数パーセント以下に小さく設定し、高速な光信号変化を明暗のはっきりした線状の模様として検出することで通信を行おうとする技術があった。

【0033】
しかし、シャッター開度を小さくすると、映像に雑音が増え、また得られる画像は暗くなるという欠点を生じる。それで一般の撮影ではシャッター開度は100パーセントに近い、大きな値で使用されるのが通常である。通信のためにシャッター開度を小さくとった場合、それは一般撮影のカメラ設定条件と両立しないという欠点があった。

【0034】
これに対して、本発明の実施形態では、シャッター開度ごとに検出アルゴリズムを適合させ、情報を補正する。このため通常の撮影では条件である100パーセント近いシャッター開度の領域を含めて、最適なパラメータを選びつつ高速通信を実施でき、雑音が少なく、また高感度な可視光通信をできるという特徴をもつ。

【0035】
本発明の実施形態は、動画カメラのフレームレートに同期させた面発光光源を用いる。そのような従来方式は動画カメラの電子シャッター開度(以下、シャッター開度という。)を小さく設定したものであった。本方式はシャッター開度を小さく設定しても、また100パーセント近くに設定しても利用可能である。通常の撮影動作と同じ状態で実施できるので可視光通信の応用範囲が広がる。シャッター開度を大きな領域も使用可能で、動画カメラの受光素子の信号雑音比を改善できる。また、通常の撮影状態に同じ動画カメラ設定で可視光通信の使用できるので、その利用機会をより広くとることができる。

【0036】
既知の方法では高速信号(高速変調)を受信するため、特に小さいシャッター開度(例えば、η=0.02~0.03以下)を設定している。これに対して、本発明の実施形態では、シャッター開度による波形変形を予測し符号照合することで、大きいシャッター開度のままで高速信号の受信を可能としている。さらに、シャッター開度に応じて受信される正弦波調波の周波数域が変化することから、臨場の複数の受信装置ごとに、シャッター開度を別に設定させることで、受信装置(すなわち、受信者)を分けた通信を同時に行う応用も可能となる。

【0037】
従来技術にかかる、シャッター開度を小さくとる通信方式は、撮影画面は明暗の2値となることを理想とし、それを得やすい条件としてその設定をしていた。しかしながら、実際は後述の解析のように、カメラで対応できる周波数範囲は限られるので、撮影される明暗パターンの境界に中間的明るさの現れることは避けられない。既知の提案手法は中間的な明るさの領域に特別な意味はなく、その領域の情報は受信時に捨てていた。この発明ではカメラで撮影される、映像が撮像素子の動作により周波数領域で一定の改変を受けることをあらかじめ想定し、それを考慮した適応的な変調を行い、中間的な明るさで撮影される部分も含めて、得られたすべての撮影画像情報を使用して通信することで、捨てる情報を減らし、高速で高品位な通信を達成できる手法を開発した。

【0038】
シャッター開度を含め通信に最適なパラメータ設定をする本発明の手法では、受信信号により多くの情報を含めて通信速度を効率よく高速化できるほか、受信者を選択する通信、障害物の影響の軽減、変調信号にフリッカー低減など各種の付加的機能を盛り込むこともできる。

【0039】
本発明の実施形態の手法の説明.
まず、動画カメラの1フレームの撮影時間をT(秒)とする。その逆数はビデオフレームレートfであり、f=1/Tの関係となる。多くの市販のデジタル動画カメラ、もしくはスマートフォンのデジタル動画カメラではビデオフレームレートf=60(60フレーム/秒)が採用されている。

【0040】
CMOS方式に代表される動画受光素子はこれらカメラに広く採用されるが、ローリングシャッターによる線走査を行うことが必須であり、特徴である。この線走査方法は、1080本ほどの走査線を、上から下へ、受光開始時刻を一定歩調でずらしながら撮影する方式である。着目する走査線を上から第n番目、総走査線数をNとすれば、その走査線はフレーム撮影開始時刻から典型的には、時間(n/N)Tだけ遅れて開始される(ただし、n=0,1,2,…,N-1)。

【0041】
フレーム周期を超える速度で明るさの変化している面形状発光をローロングシャッター方式の動画カメラで受光すると、各フレームで一般に濃淡の変化した横縞模様が撮影される。この縞模様を空間フーリエ変換するとビデオフレームレートfを基本調波とした、ビデオフレームレートfごとの周波数で並んだ高調波系列が得られる。もしこの各調波を振幅変調、位相変調を含む直交振幅変調(以下、QAM変調という)で撮影できれば、ラジオ波でのOFDM(直交周波数多重変調)に類似したデジタル通信が可能となる。以下、このような縞模様を撮影させるための面光源変調方式について説明する。

【0042】
送信波形.
送信者は情報送信装置1を用いて、時間Tを基本時間単位として、面光源のLEDを変調波形で駆動し、発光させる。ここで、変調信号をb(t)とする。変調信号b(t)はTを基本時間単位としていることから、この周期で繰り返しているものと想定すれば、複素フーリエ係数βの系列に展開できる。kは整数の添え字で、0,±1,±2,…の値をとる。変調信号b(t)から次式により、ビデオフレームレートf=1/Tを基本周波数とする複素フーリエ係数βに変換できる。ここで、変調信号b(t)は情報受信装置2のローリングシャッター方式の動画カメラのフレーム周波数の波形の基本周波数及びその倍数の周波数を有する、互いに異なる複数の各次搬送波を用いて変調された信号である。

【0043】
【数1】
JP2019013023A1_000003t.gif

【0044】
逆に、複素フーリエ係数βを与えることで、次式の逆フーリエ変換により変調信号の時間波形b(t)に逆変換できる。

【0045】
【数2】
JP2019013023A1_000004t.gif

【0046】
(2)式で±Kは理論的には±∞の範囲に対応する、通常は変調信号b(t)に含まれる最高周波数としての有限値にとってよい。

【0047】
受信信号の特性.
受信者は情報受信装置を用いて、f=1/Tのフレームレートの動画カメラ(シャッター開度ηを有する)を使って、情報送信装置からの変調信号を含む面発光信号を受信する。動画カメラの受光素子は周期Tの全体にわたり、受光する光信号を取り込むわけではなく、所定の時間期間範囲のシャッター開度η(0<η<1)によりηTと表せる時間期間だけ、光電変換素子からの電気信号を積分する。情報受信装置では、受光とアナログ/デジタル変換(以下、AD変換という。)及びデータ伝送を交番で行うため、シャッター開度ηは1にはできないが、その最大値を0.99(99パーセント)程度まで設定できる。動画カメラのシャッター開度ηを1に近い値に設定すると、撮像素子の雑音を低減でき、また感度も向上するので、一般撮影ではそれに近い値で動作させている。一方で高速で動く被写体をはっきり撮影したい場合には、シャッター開度ηを短くするとよい。そのため多くの動画カメラでは、撮影条件にあわせ、シャッター開度ηを各種の値に設定できるようになっていて、撮影の都度、適当な値で使用される。

【0048】
受信された信号は距離や光学系に起因する強度変化、あるいは周辺光や受光素子に起因する雑音の重畳を無視したとして、次の2種類の改変を受ける。

【0049】
(1)受光素子が0≦t≦ηTの時間で光源の光を積分していることにより、受信波形は送信波形に比べて、受信信号には変化が生じる。
(2)積分結果信号はビデオフレーム周期TごとにAD変換され、離散信号として出力される。ビデオフレーム周期Tの逆数であるビデオフレームレートfは信号変化のサンプリング周波数とみなすことができる。

【0050】
本発明にかかる実施形態は、両者の影響を精密に追跡し、それを補正しつつ信号検出をすることを特徴としている。両者の補正について以下詳細後述する。

【0051】
積分動作による信号変化の補正.
動画カメラの受光素子は信号源の波形b(t+δT+(n/N)T)を、時間幅0≦t≦ηTで積分しているとみなすことができる。前記時間幅だけ信号を切り取り、積分することは、数式的には時間幅ηTの矩形窓を信号波形に乗じて畳み込むことにほかならない。ここで、0≦δ<1は送信信号と受信する動画カメラ動作の開始時間差つまり動作位相差であり、動画カメラが少し遅れる場合を正の値にとるものとしている。光源と動画カメラ動作の間に何らかの同期化機構を置くとδ=0とできるが、そうでない場合は非零のδが存在する。また(n/N)Tはローリングシャッターによる走査線第nライン目の撮影時刻の遅延である。

【0052】
動画カメラはb(t+δT+(n/N)T)の信号を、時間期間0≦t≦ηTにわたり積分したものを撮像素子の第nライン目の信号として出力する。それをtに注目して複素フーリエ係数に反感すれば、k次フーリエ係数Bは次式で表される。

【0053】
【数3】
JP2019013023A1_000005t.gif
(3)

【0054】
ここで、Aは送受信間の信号伝送の係数で、変調光源の発光効率や撮像素子の感度、レンズのF値などにより決まる。以下では、A=1としてこれを無視する。

【0055】
(3)式の右辺は、動画カメラの撮像素子の積分動作がローリングシャッターの走査線ごとの時間幅ηTの矩形窓の畳み込みであり、当該(3)式の右辺はフーリエ変換した式上では時間窓をフーリエ変換したもの
【数4】
JP2019013023A1_000006t.gif
と、元の波形のフーリエ級数βの乗算となること、及び信号源のシャッタータイミングとの遅延δTとローリングシャッター動作による遅延(n/N)Tによる遅延因子
【数5】
JP2019013023A1_000007t.gif
の乗算結果の信号であるとして理解できる。光源と動画カメラの間は同期がとれていると仮定し、遅延係数δ=0とし、また先頭の走査線n=0に着目すれば、この式は次式のように簡略化できる。

【0056】
【数6】
JP2019013023A1_000008t.gif

【0057】
光源と動画カメラの動作位相の問題は、遅延係数δの有無であり、数式に大きな差異はない。そこで以下の考察でも簡単のため、δ=0が成立していると仮定して行う。そうでない場合の考察は詳細後述する。

【0058】
先頭の走査線に対応するフーリエ係数Bを用いて、変調信号の時間波形B(t)を次式の逆フーリエ変換により再構成できる。

【0059】
【数7】
JP2019013023A1_000009t.gif

【0060】
ローリングシャッターによりn番目(n=0,1,2,…,N-1)の走査線に撮影される輝度Inはそのシャッターの時間遅れからt=(n/N)Tのときの時間関数B(t)の値であるB((n/N)T)となるので、次式を得る。

【0061】
【数8】
JP2019013023A1_000010t.gif

【0062】
(6)式はローリングシャッターで取得されたN本の走査線からなるフレームは、フーリエ係数Bを離散空間逆フーリエ変換したものであることを示しており、画面全体の濃淡I=(I,I,…,IN-1を離散空間フーリエ変換すると、B=FFT[I]としてフーリエ係数B=(B,B,…,BN-1が得られる。BN/2,BN/2+1,…,BN-1はB-1=BN-1,B-2=BN-2などの対応で、適宜、負の添え字のフーリエ係数に読み替えることができる。ここで信号の最高周波数K<N/2なら空間フーリエ変換で得た係数は時間関数のフーリエ係数に一致する。

【0063】
最大通信速度.
フーリエ係数Bは複素数値であり、(4)式を考慮しつつ合成した変調信号b(t)によって、その振幅と位相を任意に設定できる。これは無線で使用されるOFDM通信に相当しており、フーリエ係数Bを周波数軸上に等間隔に並んだ搬送波のようにみなし、当該搬送波信号に対してQAM変調を行うことで、情報データを伝送することができる。例えば256値QAM変調を使うことで、1つのフーリエ係数Bあたりq=8ビットのシンボルを伝送できる。走査線総数Nのカメラを使用すれば、離散空間フーリエ変換によりk=0,±1,±2,…,±[N/2]次までのフーリエ係数Bを得る。ここで、[N/2]はN/2を超えない整数を意味し、偶数のNならN/2に等しい。k=0は直流成分であり、画面の平均的明るさ(実数)である。

【0064】
発光素子は負の発光値をとれないことから、一般に直流成分の点灯を付加して、変調光を正の範囲にとどめるように制御する。ここで、通常は情報を乗せる通信には使用しない。偶数のNにともなうBN/2はナイキスト周波数成分であり、やはり実数値となって、振幅のみ持つ。これもQAM変調の対象にはならない。また、
【数9】
JP2019013023A1_000011t.gif
(複素共役)である。このような性質を考慮すると、本方式による最大通信速度は、おおむね([(N-1)/2]-1)qf(ビット/秒)になる。

【0065】
実効的な通信速度.
(5)式によれば、フーリエ係数Bの振幅は|η・sinc(πkη)|の減衰を受ける。この項はほぼη×(1/kη)≒η/kでの減少を表し、搬送波次数kの大きな次数では、フーリエ係数Bは減衰して通信に使いにくくなる。例えば搬送波次数k=1,2,3,…,50を通信に供したとすると、シンボルあたりのビット数q=8ビット、ビデオフレームレートf=60フレーム/秒の通信で得られる通信速度は50×8×60=24000ビット/秒である。

【0066】
減衰の補正及び誤り訂正.
フーリエ係数Bの減衰は|ηsinc(πkη)|であることがわかっているので、元の発光信号b(t)の調波について、減衰を補うように強調することで、高次の次数を通信に使用することができる。ただし、それは変調信号b(t)の振幅の総合的な増大をともなう。変調信号b(t)の最大振幅は発光素子の発生できる最大輝度bmaxを超えることはできない。また、可視光通信では負の変調信号b(t)を発生できないことから、明るさの直流成分βをバイアスとして用い、変調信号の振幅範囲が0≦b(t)≦bmaxとなるように使用しなければならない。変調信号b(t)にそれを超過する部分があると、その部分は正常に復号できなくなり、通信のビット誤りとなる。これは通信テキストに誤り訂正符号を付与することである程度軽減できる。しかしながら、フーリエ係数Bの減衰を補うためあらかじめ高次成分のスペクトル係数βを強調して送信する際には、0≦b(t)≦bmaxに留意して、また、誤り訂正符号の併用を考慮して行うべきである。

【0067】
通信方式.
を基本周期とする変調された面光源の発光(変調信号)b(t)を撮影したとき、ローリングシャッター方式のカメラのフレームに写るのは、走査線ごとに、フーリエ係数はB((n/N)Tp)である。従って、これを一次元離散空間フーリエ変換すれば、フーリエ係数Bを得られることがわかった。各フーリエ係数Bの値は、もとの変調信号b(t)のフーリエ係数βと(4)式の関係にある。これを考慮しつつ、発光の変調信号b(t)を設計し、それを動画カメラで受光し、撮影されたフレームを離散空間フーリエ変換することで、フーリエ係数Bを得る。次にその詳細な方法を述べる。

【0068】
変復調方式を用いた情報伝送システム.
図1は実施形態にかかる情報伝送システムで用いるパケット構成の一例を示す図である。また、図2Aは実施形態にかかる情報伝送システムの情報送信装置1の構成例を示すブロック図であり、図2Bは実施形態にかかる情報伝送システムの情報受信装置2の構成例を示すブロック図である。

【0069】
図1を示すパケット構成例において、1つのパケットは、同期部31と、データ部32と、パリティ部33とを備えて構成される。本実施形態にかかる変復調方式を用いた可視光通信では、発光波形(変調信号)b(t)はカメラの撮影タイミングと同期していること、すなわち(2)式において遅延係数δ=0であることが望ましい。図1の同期部31は当該制御を行うために用いられる部分であって、情報送信装置1は、数フレーム時間にわたり既知のスペクトル係数βからなる信号を生成する。送信された光信号を受信してフーリエ変換したとき、同期のずれにある場合、すなわち、遅延係数δ≠0のときに、フーリエ係数Bは(4)式の関係にさらに位相変化が加わり、ABj2πkδが得られる。ここで、Aは送受信装置の感度特性で決まる振幅である。このことから、同期部を使用して送信と受信の位相差(遅延位相差)δを求め、また、受信信号強度の正規化係数1/Aを決定する。最近のCMOSカメラは撮影中にシャッタータイミングを補正することで、遅延係数δ=0になるように制御できるものが多いが、同期部はその制御に要する時間に十分相当する長さであることが望ましい。

【0070】
図1において、データ部32は当該可視光通信で伝送するメッセージ(デジタルデータ)であり、例えば256値QAM変調で構成すれば、ひとつの調波の1シンボルで8ビット送信でき、複数h個の調波を使えば8hビットの送信を行える。従って、L=8hmビットの情報を各キャリアのシンボルに分解して、ビデオの複数mフレームで送信できる。ここで、以下の2つの変復調方式A,B(以下、方式A,Bという。)について考える。

【0071】
(方式A)シンボルの変調法は、k次調波のフーリエ係数Bを256値QAMなどの変調になるように作成することとして、スペクトル係数
β=(ejπkηsinc(πkη))-1 (7)
としてそのような受信結果をもたらすスペクトル係数βを生成してもよい。この場合、受信時のシャッター開度ηは送信時にあらかじめ指定することになる。

【0072】
(方式B)スペクトル係数βを256値QAMなどの変調に対応させることにして、受信したフーリエ係数Bを(7)式によりスペクトル係数βに変換して解釈してもよい。この方法では受信時のシャッター開度ηはある程度自由に選べる。

【0073】
方式Aは、受信時、高調波の高次項の回転や減衰をあらかじめ予想し、スペクトル係数βをあらかじめ強調など逆補正して送信する手法となる。それについては詳細後述するが、まず、方式Bで通信する情報伝送システムについて記載する。

【0074】
図1において、パリティ部33は雑音等により生じた誤りを検出し、ないし訂正するために補う公知の情報である。

【0075】
図2A及び図2Bに示すように、情報送信装置1と、情報受信装置2とにより、可視光通信のための情報伝送システムを構成する。

【0076】
図2Aにおいて、情報送信装置1は、メモリ11と、パケット発生部12と、変調処理部13と、面光源14とを備えて構成される。例えばメモリ11に格納された送信データ(メッセージデータであるデジタルデータ信号)はパケット発生部12に入力される。パケット発生部12は、図1のように、パケットデータを構成するように発生して変調処理部13に出力する。変調処理部13は、入力されるパケットデータに従って、情報受信装置2のローリングシャッター方式の動画カメラのフレーム周波数の波形の基本周波数及びその倍数の周波数を有する、互いに異なる複数の各次搬送波を、詳細後述するように強度変調しかつOFDMで変調した後、単数のLEDの発光を拡散して得られる、ないし複数のLEDが格子形状に並置して得られる面光源14を駆動する。この際、複数LEDは直列ないし並列接続され、同一の信号波形で発光する。面光源14からは面形状の変調光信号が放射される。

【0077】
図2Bにおいて、情報受信装置2は、CMOS動画カメラ21と、復調処理部22と、パケット処理部23と、誤り訂正部24と、ディスプレイ25と、これらの処理部21~25の動作を制御するコントローラ20とを備えて構成される。CMOS動画カメラ21はパケット処理部23からの同期信号を用いて前記放射された面形状の変調光信号を受信して、電気信号に光電変換した後、復調処理部22に出力する。復調処理部22は、入力される電気信号を詳細後述するように復調することで復調データ信号を得てパケット処理部23に出力する。パケット処理部23は入力される復調データ信号のデータを、同期部31、データ部32及びパリティ部33の各データに分離して同期信号を再生してCMOS動画カメラ21に出力するとともに、データ部32及びパリティ部33のデータを誤り訂正部24に出力する。誤り訂正部24は、パリティ部33のデータに基づいてデータ部32のデータに対して誤り訂正を行って誤り訂正後のメッセージデータを例えばディスプレイ25に表示する。

【0078】
図2Bの情報受信装置2において、復調処理部22、パケット処理部23及び誤り訂正部24の処理を、コンピュータであるコントローラ20によりプログラムで処理してもよい。このときは、コントローラ20はそのプログラムを格納するプログラムメモリ20mを内蔵する。

【0079】
受信信号及び情報受信装置の詳細構成.
図3Aは前記情報伝送システムで用いる搬送波次数kに対する振幅特性を示すグラフであり、図3Bは前記情報伝送システムで用いる搬送波次数kに対する位相特性を示すグラフである。ここで、図3A及び図3Bはスペクトル係数βとして一定振幅のシンボルに従って搬送波を強度変調した後、次数k=0~100の搬送波をOFDMで送信し、シャッター開度η=0.065を有するCMOS動画カメラ21で受信した例である。受信されたフーリエ係数Bには(4)式に相当する搬送波次数kごとの減衰sinc(πkη)と位相回転ejπkηとが現れていることがわかる。

【0080】
図4は図2Aの変調処理部13の構成例を示すブロック図であり、図5は図2Bの復調処理部22の構成例を示すブロック図である。ここでは、方法Bによる情報送信装置1の変調処理部13と、情報受信装置2の復調処理部22とを示す。

【0081】
図4の変調処理部13は、シンボル分解部41と、複数K個のQAM変調器42-1~42-Kと、逆フーリエ変換部43とを備えて構成される。図4において、シンボル分解部41は、パケット発生部12から入力される送信情報データ(ビット列)を各シンボルS~Sに分解してそれぞれ対応するQAM変調器42-1~42-Kに出力する。各QAM変調器42-1~42-Kはそれぞれ、入力される各シンボルS~Sに従って、搬送波をQAM変調して、各スペクトル係数β~βを求め、逆フーリエ変換部43に出力する。逆フーリエ変換部43は入力される複数K個のスペクトル係数β~βに対して逆フーリエ変換を行うことで、変調信号b(t)を発生して変調処理部13に出力する。

【0082】
図5の復調処理部22は、空間フーリエ変換部51と、複数K個の回転振幅補正器52-1~52-Kと、複数K個のQAM復調器53-1~53-Kと、シンボルビット列変換部54とを備えて構成される。

【0083】
図5において、空間フーリエ変換部51は、CMOS動画カメラ21から入力される電気信号に含まれるフレーム情報データに対して空間フーリエ変換を行って、各フーリエ係数B~Bを演算する。ここで、直流成分であるフーリエ係数Bは使用せず棄却する。残りのフーリエ係数B~Bはそれぞれ回転振幅補正器52-1~52-Kに入力される。回転振幅補正器52-1~52-Kはそれぞれ、入力されるフーリエ係数B(k=1,2,…,K)に対して各フーリエ係数に対応した位相回転で振幅補正を行うことでスペクトル係数β~βを演算した後、QAM復調器53-1~53-Kに出力する。QAM復調器53-1~53-Kはそれぞれ、入力される各スペクトル係数β(k=1,2,…,K)に対してQAM復調を行って対応するシンボルS~Sを復調した後、シンボルビット列変換部54に出力する。シンボルビット列変換部54は入力されるK個のシンボルS~Sをパラレルシリアル変換することで、送信情報のビット列データに対応する受信情報のビット列データを得てパケット処理部23に出力する。

【0084】
なお、図4において、負の搬送波次数
【数10】
JP2019013023A1_000012t.gif
(複素共役)についての処理については省略しているが、実際の逆フーリエ変換処理では必要であり、上式によってβから生成する。また図5において負のB-kを得るが、これは特段の情報を含まないので棄却する。また、図2Bのパケット処理部23においては、図5のスペクトル係数β,β,…を取り出して偏角を調べ、それで遅延係数δ=0となるようにシャッタータイミングを制御するための同期信号を発生する。

【0085】
なお、方式Aによって、シャッター開度η=0.05の情報受信装置2にフーリエ係数Bで搬送波次数k=30付近の調波を受信させ、シャッター開度η=0.067の情報受信装置2に搬送波次数k=20付近の調波を受信させるなどして情報受信装置2のシャッター開度に応じて異なるデータを受信するように振り分けてもよい。すなわち、情報送信装置1の構成は同じであるが、情報受信装置2において、受信者が持つ情報受信装置2において、互いに異なるシャッター開度のうちの1つのシャッター開度に対応する搬送波次数付近の調波の信号のみを抽出することで、以下のように秘話付き多重データ通信システムを構成できる。

【0086】
図6は前記情報伝送システムのCMOS動画カメラ21において受信した搬送波の次数kに対する正規化信号レベル特性を示すグラフである。ここで、図6において、
(A)シャッター開度η=0.050に設定したCMOS動画カメラ21の、搬送波次数kによる受信特性61と、
(B)シャッター開度η=0.068に設定したCMOS動画カメラ21の、搬送波次数kによる受信特性62とを示す。

【0087】
図6から明らかなように、1≦k≦10付近の次数の搬送波は受信特性61,62にも現れる。k=20付近の搬送波は受信特性62にのみ現れ、受信特性61には現れない。また、k=30付近の搬送波は受信特性61にのみ現れ、受信特性62には現れない。この性質から、送信者はあらかじめ受信者(情報受信装置2)ごと、シャッター開度ηを指定しておいて、同報的な通信テキストは1≦k≦10付近の次数の搬送波で送る。一方で、受信特性61を有する情報受信装置2に対しては、選択送信すべき通信テキストは次数k=30の搬送波で送り、受信特性62を有する情報受信装置2に対しては、選択送信すべき通信テキストは次数k=20の搬送波で送る、というような調整をすることができる。

【0088】
以上説明したように、方式Aによれば、搬送波次数kごとの減衰度は受信者の情報受信装置2のシャッター開度により決まるので、受信者は自身の情報受信装置2のシャッター開度を加減することで、受信される調波の搬送波次数kを選択する。この性質を利用して、受信者(情報受信装置)ごとに秘話を持つ多重データ通信を行うことができる。

【0089】
任意の濃淡模様の描出.
情報受信装置2のシャッター開度ηをη=0.01に設定することで、50個程度の搬送波を使用した通信が可能となる。これに方式Aを併用すれば、フーリエ係数Bとして0≦k≦50程度の次数まで、意図したスペクトル形状で受信されるように送信波形を調整することができる。撮影画面をフーリエ変換したときの50個のスペクトルを任意に調整することで、撮影画面を走査方向に等分した100個の区画について、おのおのを任意の明るさに設定できる。ここで各区画が複数の走査線からなる帯状領域の場合は、その中央の走査線の輝度をその区画の輝度とする。負の明るさを送出できない可視光通信においては、直流成分Bは変調信号b(t)≧0を保障するため加えるバイアスとして使用され、自由設定をできない。直流成分Bに制約のあることは、撮影画面の平均的輝度は任意に制御できないことを意味するので、その意味で走査線の区画100個における輝度の差を任意設定できることになる。

【0090】
このように変調した場合、撮影画面の等間隔な100個の走査線区画はあらかじめ設定した輝度値の差をもって現れる。送信時に特定位置の走査線の明るさに情報を乗せるよう、変調しておくことで、撮影画面の当該走査線の値を直接読むことで、空間フーリエ変換を行うことなしに復調できる、という利点をもつ。

【0091】
本方式による具体的な通信方式は下記のとおりである。受信者(情報受信装置2)に対し、CMOS動画カメラ21のシャッター開度ηを指定の値、例えばη=0.01に設定するように要請する。これはあらかじめ決めておいてもよいし、その場所で可視光通信以外の通信方式で伝送してもよいし、可視光通信の冒頭部において比較的任意のシャッター開度で受信可能な低次搬送波を使用して伝送してもよい。通信テキストを6ビットごとのシンボルに分解し、それを100シンボルに対する、64段階の輝度値列とする。その輝度値の列を1次元空間フーリエ変換し、フーリエ係数B(-50≦k≦50)を得る。B-50=B50(ナイキスト成分の実数)である。各次数の調波に対して方式Aの補正を行い、スペクトル係数βを得て、それを逆フーリエ変換して変調信号b(t)を求め、変調信号b(t)に従って、面光源14を駆動することで、変調光信号を送信する。

【0092】
受信者は所定のシャッター開度ηを有する情報受信装置2を用いて、この信号をCMOS動画カメラ21で受信する。すると得られたビデオフレームの100個の区画の輝度(各区画が複数の走査線よりなる領域の場合は、領域中央の走査線の輝度)が、前記で変調した64段階のレベルに対応しているので、それを量子化してシンボルに復元することで復調できる。

【0093】
輝度のレベルを、複数Q個の段階に変調したとして、段階の差の自由度はQ-1であるため、この方式での得られる通信ビットレートは100・lg(Q-1)f(ただし、lg(x)は2を底とする対数)であり、Q=16としたとき60フレーム/秒のカメラで約23441ビット/秒の通信速度を得られる。

【0094】
次いで、前記情報伝送システムにおける「最適変調方法」について以下に説明する。

【0095】
上述のように、フーリエ係数Bとして-50≦k≦50のスペクトルを設定することで、シャッター開度ηを指定して撮影画面に任意の100個の区画の濃淡を描かせることができるが、それを使った通信の実現方式に次のようなものがある。

【0096】
この100個の区画のうち、ある4個の区画SS0~SS3に注目する。これは画面上に任意にとれるが、通常は撮影フレーム内の連続した4個の区画で考える。その4個の区画の輝度情報u,u,u,uを、図6のように三角波を各区画SS0~SS3でサンプリングしたものと考えることにする。ここで、v=u-u,w=u-uとする。

【0097】
図7は変形例にかかる最適変調方法を示す図であって、走査区画SS0~SS3における信号値を示す概念図である。ここで、図7における信号値の三角波の正のピークの位置Dに注目し、連続量としてその位置の検出方法(復調方式)について述べる。

【0098】
【数11】
JP2019013023A1_000013t.gif

【0099】
前記式の関数を使って、次式で表される。

【0100】
【数12】
JP2019013023A1_000014t.gif

【0101】
ここで、Dは三角波の位相を表すが、その値を変化させて、例えば256個の位置の位相変調(256値PSK)を行なって情報伝送できる。256個の位置の位相変調を前記の(9)式で復調することで、4個の区画SS0~SS3の輝度から8ビットの情報を得られる。画面全体でそのような4区画の組を100/4=25組とれるため、60フレーム/秒のカメラによるこの方法での情報伝送速度は60×(100/4)×8=12000ビット/秒である。この方法の優れた点は、復調にフーリエ変換を要しないこと、および画面の輝度の絶対値を用いるかわり、その差および比の値のみを使用するため、動画撮影条件の変化にともなう輝度値変化の影響を受けにくいことである。

【0102】
デコンボリューションによる障害物の影響の除去.
以上までのローリングシャッター方式のカメラは、その撮影フレーム全体に均一に信号源の変調光源を受光しているものと仮定していた。しかし実施方式によれば、変調光源とカメラの間に、その光源の一部を遮ったり、弱めたりする障害物の存在する場合がある。

【0103】
障害物の伝達関数(撮影フレームIに対して寄与する関数)をXとすれば、障害物がなかった場合の撮影フレームIに対し、次式のように撮影されることになる。

【0104】
I’=XI

【0105】
周波数空間では障害物の伝達関数Xの1次元フーリエ変換をχと書いて、撮影フレームIのスペクトルは次式で表される。

【0106】
B’=χ*B

【0107】
ここで、*は畳み込み演算を示す。この関係は畳み込み行列χにより、次式で表される。

【0108】
B’=χB

【0109】
畳み込み行列χは所定の条件で逆行列を持つので、次式に示すように、周波数空間において障害物の影響を除去できる。

【0110】
B=χ-1B’

【0111】
ここで、χ-1はこの障害物Xに関する逆畳み込み(デコンボリューション)行列である。従って、前記式のごとく、可視光信号のフレーム出力信号のフーリエ変換係数B’に対して、情報送信装置1と情報受信装置2との間に存在する障害物の伝達関数のフーリエ変換の逆畳み込み(χ-1)を乗算することで、前記障害物に関する情報を除去するができ、データ通信の誤り率を改善できる。

【0112】
情報伝送通信の多重化.
図8は変形例にかかるデータ分割方式を有する情報送信装置1A及び情報受信装置2Aの構成例を示すブロック図である。図8において、情報送信装置1Aは、メモリ11と、データ分割部15と、複数N個の送信制御部16-1~16-Nと、面光源部17とを備えて構成される。ここで、各送信制御部16-1~16-Nは図2Aのパケット発生部12及び変調処理部13に対応する。また、情報受信装置2は、データ分割部26と、複数N個の受信制御部27-1~27-Nと、データ合成部28と、ディスプレイ25とを備えて構成される。ここで、各受信制御部27-1~27-Nは、図2Bの復調処理部22と、パケット処理部23と、誤り訂正部24とに対応する。

【0113】
上述の実施形態にかかる通信方式では変調光源は面光源14であり、CMOS動画カメラ21の撮影フレーム全体で受光しているものと仮定していた。しかし、図8のように、例えば縦長形状を有する複数N個の面光源18-1~18-Nを例えば横方向で並置してこれらを同期して動作させ(送信する画面を複数の分割画面に分割する)、通信メッセージのデジタルデータ信号をデータ分割部15により、各送信制御部16-1~16-N及び各面光源18-1~18-Nに分割分配して送信制御、駆動及び送信させる。送信された面形状の変調光信号を1つのCMOS動画カメラ21で受光し、撮影された光源エリア(分割画面)毎にデータ分割部26により複数のデジタルデータ信号に分割し、対応する複数の受信制御部27-1~27-N(複数の送信制御部16-1~16-Nに対応する)を用いて受信制御した後、データ合成部28により合成するように受信処理することで、N個の面光源18-1~18-Nを使って通信速度を複数N倍にすることができる。これにより、空間分割多重化を行うことができる。なお、複数の受信制御部を備えるときは、可視光信号に含まれる同期信号を用いて当該複数の受信制御部の動作を同期させることができる。

【0114】
最近の光源装置は面光源であって、RGB三色を独立に発光させることのできるものがあり、また動画カメラもRGBの各色を分離して受光できる。この性質を使って、RGB各色に通信メッセージを分配して送信し、分離して受信することで、通信速度を3倍にすることができる。これにより、波長分割多重化を行うことができる。上述の空間分割多重化の情報伝送システムでは図8の構成を有するが、当該波長分割多重化の情報伝送システムは、図8において、以下のように変更することで構成できる。
(1)面光源18-1~18-Nを、面光源部17の各色情報の駆動部に変更する。
(2)データ分割部26は、各色情報でデータを分割する。

【0115】
なお、前記の空間分割多重化と前記波長分割多重化とを併用してもよい。

【0116】
フリッカーの抑制.
本実施形態にかかる情報伝送通信に使用する光源は、CMOS動画カメラ21の基本フレーム周波数を基本周波数として発光させ、当該基本フレーム周波数は現在の多くのCMOS動画カメラ21において60Hz程度となる。このスペクトル成分は肉眼にフリッカー(ちらつき)として検出される。搬送波次数kにおいて、k=1,2,3の使用をやめ、k≧4のものを使えば、これはスペクトル成分として240Hz以上しか含まなくなり、多くの場合フリッカーとして認知されない光源となる。本実施形態にかかる通信方式では使用する搬送波次数kを自由に選べるので、低次の次数の調波の使用を避けることでフリッカーのない変調面光源を設定でき、部屋の主照明を変調光源に使用するなど可視光通信の適用範囲を広げることができる。

【0117】
情報送信装置と情報受信装置との間の同期.
本実施形態にかかる通信方式では通信に先立ち、通信パケット先頭の同期部31(図1)を使って、情報送信装置1と情報受信装置2との間の動作タイミングを同期化する。この操作により60フレーム/秒の走査線数1000本程度のCMOS動画カメラ21で送受信器を数マイクロ秒程度の精度でクロック同期をさせることができる。この同期操作を使って、1つの光源に対し複数のCMOS動画カメラ21を同期させ、複数のカメラによる複数視点の画像を同じフレームタイミングで撮影することができる。例えばステレオカメラで動く物体を撮影するなどの応用がある。

【0118】
また、通信メッセージの送信とともに情報送信装置1から音響信号を送出し、それを受信器マイクロフォンで受信し、カメラの光学信号とマイクロフォンの音響信号のタイミングを比較することで、音響の伝搬遅延時間の絶対値を知ることができる。伝搬遅延時間に音響の伝搬速度を乗じれば、送受信器の音響スピーカと受信機マイクロフォン間の距離を得られ、送受信装置相互の幾何学的な配置を決定することができる。これはスピーカの位置をあらかじめ決めておいて、情報受信装置2の位置を知る測位応用などに使うことができる(例えば非特許文献2参照)。

【0119】
変形例.
以上の実施形態においては、スマートフォンを用いて情報受信装置2を構成しているが、本発明はこれに限らず、例えばパーソナルコンピュータなどの電子機器を用いて情報受信装置2を構成してもよい。

【0120】
以上の実施形態においては、ローリングシャッター方式のCMOS動画カメラ21を用いているが、本発明はこれに限らず、ローリングシャッター方式の動画カメラであればよい。
【産業上の利用可能性】
【0121】
以上詳述したように本発明にかかる情報伝送システム等によれば、従来技術に比較して高速で可視光通信を行うことができる情報伝送システムを提供できる。
【符号の説明】
【0122】
1,1A…情報送信装置、
2,2A…情報受信装置、
11…メモリ、
12…パケット発生部、
13…変調処理部、
14…面光源、
15…データ分割部、
16-1~16-N…送信制御部、
17…面光源部、
18-1~18-N…面光源、
20…コントローラ、
20m…プログラムメモリ、
21…CMOS動画カメラ、
22…復調処理部、
23…パケット処理部、
24…誤り訂正部、
25…ディスプレイ、
26…データ分割部、
27-1~27-N…データ合成部、
31…同期部、
32…データ部、
33…パリティ部、
41…シンボル分解部、
42-1~42-K…QAM変調器、
43…逆フーリエ変換部、
51…空間フーリエ変換部、
52-1~52-K…回転振幅補正器、
53-1~53-K…QAM復調器、
54…シンボルビット列変換部。
図面
【図1】
0
【図2A】
1
【図2B】
2
【図3A】
3
【図3B】
4
【図4】
5
【図5】
6
【図6】
7
【図7】
8
【図8】
9