TOP > 国内特許検索 > 電子ノート作成支援装置および電子ノート作成支援装置用プログラム > 明細書

明細書 :電子ノート作成支援装置および電子ノート作成支援装置用プログラム

発行国 日本国特許庁(JP)
公報種別 公開特許公報(A)
公開番号 特開2014-085998 (P2014-085998A)
公開日 平成26年5月12日(2014.5.12)
発明の名称または考案の名称 電子ノート作成支援装置および電子ノート作成支援装置用プログラム
国際特許分類 G06F  17/30        (2006.01)
G10L  15/00        (2013.01)
G10L  15/10        (2006.01)
G06T  11/80        (2006.01)
H04N   5/91        (2006.01)
FI G06F 17/30 417
G10L 15/00 200U
G10L 15/10 200W
G10L 15/00 200P
G06F 17/30 310Z
G06T 11/80 A
H04N 5/91 J
請求項の数または発明の数 19
出願形態 OL
全頁数 16
出願番号 特願2012-236445 (P2012-236445)
出願日 平成24年10月26日(2012.10.26)
発明者または考案者 【氏名】西▲崎▼ 博光
【氏名】太田 晃平
【氏名】関口 芳廣
出願人 【識別番号】304023994
【氏名又は名称】国立大学法人山梨大学
審査請求 未請求
テーマコード 5B050
5C053
Fターム 5B050BA06
5B050CA07
5B050DA01
5B050DA10
5B050EA19
5B050FA02
5B050FA05
5B050FA09
5B050FA12
5B050GA08
5C053FA07
5C053GB06
5C053JA01
5C053LA04
要約 【課題】受講者・会議参加者であるユーザが授業や会議の内容を把握しながら、適切なノート・記録を素早くとることは困難であるという問題があった。
【解決手段】電子ノート作成閲覧端末と、音声データを取得する音声入力手段と、前記音声データから音声認識により文字データを生成する音声認識手段と、前記文字データに含まれる語句が、登録語句データベースに登録された語句であるかどうかを検出する登録語句検出手段と、前記登録語句を検出した場合に、あらかじめ決められた処理を行う制御手段と、を備えたことを特徴とする電子ノート作成支援装置を提供する。
【選択図】図1
特許請求の範囲 【請求項1】
電子ノート作成閲覧端末と、
音声データを取得する音声入力手段と、
前記音声データから音声認識により文字データを生成する音声認識手段と、
前記文字データに含まれる語句が、登録語句データベースに登録された語句であるかどうかを検出する登録語句検出手段と、
前記登録語句を検出した場合に、あらかじめ決められた処理を行う制御手段と、
を備えたことを特徴とする電子ノート作成支援装置。
【請求項2】
前記文字データに含まれる語句を、前記電子ノート作成閲覧端末に表示する音声認識結果表示手段をさらに備え、
前記登録語句が重要語の場合、前記決められた処理が前記音声認識結果表示手段において前記重要語を他の語句とは異なる表示にする処理であることを特徴とする請求項1に記載の電子ノート作成支援装置。
【請求項3】
前記異なる表示が、語句の色を変えることであることを特徴とする請求項2に記載の電子ノート作成支援装置。
【請求項4】
前記登録語句がトリガー語の場合、前記決められた処理が前記電子ノート作成閲覧端末から注意喚起信号を送出する処理であることを特徴とする請求項1から3に記載の電子ノート作成支援装置。
【請求項5】
前記注意喚起信号を送出する処理が、前記電子ノート作成閲覧端末の表示画面の色調を変える処理であるか、または前記電子ノート作成閲覧端末を振動させる処理であるか、あるいはその両方の処理であることを特徴とする請求項4に記載の電子ノート作成支援装置。
【請求項6】
前記注意喚起信号を送出する処理が、前記トリガー語を検出した前記文字データに含まれる語句を時系列で並べたときに、前記トリガー語との間にある語句の個数がある所定の個数よりも小さい語句を選択し、他の語句とは異なる表示をする処理であることを特徴とする請求項4に記載の電子ノート作成支援装置。
【請求項7】
前記音声データを保存する録音手段を備えたことを特徴とする請求項1から6に記載の電子ノート作成支援装置。
【請求項8】
映像データを取込むビデオ撮影手段と、
前記映像データから静止画データを獲得する画像獲得手段と、
前記静止画データに文字列データや図形データを合成するキャプチャ画像編集部と、
前記文字データに含まれる語句が表示される語句候補表示部と、
を備え、
前記制御手段は、前記語句候補表示部に表示された語句から選択された語句を前記キャプチャ画像編集部に送り、前記静止画データに合成することを特徴とする請求項1から7に記載の電子ノート作成支援装置。
【請求項9】
前記映像データから生成した静止画データを保存する静止画像撮影手段、または前記映像データから生成した動画をビデオデータとして保存するビデオ録画手段、あるいは前記静止画像撮影手段と前記ビデオ録画手段をともに備えたことを特徴とする請求項8に記載の電子ノート作成支援装置。
【請求項10】
電子黒板の画面から映像データを取込み、動画をビデオデータとして保存する黒板画面録画手段と、
前記電子黒板の画面から静止画データを取込み、保存する黒板画面静止画保存手段と、
前記静止画データに文字列データや図形データを合成するキャプチャ画像編集部と、
前記文字データに含まれる語句が表示される語句候補表示部と、
を備え、
前記制御手段は、前記語句候補表示部に表示された語句から選択された語句を前記キャプチャ画像編集部に送り、前記静止画データに合成することを特徴とする請求項1から7に記載の電子ノート作成支援装置。
【請求項11】
前記キャプチャ画像編集部で合成された静止画データを電子ノートとして保存するノート保存手段を備えたことを特徴とする請求項8から10に記載の電子ノート作成支援装置。
【請求項12】
手動入力データを前記キャプチャ画像編集部に送り、前記静止画データに合成することを特徴とする請求項8から11に記載の電子ノート作成支援装置。
【請求項13】
前記手動入力データは、キーボード入力手段で生成された前記文字列データ、または手書き入力手段で生成された前記図形データであることを特徴とする請求項12に記載の電子ノート作成支援装置。
【請求項14】
前記電子ノートのデータをネットワーク・サーバー上に保存し、複数のユーザー間で共有することを可能とすることを特徴とする請求項11から13に記載の電子ノート作成支援装置。
【請求項15】
取得した音声データから音声認識により生成した文字データに含まれる語句と、登録語句データベースに登録された語句とを比較し、検出する手順と、
前記登録語句を検出した場合に、あらかじめ決められた処理を行う手順と、
を備えたことを特徴とする電子ノート作成支援装置プログラム。
【請求項16】
前記登録語句データベースには、重要語が登録され、前記重要語が検出された場合には、前記決められた処理が前記音声認識結果表示手段において前記重要語を他の語句とは異なる表示をする処理であることを特徴とする請求項15に記載の電子ノート作成支援装置用プログラム。
【請求項17】
前記登録語句データベースには、トリガー語が登録され、前記トリガー語が検出された場合には、前記決められた処理が前記電子ノート作成閲覧端末から注意喚起信号を送出する処理であることを特徴とする請求項15から16に記載の電子ノート作成支援装置用プログラム。
【請求項18】
画面獲得手段により生成された静止画データをキャプチャ画像編集部に送る手順と、
登録語句が検出された場合、あらかじめ決められた処理を行う手順と、
音声データから音声認識により生成された文字データに含まれる語句が表示された語句候補表示部で選択された語句を前記キャプチャ画像編集部に送る手順と、
前記静止画データに文字列データや図形データを合成する手順と、
を備えたことを特徴とする電子ノート作成支援装置用プログラム。
【請求項19】
音声入力手段と、
ビデオ撮影手段と、
電子ノート作成閲覧端末と、
音声・映像処理計算機と、
を備え、前記電子ノート作成閲覧端末は、
制御手段と、
前記制御手段により制御されるキャプチャ画像編集部と、
前記キャプチャ画像編集部で編集されたデータを電子ノートとして保存するノート保存手段と、
文字データから登録語句データベースに登録された登録語句を検出する登録語句検出手段と、
前記文字データから前記電子ノートに記録する語句の候補を抽出する音声認識結果表示手段と、
前記語句の候補を表示する語句候補表示部と、
前記語句候補表示部に表示された語句の中から語句を選択して前記制御手段に送る音声認識語句獲得手段と、
映像データから画像データを獲得して前記制御手段に送る画像獲得手段と、
手書きでデータを入力する手書き入力手段と、
キーボードから入力するキーボード入力手段と、
を備え、前記音声・映像処理計算機は、
前記音声入力手段から音声データを受けて前記文字データを生成する音声認識手段と、
前記前記文字データを保存する音声認識結果記録手段と、
前記音声データを保存する録音手段と、
前記ビデオ撮影手段から映像データを受けてビデオデータとして保存するビデオ録画手段と、
前記静止画データを保存する静止画像撮影手段と、
を備えたことを特徴とする電子ノート作成支援装置。
発明の詳細な説明 【技術分野】
【0001】
本発明は、教育機関の授業・講演会・会議等において、受講者・会議参加者がノート・記録を取る際に用いる電子ノート作成支援装置に関し、特に音声認識による文字データを処理する電子ノート作成支援装置に関する。
【背景技術】
【0002】
従来、高校や大学等の授業では、一般的な黒板を用いた授業や、マイクロソフト社製プレゼンテーションソフトウェア「パワーポイント」(登録商標)等のスライドソフトウェアを用いた授業が行われている。しかしながら、授業に参加している受講者にとって、黒板を用いる授業では黒板の文字をノートに書き写すのに時間がとられ講師の話をきちんと聞けないという問題や、スライドを用いた授業は授業の展開が速すぎてついていけないといった問題があった。
【0003】
このような問題を解決するために、例えば特許文献1には、講師が黒板やスライドで行なっている授業の様子を録画した講演ビデオからコンテンツを自動的に生成する装置が開示されている。ビデオ画像を加工してスクリーン領域と講師領域とに分けて切り出すなどの処理が記載されているが、音声データについての処理は特に記載されてはいない。
【0004】
一方、特許文献2には、議事録を作成するシステムが開示されており、音声データから文字データを抽出・解析し、シーン毎のコンテンツに貼り付けることが記載されている。
【0005】
また、特許文献3には、手書き文字入力表示支援装置が開示されており、音声認識結果を使って入力している手書き文字を予測し、予測候補をなぞると文字全体を書き込む必要なく文字が入力できる装置が記載されている。
【先行技術文献】
【0006】

【特許文献1】特開2011-40921
【特許文献2】特開2012-43046
【特許文献3】特開2007-18290
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献1では、音声データから文字データへの変換はなされていない。特許文献2では、音声データから文字データに変換し、加工した文字データを記録するのみで、記録する文字データを選択することや、語句そのものの重要度や属性に応じてなんらかの処理を行うものではない。特許文献3においても正しい語句を予測するのみで、語句そのものの重要度や属性に応じてなんらかの処理を行うものではない。従って、多くの語句の中から重要な語句やある属性を有する語句を抽出しなんらかの処理を行うことはいずれの従来技術にも開示はなく、受講者・会議参加者であるユーザが授業や会議の内容を把握しながら、適切なノート・記録を素早くとることは困難であるという問題があった。
【課題を解決するための手段】
【0008】
本発明による電子ノート作成支援装置は、電子ノート作成閲覧端末と、音声データを取得する音声入力手段と、前記音声データから音声認識により文字データを生成する音声認識手段と、前記文字データに含まれる語句が登録語句データベースに登録された語句であるかどうかを検出する登録語句検出手段と、前記登録語句を検出した場合にあらかじめ決められた処理を行う制御手段とを備えたことを特徴とする。
【0009】
また、本発明による電子ノート作成支援装置プログラムは、取得した音声データから音声認識により生成した文字データに含まれる語句と登録語句データベースに登録された語句とを比較し検出する手順と、前記登録語句を検出した場合にあらかじめ決められた処理を行う手順とを備えたことを特徴とする。
【0010】
また、本発明による電子ノート作成支援装置プログラムは、画面獲得手段により生成された静止画データをキャプチャ画像編集部に送る手順と、登録語句が検出された場合、あらかじめ決められた処理を行う手順と、音声データから音声認識により生成された文字データに含まれる語句が表示された語句候補表示部で選択された語句を前記キャプチャ画像編集部に送る手順と、前記静止画データに文字列データや図形データを合成する手順とを備えたことを特徴とする。
【発明の効果】
【0011】
本発明によれば、多くの語句の中から重要な語句やある属性を有する語句を抽出し適切な処理を行うことができ、受講者・会議参加者であるユーザが授業や会議の内容を把握しながら、適切なノート・記録を素早く取ることができるという効果がある。
【図面の簡単な説明】
【0012】
【図1】本発明の第一の実施例による電子ノート作成支援装置の構成を示す図である。
【図2】本発明の第二の実施例による電子ノート作成支援装置の簡単な概要を示す図である。
【図3】本発明の第二の実施例による電子ノート作成支援装置の構成を示す図である。
【図4】本発明の第二の実施例により登録語句を検出するプログラムの手順を説明する図である。
【図5】本発明の第二の実施例により画面表示等を制御するプログラムの手順を説明する図である。
【図6】本発明の第二の実施例による電子ノート作成閲覧端末の表示部分を説明するための図である。
【図7】本発明の第二の実施例による電子ノート作成閲覧端末で電子ノートを閲覧するときの俯瞰表示画面を説明するための図である。
【図8】本発明の第二の実施例による電子ノート作成支援装置を用いた授業の概要を示す図である。
【図9】本発明の第三の実施例による電子ノート作成支援装置を用いた授業の概要を示す図である。
【図10】本発明の第三の実施例による電子ノート作成支援装置の構成を示す図である。
【発明を実施するための形態】【実施例1】
【0013】
以下に本発明の実施例について図面を参照しながら詳細に説明する。
【実施例1】
【0014】
図1は本発明による第一の実施例による電子ノート作成支援装置の構成を示す図である。電子ノート作成閲覧端末1は、ユーザが授業を受ける際に手元において入出力を行う端末である。ノートパソコンやタブレットパソコン、携帯端末などを利用しても構わない。画像や文字を表示する表示機構と、文字データや図形データなどが入力できる入力機構を備えている。表示機構は液晶パネル、入力機構はタッチパネルである。表示機構は他のディスプレイデバイスであっても構わないし、入力機構はマウス、ジョイスティック、キーボードなどによるものであっても構わない。
【実施例1】
【0015】
音声入力手段2は通常のマイクロフォンであり、講師が発声した言葉である音声を音声データに変換する。電子ノート作成閲覧端末1とは無線あるいは有線により接続され、音声データを電子ノート作成閲覧端末1に送信する。
【実施例1】
【0016】
電子ノート作成閲覧端末1に内蔵されている音声認識手段3は、音声入力手段2から音声データを受信し、音声認識により文字データに変換する。
【実施例1】
【0017】
変換された文字データは、音声認識結果表示手段4により、単語レベルに分けて語句候補表示部5に表示される。ここで語句候補表示部5は、表示機能を有する構成要素であるとともに電子ノート作成閲覧端末1における表示画面の表示領域をも示していて、タッチパネルにおける入力領域でもある。語句候補表示部5は、この入力機能を利用して表示された語句の中からユーザが選択した電子ノートとして記録すべき語句の情報を、制御手段6に送信する。
【実施例1】
【0018】
一方、文字データは登録語句検出手段7にも送信され、単語レベルに分けて登録語句データベース8に登録されている語句と照合することにより、登録語句の検出が行われる。
【実施例1】
【0019】
登録語句はいくつかのグループに分類されている。あるいは属性を保有していると考えても良い。検出された登録語句は、そのグループあるいは属性に従い、あらかじめ定められた処理を行うように設定さている。つまり、登録語句検出手段7に処理内容を登録しておき直接に処理を行うか、あるいは処理情報を制御手段6に送付し制御手段6から処理を行うようにしてもよい。また、登録語句検出手段7が登録語句とグループの情報を制御手段6に送信し、制御手段6にあらかじめ内蔵された命令に従い定められた処理を行うようにしてもよい。
【実施例1】
【0020】
本実施例では、登録語句は重要語とトリガー語というグループに分類されている。重要語は、それ自体が重要な意味を持つ語句であり、授業や会議などにおいてキーワードとなるような語句である。専門用語や固有名詞、あるいは数値を示す単語である場合もある。トリガー語は、それ自体は重要な意味を持たないが、近傍に発言される語句が重要な意味をもつ可能性の高い語句、あるいは注意を促すような語句である。例えば、授業では「重要です」、「試験に出ます」、会議では「繰り返します」、「問題点」などである。
【実施例1】
【0021】
本実施例では、重要語が検出された場合、音声認識結果表示手段4にその情報が送られ、語句候補表示部5における重要語の表示を、他の語句の表示とは異なるようにする。具体的には他の語句は黒い文字で表示するのに対し、重要語は赤い文字で表示する。あるいは、重要語の背景をハイライトにしたり、文字を点滅させたり、矢印などの特別な図形を表示して重要語を示すというようなことでもよい。
【実施例1】
【0022】
一方、トリガー語が検出された場合、その情報は制御手段6に送られる。制御手段6は振動素子9に信号を送り、電子ノート作成閲覧端末1を振動させることにより、ユーザに注意を喚起する。つまりユーザに注意喚起信号である振動を送信する。あるいは制御手段6から電子ノート作成閲覧端末1の表示画面の色調を、例えば警告を示す赤色に変えることでもよく、振動と色調の変更の両方の処理を行ってもよい。端末がスピーカを備えている場合には警告音を発することでもよいし、電子ノート作成閲覧端末1を保持している手や指に感知できる程度の少量の電流を流すようなことでもよい。
【実施例1】
【0023】
授業や会議で使われる黒板やホワイトボード、プレゼン用のスクリーン、あるいは立体的なディスプレイや具体的な物品のサンプル、さらには講師自体のジェスチャーなど、視覚に訴える媒体での説明がなされる場合には、ビデオ撮影手段10により、映像データとして情報を取込む。通常、映像データは動きを伴う動画として取込まれるが、画像獲得手段11により、複数の静止画データに変換し制御手段6に送られる。静止画データを獲得する頻度は問わないが、授業や会議の内容に応じて区分できるまとまりのあるシーンごとに獲得することが望ましい。
【実施例1】
【0024】
また、手動入力データとして、キーボード入力手段12が備えられている場合にはキーボード入力による文字列データ、手書き入力手段13が備えられている場合には手書き入力による図形データが入力され、制御手段6に送られる。あるいは手動入力データは手書き図形から認識した文字列データでもよい。また電子ノート作成閲覧端末1が記憶している他の文字列データ、図形データを呼び出しても良いし、ネットワーク環境が整っている場合には、インターネット経由で他のサーバなどから読み出したデータでもよい。
【実施例1】
【0025】
制御手段6では、静止画データ、語句候補の中から選択された語句の情報、手動入力データ、あるいは登録語句を検出した場合に表示画面上で処理する場合の情報などを総合して、キャプチャ画像編集部14に送付する。ここでキャプチャ画像編集部14は、語句候補表示部5と同様に、表示機能を有する構成要素であるとともに、電子ノート作成閲覧端末1における表示画面の表示領域をも示し、タッチパネルにおける入力領域でもある。ユーザからの入力に応じて、静止画データを切り替えたり、選択された語句の配置を調整したり、手動入力データを配置したり、アレンジしたりすることができる。
【実施例1】
【0026】
このような過程を経てキャプチャ画像編集部14で作成した静止画データをノート保存手段15により、電子ノート16として記録する。電子ノート16は単なる静止画データではなく、静止画データの集積であり、順序やタイムスタンプなどの属性を付与され、また、画像データに記録された各種データの属性を保持したものであってもよい。また、URLなどインターネット上でのリンク情報を付与されたものであっても良い。また、動画としての画像データや、音声データそのものを記録する手段を有している場合はそれらを付与されたデータであっても良い。
【実施例1】
【0027】
保存された電子ノート16は必要に応じて、電子ノート作成閲覧端末1上に読み出すこともできるし、他のPCや携帯端末などで閲覧することも可能であり、また再度編集を行い、修正できるようなデータであることが望ましい。
【実施例2】
【0028】
以下に本発明の第二の実施例について図面を参照しながら詳細に説明する。
【実施例2】
【0029】
図2は本発明による第二の実施例による電子ノート作成支援装置の構成の簡単な概要を示す図である。黒板やスライド投影によってプレゼンテーションされている授業・講演を、ビデオ撮影手段10ならびに音声入力手段2を通じて映像データおよび音声データを音声・映像処理計算機17が獲得する。音声・映像処理計算機17では獲得した映像データをビデオ録画手段18により保存するとともに、ビデオデータから静止画データを作成し、静止画像撮影手段9により保存する。さらに,音声データは音声認識手段3によって自動的に文字データである単語列に変換する。ノート作成者が使用する電子ノート作成・閲覧端末1には,通信手段を介して得られる単語列や撮影した静止画データが表示されている。ノート作成者は音声認識された単語列から手書き文字入力手段20を用いてノートに記録する単語を選択しそれを画像データ上に自由に配置できる。また、単語列に含まれる単語は登録語句検出手段7により登録語句データベース内の語句と比較検出され、検出された場合には文字の色を変えるなど、あらかじめ決められた処理を行う。これらの処理は制御手段6により行われる。これらによりノート作成者の負担が軽減し、講義・講演に集中することができる。
【実施例2】
【0030】
図3は、図2の概要図において、処理とデータの流れを含め、さらに詳細な構成を示す図である。電子ノート作成支援装置は,大きく2つの部分から成る。すなわち、映像・音声処理計算機(以下、サーバと称す)17と電子ノート作成・閲覧操作を行う電子ノート作成閲覧端末(以下、ユーザ端末と称す)1である。サーバは特にオペレーティングシステム(OS)は限定されない。またユーザ端末においても、特にOSを限定しない。なお、本発明は、黒板を使ったプレゼンテーションやスクリーンへパソコン画面を投影するスタイルのプレゼンテーション双方に対応できるように2つの装置に分けられているが、この形に限定されない。すなわち、将来電子黒板が普及した際には電子黒板に表示されている内容がユーザ端末側に表示させることは容易であることから、サーバは不要となる。
【実施例2】
【0031】
音声入力手段2には、ワイヤレス(ワイヤード)マイクロフォンを利用する。入力された音声は、音声認識手段3によって音声認識が為され、音声は文字データである単語列に変換される。変換された単語列は音声認識結果記録手段21を通して一旦サーバに文字データ22として保存される。入力された音声は音声認識と同時に録音手段23によって音声波形である音声データ24としてサーバに保存される。音声認識手段3は、既に様々な手法が提案されているが、本発明では一つの手法に限定しない。
【実施例2】
【0032】
ビデオ撮影手段10には,サーバと接続可能なビデオカメラを利用する。ビデオ撮影手段10により得られた映像データは、ビデオ録画手段18によってビデオデータ25として保存しておく。音声データとビデオデータは、ユーザ端末に転送することが可能である。静止画像撮影手段19は、設定した時間毎に(例えば5秒おき,1分おき等)映像データから静止画データに変換し、これを静止画データ26として保存しておく。ユーザ端末利用者が静止画像を要求した際には、静止画データはユーザ端末へ転送される。
【実施例2】
【0033】
サーバとユーザ端末は通信手段によって構築されたネットワークに接続されている。通信手段は、無線LAN等の一般的な技術等であり、無線や有線の種類は問わない。
【実施例2】
【0034】
サーバに保存された音声認識手段3により得られた単語列は、ネットワークを通して即座にユーザ端末の登録語句検出手段7と音声認識結果表示手段4に送信される。登録語句検出手段7は、音声認識手段によって得られた単語列にあらかじめ登録された語句が含まれているか否かを比較する処理を行なう。
【実施例2】
【0035】
図4により、登録語句検出手段7におけるプログラムの処理の流れを説明する。まず、音声認識手段3によって得られた文字データである単語列を取得(step1)する。次に、登録語句データベースに登録してある語句と単語列とを比較(step2)する。登録語句データベースは、トリガー語リストと重要語リストから構成されている。重要語、トリガー語については先に述べたとおりである。比較方法は多種な方法があるため本発明はその方法については一意に限定しない。もし、トリガー語リストに登録されている語と比較が成功した場合は、それを制御手段6に通知し、ユーザに対し注意喚起信号を創出(step3)する。具体的には、ユーザ端末の表示画面の色調を変えたり、端末を振動させたりする。また、重要語リストに登録されている語と比較が成功した場合は、それを音声認識結果表示手段4に通知し、重要語を他の語句の表示とは異なる表示にする(step4)。具体的には、文字の色を変えたり、点滅させたりといった処理をする。
【実施例2】
【0036】
登録語句データベースに登録する語句については、予めプレゼンテーションを行なう人間が設定しておき、ユーザ端末利用者がそれをダウンロードすることもできるし、ユーザ端末利用者自身がそれを登録することも可能である。また、同じ種類の授業や会議の電子ノートの記録から、言語解析を行うことにより、抽出したものでも構わない。
【実施例2】
【0037】
一方、図3の音声認識結果表示手段4は、受信した音声認識結果である文字データの中からユーザ端末に表示させる語を選別する。音声認識手段3で得られた全ての単語列をユーザ端末に表示させると端末利用者が不便を被ることが考えられるため、例えば、表示させる品詞の種類を限定するなどして、必要最低限の音声認識結果を選別し語句候補表示部5に送り、表示する。先に述べたように、もし、登録語句検出手段7によって、重要語リストに登録されている語が検出された場合、利用者に重要語が含まれていることを通知する。
【実施例2】
【0038】
ユーザが、語句候補表示部5に表示された単語を、音声認識語句獲得手段27を通じて、選択すると、選択された単語が制御手段6に送られ、結果としてノートとして記録することができる。音声認識語句獲得手段27は、タッチパネル画面上に表示された単語を利用者が自身の指、あるいはタッチペンで触ることで、単語選択を提供する。
【実施例2】
【0039】
画像獲得手段11は、ユーザ端末のタッチパネル上に表示されている画像取得ボタンを選択することで、サーバ上の静止画像データを画面表示制御手段に転送する。
【実施例2】
【0040】
キーボード入力手段12は、ユーザ端末に物理的あるいはソフトウェアで実現されているキーボードによって実現される。キーボード入力手段12によって入力された文字情報は、制御手段6に転送される。
【実施例2】
【0041】
手書き入力手段13は、ユーザがタッチパネル上に手書き文字入力を行った際に、筆圧軌跡を画像データ化し、それを制御手段6に転送する。
【実施例2】
【0042】
しおり実行手段28は、本にしおりをはさみ、後から閲覧しやすいようにする動作と同様に、キャプチャ画面編集部14に表示されているページに電子的なしおりを挟みこむ。電子的なしおりが挟み込まれたことが利用者に分かるように画面の色を変えたり、印をつけたりする。
【実施例2】
【0043】
制御手段6は,画像獲得手段11、音声認識語句獲得手段27、キーボード入力手段12、手書き文字入力手段13それぞれから得られた情報を、キャプチャ画像編集部14上の適切な位置へ配置する。この時、各獲得・入力手段によって入力された情報には時間タグを付与しておく。この時間タグは、ビデオデータ25ならびに音声データ24と完全に同期がとられており、これを用いることで画像・音声の頭出しに利用することが可能となる。
【実施例2】
【0044】
図5により、制御手段6の処理プログラムの流れを説明する。制御手段6は、画像獲得手段11によって画像獲得が行われたときには、静止画データをキャプチャ画像編集部上に送付し表示する(step5)。登録語句検出手段7によって重要語やトリガー語が検出された場合には、あらかじめ決められた処理、つまり重要語の表示色を変えたり、ユーザに注意喚起信号を送信したりする(step6)。音声認識語句獲得手段27により、音声認識語句獲得がなされた場合には、選択された語句を制御手段6に送付する(step7)。キーボード入力手段12や手書き入力手段13により、手書きによる文字・図形やキーボード入力に対応した文字が入力された場合には、入力されたデータをキャプチャ画像編集部14上に送付し表示する。しおり実効手段28により、しおりが挟まれた場合には、ページにしおりが挟まれたことを記録する(step9)。ユーザは、これらの処理が行われることにより、電子データのページを自由に編集することができる。
【実施例2】
【0045】
図3のページ破棄手段29は、ユーザが現在作成しているキャプチャ画像編集部14上の情報を削除する操作を行なうことで、キャプチャ画像編集部14の情報をすべてクリアする。ノート保存手段15は、現在表示されているページ、もしくはノート全体を電子データである電子ノート16として保存する。また、サーバに録音・録画された音声・ビデオデータをユーザ端末にダウンロードする。
【実施例2】
【0046】
保存された電子ノート16のデータは、利用者が許可すればサーバに送られる。これによって、同じ授業や会議に参加している利用者同士の電子ノートを共有することができる。サーバ上の電子ノート共有化手段30は、複数の利用者が作成した電子ノートに含まれる手書き文字、キャプチャ画像、ならびに音声認識語句獲得手段27により取得した単語情報を融合し、1つの電子ノートを作成することができる。さらに、ウェブブラウザと親和性の高い形式(例えばXML形式)に変換することにより、ウェブサーバを介して、授業や会議の様子をコンテンツ化し、(一般・限定)公開することも可能な公開用電子ノート31となる。この点からは、本発明は人出によるコンテンツ作成支援装置とも言える。
【実施例2】
【0047】
ノート読込み手段32は、過去に保存された電子ノート16のデータ、あるいは他のユーザ端末で作成されたサーバ上にある電子ノート16を、ユーザ端末1上のノート共有手段33を通して読み込む。読込まれた電子データは、制御手段6を通して、キャプチャ画像編集部14上に表示される。
【実施例2】
【0048】
音声データ検索手段34は、例えば、発明者が既に開発した音声中の検索語検出アルゴリズム(非特許文献5)などを利用して実現する。なお、本手段は、非特許文献5の技術に限定されるものではない。非特許文献5に開示した技術では、まず複数の音声認識手段によって、複数のパターンの音声認識結果を得る。音声認識結果は単語列に限らず、単語の音節あるいは音素表現である。次に複数の音声認識手段によって得られた複数パターンの単語列・音素列・音節列を動的計画法によって統合し、これを音声データ検索手段向けのインデックスとする。こうして作られたインデックスは、電子ノートのページ毎に対応が付けられている。このインデックスに対して、人間の検索要求(検索したい語句を入力する)があった際、インデックスと入力された語句との間の類似度を別の動的計画法を用いて計算し、類似性が高い音声が含まれるページを出力する。
【実施例2】
【0049】
ノート検索手段35は、あるキーワード(文字列)が与えられたとき、ノート保存手段16によって保存されている電子ノート16の内にある同じ文字列を検索する。キーワードが電子ノート内に見つかった場合、それが含まれているページを出力する。俯瞰表示手段36は、作成されたノートの各ページの画像をサムネイルで表示する。ノート共有手段は,他人の端末で作成されたノートの電子データをダウンロードする。
【実施例2】
【0050】
図6により、電子ノートを作成するユーザ端末上の表示レイアウトを説明する。画像のキャプチャを要求する画像取得ボタン、作成したページを破棄するページ破棄ボタン、新規ページを作成するボタン、作成したノート(ページの集合)を保存するノート保存ボタン、等が備わっている。この図では授業の一形態として黒板を用いた一般的な例を図示しているが、スライド投影タイプの授業でも差し支えなく利用できることは先に述べた通りである。表示部は、主にキャプチャ画像編集部14と語句候補表示部5の2画面から構成される。キャプチャ画像編集部14にはキャプチャされた静止画が貼り付けられる。キャプチャ画像編集部14に獲得された静止画上もしくは余白部分に、自由に手書き文字や図形を書き込むことができる。
【実施例2】
【0051】
また、音声認識結果から音声認識結果表示手段4によって選別された単語列が語句候補表示部5に表示され、ユーザが所望の単語列を選択することで、選択された単語列をキャプチャ画像編集部14に配置することもできる。キャプチャ画像編集部14に表示されている情報が1ページであり、ノートは単数または複数のページから構成されている。もし、音声認識結果に登録語句(重要語またはトリガー語)が含まれていた場合には、その存在をユーザに注意喚起する機能も備え持つ。
【実施例2】
【0052】
図7により、ノートを閲覧するときの俯瞰表示画面を説明する。ノートの各ページがサムネイルで一覧表示されている。特定のサムネイルをタッチすることで、そのページが図6のようなレイアウトで表示される。トリガー語が検出されたページや電子的なしおりが挟み込まれたページには、それが一見で分かるようなしくみ(例えば色を変える・印をつける)を用いて利用者に知らせる。
【実施例2】
【0053】
本発明により、黒板の板書やスクリーンに投影されたスライド情報を、リアルタイムで利用者の端末に取り込むことができる。その結果、取り込んだ情報を利用することで、従来の紙のノートと同等の情報を有した電子ノートを、より少ない労力で作成することができる。
【実施例2】
【0054】
また、本発明は、音声の録音ならびに、それを音声認識して文字列化する機能を有しているので、講師等が発話した音声が正しく文字列に変換された場合は、手書き作業の代わりに、文字列を選択する操作(通常はワンタッチ操作)のみで情報の追加が可能であり、そのためさらに少ない労力でノートを作成することができる。
【実施例2】
【0055】
さらに、本発明は、講師等が発話した重要なキーワード、フレーズ(例えば「これは試験に出しますよ」や「ここが今回のポイントです」)を自動的に検知し、ユーザに知らせる機能を有している。その結果、ユーザの聞き逃しを防ぎ、学習効果を高めることができる。
【実施例2】
【0056】
また、しおり機能を備えていることで、利用者自らが重要なページに印を付けることができ、後から電子ノートを効率的に見直すことができる。
【実施例2】
【0057】
加えて、本発明は、本発明により提供される機能を用いて作成した電子ノート情報を、他人と共有する機能を有している。その結果、共有したユーザ同士で情報の記録漏れなどを知ることができ、学習効果を高めることができる。
【実施例2】
【0058】
また、プレゼンテーションを行った講師なども、利用者が作成したノートを閲覧することで、利用者の理解度を把握することが可能となる。例えば、ノート上の「わからない」「?」のような文字列、記号を手がかりに、講師が受講者の理解度を把握することが可能であり、フィードバックが容易となる。
【実施例2】
【0059】
従来のコンテンツ生成型(e-Learning支援)発明とは異なり、授業等に参加しているユーザが主体となってコンテンツを作り上げることで、受け身の学習から能動的な学習が可能となり、学習効果を高めることができる。
【実施例2】
【0060】
もちろん、従来のe-Learning支援関連の発明と同様に、作成されたノート(コンテンツ)は、復習に利用できる。もちろん電子ノートのデータ形式をウェブブラウザとの親和性が高い形式(例えばXML形式)にすることで、ウェブを介して(一般・限定)公開することも可能となる。これまでに自動でプレゼンテーションをコンテンツ化する既存の発明とは異なり、人間がコンテンツ作成に介入することで、より分かりやすい、意味のあるコンテンツを作成・公開することが可能となる。
【実施例2】
【0061】
図8は、教育機関の授業において、本発明が利用されている例を示している。
黒板やスライド投影による授業の様子をキャプチャ用カメラによって撮影し、同時に教員に装着されたマイクから取得した音声をサーバに送る。サーバではビデオの録画・静止画の保存が行われ、同時に取得した音声の音声認識を行なう。本例では、ビデオカメラはサーバに直接接続されている。教員に装着されるマイクは、教員が自由に教室内を歩き回れるようワイヤレスマイクが望ましいが、有線マイクでも構わない。ワイヤレスマイクの場合は、サーバに受信機が接続され、それを介して音声がサーバに送信される。
【実施例2】
【0062】
本例では、サーバと受講者が利用している電子ノート作成端末は、無線LANルータを介してローカルな同一のネットワーク上に配置されている。そのため、サーバと無線ルータはTCP/IP通信などの既存の通信プロトコルによって接続されている。サーバ上の音声認識手段によって音声認識された音声認識結果は、受講生が利用しているユーザ端末に送られる。受講生は、教員の説明を聞きながら、図5に示す表示画面において、自由に電子ノートを作成していく。受講者は他人の作成した電子ノートの閲覧もできるし、サーバ上の共有化手段によって複数の受講者の電子ノートがまとめられて別に作成された公開用電子ノートも閲覧することができる。教員は、受講生が記録した電子ノートを閲覧することができる。これによって、受講生の理解度を測ることも可能である。
【実施例3】
【0063】
図9は、本発明による第三の実施例である電子黒板装置を用いた場合を示す。本実施例ではサーバを必要としない。電子黒板装置では、黒板上に電子的に表示されている画面をキャプチャすることが可能であることから、第一の実施例と比べてビデオカメラが不要である。さらに、個々の電子ノート作成端末にマイクロフォンを搭載すれば、電子ノート作成端末側で音声認識手段を実行できるため、画像・音声処理用サーバが不要となる。
【実施例3】
【0064】
図10は本実施例の詳細な構成を示している。本実施例による電子ノート作成支援装置は、ビデオ撮影手段、ビデオ録画手段と静止画像撮影手段を備えておらず、替わりに電子黒板装置37に内蔵されている黒板画面録画手段38と、黒板画面静止画保存手段39を備えている。黒板画面録画手段38は映像データを取込み、動画としてビデオデータを保存する。また黒板画面静止画保存手段39は静止画データを取込み、また静止画データとして保存する。一方、音声入力手段2は、電子ノート作成閲覧端末1に付属し、音声認識手段3、音声認識結果記録手段21と録音手段23も、電子ノート作成閲覧端末1に内蔵されている。また、音声認識手段3により生成された文字データ22や、録音手段23により記録された音声データ24も電子ノート作成閲覧端末1に蓄積される。
【実施例3】
【0065】
本実施例では、電子黒板を利用することにより、音声・映像処理計算機が不要になるという利点がある。
【産業上の利用可能性】
【0066】
本発明によれば、多くの語句の中から重要な語句やある属性を有する語句を抽出し適切な処理を行うことができ、受講者・会議参加者であるユーザが授業や会議の内容を把握しながら、適切なノート・記録を素早く取ることができる電子ノート作成支援装置を提供することができる。
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9