TOP > 国内特許検索 > 文章評価装置及び文章評価プログラム > 明細書

明細書 :文章評価装置及び文章評価プログラム

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4165898号 (P4165898)
登録日 平成20年8月8日(2008.8.8)
発行日 平成20年10月15日(2008.10.15)
発明の名称または考案の名称 文章評価装置及び文章評価プログラム
国際特許分類 G09B  19/00        (2006.01)
G09B  19/06        (2006.01)
G09B   7/02        (2006.01)
FI G09B 19/00 H
G09B 19/06
G09B 7/02
請求項の数または発明の数 12
全頁数 20
出願番号 特願2007-521230 (P2007-521230)
出願日 平成18年5月24日(2006.5.24)
国際出願番号 PCT/JP2006/310372
国際公開番号 WO2006/134759
国際公開日 平成18年12月21日(2006.12.21)
優先権出願番号 2005174675
優先日 平成17年6月15日(2005.6.15)
優先権主張国 日本国(JP)
審査請求日 平成19年11月28日(2007.11.28)
特許権者または実用新案権者 【識別番号】899000068
【氏名又は名称】学校法人早稲田大学
【識別番号】502194735
【氏名又は名称】株式会社教育測定研究所
発明者または考案者 【氏名】アントニ ローレンス
【氏名】林 規生
【氏名】曽根 一男
【氏名】山梨 俊夫
【氏名】前田 かおり
【氏名】山岸 康子
【氏名】椿本 弥生
早期審査対象出願または早期審理対象出願 早期審査対象出願
個別代理人の代理人 【識別番号】100114524、【弁理士】、【氏名又は名称】榎本 英俊
審査官 【審査官】安久 司郎
参考文献・文献 特開2001-056634(JP,A)
特開2001-318792(JP,A)
特開2003-203071(JP,A)
特表2005-519312(JP,A)
特開平10-222049(JP,A)
武田 紀子 Noriko Takeda,英作文学習支援システムの作成,情報処理学会研究報告 Vol.2000 No.86 IPSJ SIG Notes,日本,社団法人情報処理学会,2000年 9月21日,p.42-p.44
調査した分野 G09B 19/00-19/06
G09B 7/00- 7/12
G09B 5/00- 5/14
G06Q 50/00
特許請求の範囲 【請求項1】
原文となる問題文に対して所定言語で翻訳された解答文の評価を行う文章評価装置において、
前記問題文に対する正解の翻訳文となる正解文が記憶された正解文データベースと、前記正解文データベースに記憶された正解文と利用者により作成された前記解答文との対比により、当該解答文に対する採点処理を行う採点部とを備え、
前記採点部は、前記正解文データベースに記憶された正解文及び利用者により作成された解答文の中の語群の相違に着目して採点する語群評価手段を備え、
前記語群評価手段は、前記正解文データベースに記憶された正解文と利用者により作成された解答文の対比により、相互に同一となる語群を決定し、又は、当該同一の語群に隣り合う前若しくは後の単語について、単語の活用形が記憶された辞書データベースに基づき活用形が相違するか否かを判断し、若しくは予め記憶された手法に基づきスペルミスか否かを判断し、当該単語が活用形の相違若しくはスペルミスの場合に当該単語を前記同一の語群に含めた近似の語群を決定した上で、前記同一若しくは近似の語群を評価対象語とし、前記正解文及び前記解答文の間での各評価対象語の位置の相違若しくは前記評価対象語の並び順の相違に応じて点数に差を付けることを特徴とする文章評価装置。
【請求項2】
前記語群評価手段は、前記同一の語群と近似の語群とで点数に差を付けることを特徴とする請求項1記載の文章評価装置。
【請求項3】
所定の単語がその活用形とともに記憶された辞書データベースを備え、
前記採点部は、前記辞書データベースを基に、前記正解文データベースに記憶された正解文及び前記解答文の中の単語の活用形の相違に着目して採点する活用形評価手段を備え、
前記活用形評価手段は、既に評価済みの評価対象語を除く単語の中から、前記正解文及び前記解答文の対比により、前記辞書データベースを基に活用形相違に過ぎない単語を新たな評価対象語として抽出し、当該新たな評価対象語について、前記正解文及び前記解答文の間での位置の相違に応じて点数に差を付けることを特徴とする請求項1記載の文章評価装置。
【請求項4】
前記採点部は、前記解答文の中の単語のスペルミスに着目して採点するスペル評価手段を備え、
前記スペル評価手段は、既に評価済みの評価対象語を除く単語の中から、前記正解文データベースに記憶された正解文及び前記解答文の間で、予め記憶された手法に基づき綴りが近似する単語を新たな評価対象語として抽出し、当該新たな評価対象語について、前記正解文及び前記解答文の間での位置の相違に応じて点数に差を付けることを特徴とする請求項1又は記載の文章評価装置。
【請求項5】
所定の単語がその品詞の種類とともに記憶された辞書データベースを備え、
前記採点部は、前記辞書データベースを基に、前記正解文データベースに記憶された正解文及び前記解答文の中の単語の品詞の同一性に着目して採点する品詞評価手段を備え、
前記品詞評価手段は、既に評価済みの評価対象語を除く単語につき前記辞書データベースに記憶された品詞の種類を基に品詞の判別を行い、前記正解文及び前記解答文の対比により、それらの間で品詞の種類が一致する単語を新たな評価対象語として抽出し、当該新たな評価対象語について、前記正解文及び前記解答文の間での位置の相違及び/又は品詞の種類に応じて点数に差を付けることを特徴とする請求項1~の何れかに記載の文章評価装置。
【請求項6】
前記採点部は、前記正解文データベースに記憶された正解文及び前記解答文の中で、前記評価対象語を除く残りの単語の数に応じて点数に差を付ける最終評価手段を備えたことを特徴とする請求項1~の何れかに記載の文章評価装置。
【請求項7】
前記最終評価手段は、前記残りの単語が、前記正解文データベースに記憶された正解文及び前記解答文の間で対応する位置に存在するか否かにより点数に差を付けることを特徴とする請求項記載の文章評価装置。
【請求項8】
所定の単語がその品詞の種類とともに記憶された辞書データベースを備え、
前記最終評価手段は、前記残りの単語につき、前記辞書データベースを基に品詞の判別を行い、判別された品詞の種類に応じて点数に差を付けることを特徴とする請求項記載の文章評価装置。
【請求項9】
前記正解文データベースには、前記正解文が複数記憶され、
前記採点部では、前記各正解文に対し、前記各評価手段による前記解答文の採点処理がそれぞれ行われ、正解文毎に求められた採点結果の中から最も良い評価を前記解答文の評価とすることを特徴とする請求項1~の何れかに記載の文章評価装置。
【請求項10】
原文となる問題文に対する正解の翻訳文となる正解文と、前記問題文に対して所定言語で翻訳された解答文とを対比することにより、当該解答文の評価をコンピュータに実行させる文章評価プログラムであって、
予め正解文データベースに記憶された前記正解文と利用者により作成された解答文の対比により、相互に同一となる語群を決定し、又は、当該同一の語群に隣り合う前若しくは後の単語について、単語の活用形が記憶された辞書データベースに基づき活用形が相違するか否かを判断し、若しくは予め記憶された手法に基づきスペルミスか否かを判断し、当該単語が活用形の相違若しくはスペルミスの場合に当該単語を前記同一の語群に含めた近似の語群を決定した上で、これら同一若しくは近似の語群を評価対象語として抽出し、前記正解文及び前記解答文の間での各評価対象語の位置の相違若しくは前記評価対象語の並び順の相違に応じて点数に差を付ける語群評価手段として前記コンピュータを機能させるための文章評価プログラム。
【請求項11】
原文となる問題文に対する正解の翻訳文となる正解文と、前記問題文に対して所定言語で翻訳された解答文とを対比することにより、当該解答文の評価をコンピュータに実行させる文章評価プログラムであって、
予め正解文データベースに記憶された前記正解文と利用者により作成された解答文の対比により、相互に同一となる語群を決定し、又は、当該同一の語群に隣り合う前若しくは後の単語について、単語の活用形が記憶された辞書データベースに基づき活用形が相違するか否かを判断し、若しくは予め記憶された手法に基づきスペルミスか否かを判断し、当該単語が活用形の相違若しくはスペルミスの場合に当該単語を前記同一の語群に含めた近似の語群を決定した上で、これら同一若しくは近似の語群を評価対象語として抽出し、前記正解文及び前記解答文の間での各評価対象語の位置の相違若しくは前記評価対象語の並び順の相違に応じて点数に差を付ける語群評価手段と、
前記語群評価手段で評価された評価対象語を除く単語につき所定の単語がその品詞の種類とともに記憶された辞書データベースを基に品詞の判別を行い、前記正解文と前記解答文の対比により、それらの間で品詞の種類が一致する単語を新たな評価対象語として抽出し、当該新たな評価対象語について、前記正解文及び前記解答文の間での位置の相違及び/又は品詞の種類に応じて点数に差を付ける品詞評価手段と、
前記各手段での評価対象語を除く残りの単語の数に応じて点数に差を付ける最終評価手段として、
記コンピュータを機能させるための文章評価プログラム。
【請求項12】
前記各手段を、前記正解文データベースに記憶された複数の正解文それぞれに対して実行、これら正解文毎に求められた採点結果の中から最も良い評価を前記解答文の評価と決定する手段として、前記コンピュータを機能させるための請求項11記載の文章評価プログラム。
発明の詳細な説明 【技術分野】
【0001】
本発明は文章評価装置及び文章評価プログラムに係り、更に詳しくは、原文となる問題文に対して所定言語で翻訳された解答文の評価を客観的且つ簡易に行うことのできる文章評価装置及び文章評価プログラムに関する。
【背景技術】
【0002】
中学校や高等学校等の英語教育現場において、生徒に出題された英作文のテスト問題の採点は、教師の独自の採点基準で行われることが多い。すなわち、生徒の作成した解答文を教師が採点する際には、当該解答文と正解文を見比べ、それらの相違の程度に応じ、主観的な判断で行われる。ところが、問題文の正解となる英文は、幾通りも存在することから、それら正解文を全て生徒の解答文と見比べることは莫大な時間がかかり、実際の教育現場では実行不可能である。従って、採点教師は、一文若しくは数文の正解文を模範解答とし、限られた模範解答を生徒の解答文と見比べて採点することが一般的で、難易度の高い問題文になる程、多数の生徒の解答文の中で、模範解答と完全に一致するものが少なくなる。また、模範解答文と解答文との相違は、単語の相違、単語の位置の違い、単語のスペル違い、単語の抜け、単語の活用形の相違、時制の相違等、多岐に渡るものであり、パターン化することが困難である。以上のことから、複数の教師でテスト問題の採点を分担するような場合、模範解答と解答文の相違点に関する評価は、各教師の主観に任されることになり、各教師間で採点基準が完全に一致しなくなり易い。また、一人の教師が全生徒の採点を行った場合でも、採点の当初と終わりでは採点基準が変わる場合も多々ある。このため、総じて、人間による英作文の採点では、客観性を担保することが難しいのが現状である。
【0003】
ところで、所定の翻訳者や自動翻訳装置が作成した翻訳文に対する評価を行う翻訳能力評価システムが知られており(特許文献1参照)、このシステムを英作文の採点に応用して適用することも考えられる。この翻訳能力評価システムは、日本語テスト文に対する正解候補となる英文(正解文)が多数記憶されており、当該各正解文と、前記日本語テスト文に対応して作成された翻訳文とがそれぞれ対比され、各正解文それぞれについて、翻訳正解率と呼ばれる指標が求められ、そのうち最高の翻訳正解率が採択される。この翻訳正解率は、翻訳文を構成する単語と同一の単語が、正解文と同一の位置に存在するか否かを基準に算出される。

【特許文献1】特開2002-140326号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、前記翻訳能力評価システムにあっては、正解文と翻訳文との間で、相互に相対する単語の同一性のみで翻訳文の評価が行われるため、実情に合わない翻訳文の評価がなされる虞がある。例えば、正解文と翻訳文との間で、相互に同一となる語群が存在するものの、それら語群の位置が相互に異なっている場合、同一の語群を導出したという能力が全く考慮されず、全く違う語群を配置した場合と同等に扱われてしまうという不都合がある。
【0005】
本発明は、このような不都合に着目して案出されたものであり、その目的は、原文となる問題文に対して所定言語で翻訳された解答文の評価を実情に沿って客観的に行うことができる文章評価装置及び文章評価プログラムを提供することにある。
【課題を解決するための手段】
【0006】
(1)前記目的を達成するため、原文となる問題文に対して所定言語で翻訳された解答文の評価を行う文章評価装置において、
前記問題文に対する正解の翻訳文となる正解文が記憶された正解文データベースと、前記正解文データベースに記憶された正解文と利用者により作成された前記解答文との対比により、当該解答文に対する採点処理を行う採点部とを備え、
前記採点部は、前記正解文データベースに記憶された正解文及び利用者により作成された解答文の中の語群の相違に着目して採点する語群評価手段を備え、
前記語群評価手段は、前記正解文データベースに記憶された正解文と利用者により作成された解答文の対比により、相互に同一となる語群を決定し、又は、当該同一の語群に隣り合う前若しくは後の単語について、単語の活用形が記憶された辞書データベースに基づき活用形が相違するか否かを判断し、若しくは予め記憶された手法に基づきスペルミスか否かを判断し、当該単語が活用形の相違若しくはスペルミスの場合に当該単語を前記同一の語群に含めた近似の語群を決定した上で、前記同一若しくは近似の語群を評価対象語とし、前記正解文及び前記解答文の間での各評価対象語の位置の相違若しくは前記評価対象語の並び順の相違に応じて点数に差を付けるという構成を採っている。
【0007】
(2)また、前記語群評価手段は、前記同一の語群と近似の語群とで点数に差を付ける、という構成を採っている。
【0009】
)また、所定の単語がその活用形とともに記憶された辞書データベースを備え、
前記採点部は、前記辞書データベースを基に、前記正解文データベースに記憶された正解文及び前記解答文の中の単語の活用形の相違に着目して採点する活用形評価手段を備え、
前記活用形評価手段は、既に評価済みの評価対象語を除く単語の中から、前記正解文及び前記解答文の対比により、前記辞書データベースを基に活用形相違に過ぎない単語を新たな評価対象語として抽出し、当該新たな評価対象語について、前記正解文及び前記解答文の間での位置の相違に応じて点数に差を付ける、という構成を併せて採ることができる。
【0010】
)前記採点部は、前記解答文の中の単語のスペルミスに着目して採点するスペル評価手段を備え、
前記スペル評価手段は、既に評価済みの評価対象語を除く単語の中から、前記正解文データベースに記憶された正解文及び前記解答文の間で、予め記憶された手法に基づき綴りが近似する単語を新たな評価対象語として抽出し、当該新たな評価対象語について、前記正解文及び前記解答文の間での位置の相違に応じて点数に差を付けるという構成を併せて採ることができる。
【0011】
)また、所定の単語がその品詞の種類とともに記憶された辞書データベースを備え、
前記採点部は、前記辞書データベースを基に、前記正解文データベースに記憶された正解文及び前記解答文の中の単語の品詞の同一性に着目して採点する品詞評価手段を備え、
前記品詞評価手段は、既に評価済みの評価対象語を除く単語につき前記辞書データベースに記憶された品詞の種類を基に品詞の判別を行い、前記正解文及び前記解答文の対比により、それらの間で品詞の種類が一致する単語を新たな評価対象語として抽出し、当該新たな評価対象語について、前記正解文及び前記解答文の間での位置の相違及び/又は品詞の種類に応じて点数に差を付ける、という構成を併せて採ることができる。
【0012】
)更に、前記採点部は、前記正解文データベースに記憶された正解文及び前記解答文の中で、前記評価対象語を除く残りの単語の数に応じて点数に差を付ける最終評価手段を備える、という構成を併せて採ることができる。
【0013】
)ここで、前記最終評価手段は、前記残りの単語が、前記正解文データベースに記憶された正解文及び前記解答文の間で対応する位置に存在するか否かにより点数に差を付ける、という構成を採ることが好ましい。
【0014】
)また、所定の単語がその品詞の種類とともに記憶された辞書データベースを備え、
前記最終評価手段は、前記残りの単語につき、前記辞書データベースを基に品詞の判別を行い、判別された品詞の種類に応じて点数に差を付ける、という構成を採用することもできる。
【0015】
)以上において、前記正解文データベースには、前記正解文が複数記憶され、
前記採点部では、前記各正解文に対し、前記各評価手段による前記解答文の採点処理がそれぞれ行われ、正解文毎に求められた採点結果の中から最も良い評価を前記解答文の評価とする、という構成を採用するとよい。
【0016】
10)また、本発明は、原文となる問題文に対する正解の翻訳文となる正解文と、前記問題文に対して所定言語で翻訳された解答文とを対比することにより、当該解答文の評価をコンピュータに実行させる文章評価プログラムであって、
予め正解文データベースに記憶された前記正解文と利用者により作成された解答文の対比により、相互に同一となる語群を決定し、又は、当該同一の語群に隣り合う前若しくは後の単語について、単語の活用形が記憶された辞書データベースに基づき活用形が相違するか否かを判断し、若しくは予め記憶された手法に基づきスペルミスか否かを判断し、当該単語が活用形の相違若しくはスペルミスの場合に当該単語を前記同一の語群に含めた近似の語群を決定した上で、これら同一若しくは近似の語群を評価対象語として抽出し、前記正解文及び前記解答文の間での各評価対象語の位置の相違若しくは前記評価対象語の並び順の相違に応じて点数に差を付ける語群評価手段として前記コンピュータを機能させる、という構成を採用している。
【0017】
11)更に、本発明は、原文となる問題文に対する正解の翻訳文となる正解文と、前記問題文に対して所定言語で翻訳された解答文とを対比することにより、当該解答文の評価をコンピュータに実行させる文章評価プログラムであって、
予め正解文データベースに記憶された前記正解文と利用者により作成された解答文の対比により、相互に同一となる語群を決定し、又は、当該同一の語群に隣り合う前若しくは後の単語について、単語の活用形が記憶された辞書データベースに基づき活用形が相違するか否かを判断し、若しくは予め記憶された手法に基づきスペルミスか否かを判断し、当該単語が活用形の相違若しくはスペルミスの場合に当該単語を前記同一の語群に含めた近似の語群を決定した上で、これら同一若しくは近似の語群を評価対象語として抽出し、前記正解文及び前記解答文の間での各評価対象語の位置の相違若しくは前記評価対象語の並び順の相違に応じて点数に差を付ける語群評価手段と、
前記語群評価手段で評価された評価対象語を除く単語につき所定の単語がその品詞の種類とともに記憶された辞書データベースを基に品詞の判別を行い、前記正解文と前記解答文の対比により、それらの間で品詞の種類が一致する単語を新たな評価対象語として抽出し、当該新たな評価対象語について、前記正解文及び前記解答文の間での位置の相違及び/又は品詞の種類に応じて点数に差を付ける品詞評価手段と、
前記各手段での評価対象語を除く残りの単語の数に応じて点数に差を付ける最終評価手段として、
記コンピュータを機能させる、という構成を採っている。
【0018】
12)ここで、前記各手段を、前記正解文データベースに記憶された複数の正解文それぞれに対して実行、これら正解文毎に求められた採点結果の中から最も良い評価を前記解答文の評価と決定する手段として、前記コンピュータを機能させる、という構成を採用するとよい。
【0019】
なお、「語群」とは、チャンク(chunk)と呼ばれ、一つの単語、若しくは所定の文中において、連続する複数の単語の集合を総称した意味として用いる。
また、「同一の語群」とは、比較対象文の間で相互に一致する語群のうち、当該語群に隣り合う前及び後の単語が比較対象文の間で相違するものを指す。例えば、図5を参照すると、解答文と正解文の間で、相互に一致する語群として、図5中枠内の3つの語群の他に、「eating」、「and」、「more」、「than」、「two」、「more than」、「than two」の7つの語群の組み合わせが挙げられる。そのうち、図5中枠内の語群が、当該語群の前後の単語が比較対象文の間で相違するものとして「同一の語群」となる。
更に、「近似の語群」とは、同一の語群に隣り合う前若しくは後の単語が、所定の条件下で相違する場合、当該単語を同一の語群に含めたものを指す。
【発明の効果】
【0020】
以上(1)~(1)の発明によれば、正解文と解答文との間で、同一位置における単語の同一性の判断以外の要素を含めた多様な評価がなされることになり、解答文の評価を実情に沿って客観的に行うことができる。
【発明を実施するための最良の形態】
【0021】
以下、本発明の一実施例について図面を参照しながら説明する。
【実施例1】
【0022】
図1には、本実施例に係る英作文学習システムの概略システム構成図が示されている。この図において、英作文学習システム10は、日本語による所定の問題文(原文)に対して利用者が作成した英作文を評価するシステムである。当該英作文学習システム10は、予め登録を済ませた利用者が所有する端末11と、当該端末11に対し、インターネット等のコンピュータ・ネットワーク13を介して各種情報の授受を行い、前記英作文の評価を行う文章評価装置としてのサーバ14とを備えて構成されている。
【0023】
この英作文学習システム10は、問題文がサーバ14から利用者の各端末11に配信され、利用者により作成された英語の解答文が端末11からサーバ14側に送信されると、当該サーバ14で、前記解答文の採点、添削並びに学習レベルの判定等がコンピュータにより自動的に行われ、これら結果が利用者の端末11に送信されるようになっている。
【0024】
前記端末11は、特に限定されるものではなく、パーソナルコンピュータ、携帯情報端末、携帯電話機等、本発明に必要となる情報の授受が可能となる限りにおいて、種々の機器を採用することができる。
【0025】
前記サーバ14は、ソフトウェア及び/又はハードウェアによって構成され、プロセッサ等、複数のプログラムモジュール及び/又は処理回路より成り立っている。このサーバ14は、端末11に対して各種情報の送受信を行う送受信部16と、多数の問題文が記憶された問題文データベース17と、問題文データベース17の各問題文に対して正解となる英文の正解文が記憶された正解文データベース18と、所定の単語が各活用形及び品詞の種類とともに記憶された辞書データベース19と、送受信部16から端末11に送信される任意の問題文を問題文データベース17から抽出する出題部20と、送受信部16で受信した利用者の解答文に対して採点処理をする採点部21と、当該採点部21で採点された結果を記憶、集計し、正解文等の関連情報を採点結果とともに送受信部16から端末11に送信する採点結果処理部22とを備えている。なお、サーバ14は、その他、種々のコンテンツを提供する機能等も備えているが、本発明の要旨でないため、ここでは、図示並びに説明を省略する。
【0026】
前記正解文データベース18には、問題文データベース17に記憶された各問題文それぞれに対して、考えられる全ての正解文が記憶されている。
【0027】
前記採点部21は、利用者の作成した解答文と、当該解答文に対応した正解文データベース18の各正解文とをそれぞれ対比し、これら正解文毎に、後述する基準による減点法での採点を行い、そのうちの最高得点を前記解答文の得点とするように機能する。
【0028】
この採点部21は、前記正解文及び前記解答文の中の語群の相違に着目して採点する語群評価手段25と、前記正解文及び前記解答文の中の単語の活用形の相違に着目して採点する活用形評価手段26と、前記正解文及び前記解答文の中の単語の品詞の同一性に着目して採点する品詞評価手段27と、前記正解文及び前記解答文の中の単語のスペルミスに着目して採点するスペル評価手段28と、これら各評価手段25~28による採点を行った後で最終的な採点を行う最終評価手段29とを備えている。
【0029】
次に、以上の構成の英作文学習システム10の採点プロセスにつき、実例を挙げながら説明する。
【0030】
先ず、利用者が端末11からサーバ14に要求すると、出題部20から所定の問題文が出題され、当該問題文が送受信部16から端末11に送信される。そして、利用者は、当該問題文に対して英作文を行い、その解答文を端末11からサーバ14に送信する。ここで、以下、実例による説明については、図2に示された問題文が出題され、それに対し、利用者によって、同図に示された解答文が作成されたものとする。
【0031】
そして、サーバ14の採点部21では、利用者が作成した解答文の採点が行われる。ここでの採点は、利用者の解答文が、正解文データベース18に記憶された多数の正解文とそれぞれ対比され、各正解文それぞれにつき、解答文の得点が後述するように求められる。そして、正解文毎に求められた得点のうち最高得点が利用者の得点となり、当該得点の基準となった正解文とともに採点結果処理部22に送られ、利用者の学習レベルの判定がなされ、当該レベルとともに、添削や正解文の説明等の各種コンテンツが端末11に送られることになる。
【0032】
ここで、採点部21での採点は、図3のフローチャートに示される手順で行われる。
【0033】
先ず、利用者の解答文が採点部21に取り込まれる(S101)。そして、出題された問題文に対応する各正解文の中から、一つの正解文が正解文データベース18から抽出される。ここで、正解文データベース18には、例えば、図4に示されるように、複数の正解文が記憶されている。以下においては、これら正解文のうち、図4中「No.1」の正解文との対比による採点を例に説明する。
【0034】
第1に、語群評価手段25で、一つの単語若しくは連続する複数の単語の集合体である語群の相違に着目した採点が行われる(語群評価ステップ:S103)。すなわち、ここでは、解答文及び正解文の対比により、解答文と正解文との間で同一の語群が抽出され、当該語群が語群評価手段25での評価対象語とされる。前述の例では、図5に示されるように、各文中に枠で囲まれた語群が、解答文と正解文との間で同一の語群であり、これら語群が評価対象語となる。
【0035】
次に、これら評価対象語に対し、文頭からの単語の位置が解答文と正解文との間で一致するか否かが判定される。前述の例において、評価対象語「Jack」は、位置が一致しているが、他の評価対象語「eating and」と「more than two」は、位置が不一致である。
【0036】
そして、解答文と正解文との間で位置が相違している同一の語群一組につき、各1点の減点ポイントが与えられ、それらを合算することで、語群評価手段25での減点ポイントが求められる。前述の例では、二組の語群「eating and」と「more than two」が、解答文と正解文との間で相互に位置が一致しないため、各1点の減点ポイントが与えられ、語群評価手段25での減点ポイントは合計2点となる。
【0037】
次に、活用形評価手段26で、語群評価手段25で評価対象語とされた語群を除く各単語について、それらの活用形に着目した採点が行われる(活用形評価ステップ:S104)。すなわち、ここでは、語群評価手段25で評価対象とされなかった残りの単語につき、解答文及び正解文の対比により、辞書データベース19を基に、解答文と正解文との間で活用形の相違に過ぎない単語が抽出され、当該単語が活用形評価手段26での評価対象語とされる。前述の例では、図6に示されるように、枠で囲まれた単語「have」と単語「has」が、解答文と正解文との間で活用形の相違に過ぎない単語であり、これら単語がここでの評価対象語となる。なお、以降の各図中、「×」印が付された単語は、その前に既に評価済みの評価対象語を意味する。ここでの活用形の相違は、前述した動詞の場合の他、例えば、名詞の場合には、単数形、複数形の相違、形容詞や副詞の場合には、原級、比較級、最上級の相違等が挙げられる。
【0038】
更に、これら評価対象語に対し、文頭からの位置が、解答文と正解文との間で相互に一致するか否かが判定される。前述の例では、解答文中の単語「have」と正解文中の単語「has」は、それら位置が一致している。
【0039】
ここで、この活用形評価に対する減点ポイントとして、解答文と正解文との間で位置が相違していなければ、活用形の相違のみに対する1点が与えられる一方、解答文と正解文との間で位置が相違していれば、活用形及び位置の相違に対する2点が与えられる。それら減点ポイントを合算することで、活用形評価手段26での減点ポイントが求められる。前述の例では、解答文中の単語「have」と正解文中の単語「has」は、活用形が相違するものの位置が一致しているため、1点の減点ポイントが与えられ、活用形評価手段26での減点ポイントは合計1点となる。
【0040】
次に、品詞評価手段27で、語群評価手段25及び活用形評価手段26での評価対象語を除く各単語につき、品詞の同一性に着目した採点が行われる(品詞評価ステップ:S105)。すなわち、ここでは、各評価手段25,26で評価対象とされなかった残りの単語につき、辞書データベース19のデータを基に、品詞の判別が行われ、解答文及び正解文の対比により、それらの間で品詞が同一となる単語が抽出され、当該単語が品詞評価手段27での評価対象とされる。
ここでの品詞の同一は、予め設定された品詞体系に基づいて判断される。この品詞体系は、特に限定されるものではなく、「品詞」や「形容詞」等の大分類によるものや、「普通名詞」や「固有名詞」等、大分類を更に細分化した分類によるものが使用される。本実施例では、後者の分類に基づく品詞体系が用いられる。
前述の例では、図7に示されるように、枠で囲まれた単語「in」及び「for」の組と単語「minutes」及び「hours」の組が、解答文と正解文との間で品詞がそれぞれ同一となる単語の組であり、これら各単語が、ここでの評価対象語となる。
なお、前述の例にはないが、一方の文の品詞に対して、同一となる品詞が他方の文に複数ある場合には、当該他方の文の文頭に近い単語が選ばれる。
【0041】
更に、これら評価対象語とされた各単語の組に対し、文頭からの位置が、解答文と正解文との間で相互に一致するか否かが判定される。前述の例では、解答文中の単語「in」と正解文中の単語「for」の組は、それらの位置が不一致であり、また、解答文中の単語「minutes」と正解文中の単語「hours」の組も、それらの位置が不一致である。
【0042】
ここで、この品詞評価に対する減点ポイントとして、解答文と正解文との間で位置が相違していなければ、単語の相違に対する1点が与えられる一方、解答文と正解文との間で位置が相違していれば、単語及び位置の相違に対する2点が与えられる。それら減点ポイントを合算することで、品詞評価手段27での減点ポイントが求められる。前述の例では、解答文中の単語「in」と正解文中の単語「for」の組は、品詞が同一であるが、単語が相違し、且つ、位置が一致していないため、2点の減点ポイントが与えられる。また、解答文中の単語「minutes」と正解文中の単語「hours」の組も同じく2点の減点ポイントが与えられ、品詞評価手段27での減点ポイントは合計4点となる。
【0043】
次に、スペル評価手段28で、語群評価手段25、活用形評価手段26及び品詞評価手段27での各評価対象語を除く各単語につき、解答文の単語のスペルミスに着目した採点が行われる(スペル評価ステップ:S106)。すなわち、ここでは、各評価手段25~27で評価対象とされなかった残りの単語につき、解答文及び正解文の対比により、それらの間で綴りが近似する単語が抽出され、当該単語が、ここでの評価対象語とされる。
【0044】
ここで、解答文及び正解文の各単語間で綴りが近似するか否かの判断は、公知のレーベンシュタイン距離(Levenshtein distance)を用いて行われる。このレーベンシュタイン距離は、相互に比較対象となる単語に対し、文字の抜け、文字の間違い、文字の挿入を考慮して、正解に合致させる手順のうち最小となる手順の数(コスト)によって定まる。
例えば、「puzzle」という正解文の単語に対し、スペルミスにより、解答文では「pzzel」という単語が用いられた場合、
解答文の「pzzel」に対して、正解文の「puzzle」に変えるには、
(1)文字「p」と文字「z」の間に文字「u」を挿入し、
(2)文字「z」と文字「e」の間に文字「l」を挿入し、
(3)最後の文字「l」を削除することにより、
の三工程が必要となり、ここでの「コスト3」が、「puzzle」及び「pzzel」間のレーベンシュタイン距離となる。
【0045】
そして、解答文及び正解文の間で、評価対象語となる各単語を対比したときに、レーベンシュタイン距離が所定の閾値以下となる単語の組が、相互に近似する単語と判断され、その解答文の単語がスペルミスされた単語であると判定される。
【0046】
前述の例では、図8に示されるように、枠で囲まれた解答文中の単語「dlinking」と、同正解文中の単語「drinking」が、解答文と正解文との間でスペルが近似する単語であり、これら単語がここでの評価対象語となり、解答文中の単語「dlinking」がスペルミスの単語であると判断される。
【0047】
更に、これら評価対象語に対し、文頭からの位置が、解答文と正解文との間で相互に一致するか否かが判定される。前述の例では、解答文中の単語「dlinking」、正解文中の単語「drinking」は、それらの位置が不一致である。
【0048】
ここでの減点ポイントとして、解答文と正解文との間で位置が同一であれば、スペルミスに対する1点が与えられる一方、解答文と正解文との間で位置が相違していれば、スペルミス及び位置の相違に対する2点が与えられる。それら減点ポイントを合算することで、スペル評価手段28での減点ポイントが求められる。前述の例では、解答文中の単語「dlinking」と、正解文中の単語「drinking」とは、位置が一致していないため、2点の減点ポイントが与えられ、スペル評価手段28での減点ポイントは合計2点となる。
【0049】
次に、最終評価手段29で、前述した各評価手段25~28で、評価対象語とされなかった残りの単語につき採点が行われる(最終評価ステップ:S107)。すなわち、ここでは、残りの単語につき、次のように、減点ポイントが求められる。
【0050】
先ず、未だ評価対象とされていない単語の中で、解答文と正解文との間で、同一位置に単語が存在するか否かが判定される。前述の例では、図9に示されるように、同一位置に存在する単語がなく、ここでの減点ポイントは0点である。
【0051】
そして、更に残った単語の中で、解答文と正解文との間で、一語ずつの組を作成出来るか否かが判別され、組に出来れば、減点ポイントとして、単語及び位置の相違に対する2点が一組毎に与えられる。前述の例では、図10に示されるように、解答文中の単語「thity」と、正解文中の単語「been」とが評価対象となり、一組なので、減点ポイントとして、2点が与えられる。
【0052】
最後に、解答文及び正解文のどちらか一方のみに残された単語に対し、単語一語につき減点ポイント1点が与えられる。前述の例では、図11に示されるように、正解文中の単語「and」と単語「a」と単語「half」とが残っており、減点ポイントとして、三語分の3点が与えられる。
【0053】
次に、以上の各手段で求められた減点ポイントが合算され、次式(1)により、正解文に対する解答文の近似度が求められる(S108)。
ここで、近似度をNとし、減点ポイントの合計をPとし、解答文の語数をW1とし、正解文の語数をW2とすると、
N=1-(P/(W1+W2)) (1)
【0054】
前述の例では、図5~図11の結果、減点ポイントの総合計は14点となり、解答文の語数は11語、正解文の語数は14語であるから、近似度は、
1-(14/(11+14))=0.44 と求められる。
【0055】
以上の採点処理を各正解文に対して行い(S109)、そのうち最も高い近似度がその解答文の点数とされ(S110)、当該近似度に対応する正解文が解答文の添削対象となる。
【0056】
なお、以上において、各手段での減点ポイントを1点若しくは2点としているが、各評価項目に応じて、与えられる減点ポイントの点数を変えて、各項目の重み付けを行うこともできる。
【0057】
従って、このような実施例によれば、解答文に対して、種々の項目で採点することができ、実情に沿う客観的な採点を簡単に行うことができるという効果を得る。
【0058】
次に、本発明の他の実施例について説明する。なお、以下の説明において、前記実施例1と同一若しくは同等の構成部分については同一符号を用いるものとし、説明を省略若しくは簡略にする。
【実施例2】
【0059】
実施例2は、実施例1に対して採点部21の構成を変え、解答文の採点方法つまり前記減点ポイント及び近似度Nの算出方法を変えたところに特徴を有する。
【0060】
すなわち、本実施例の採点部21は、図12に示されるように、前記正解文及び前記解答文の中の語群の相違に着目して採点する語群評価手段25と、前記正解文及び前記解答文の中の単語の品詞の同一性に着目して採点する品詞評価手段27と、これら各評価手段25,27による採点を行った後で最終的な採点を行う最終評価手段29とを備えており、語群評価手段25、品詞評価手段27、最終評価手段29の順で採点処理が行われる。
【0061】
本実施例の採点部21での採点方法につき、実例を挙げて以下に説明する。
【0062】
本実施例でも、実施例1と同一の問題文、正解文、解答文を使い、当該解答文に対する採点プロセスを説明する。
【0063】
先ず、語群評価手段25で、一つの単語若しくは連続する複数の単語の集合体である語群の相違に着目した採点が行われる(語群評価ステップ)。すなわち、ここでは、解答文及び正解文の対比により、解答文と正解文との間で同一若しくは近似の語群が抽出され、当該語群が語群評価手段25での評価対象語とされる。具体的には、正解文及び解答文の間で同一の語群が相互マッチング等によって決定される。そして、当該同一の語群に隣り合う前若しくは後の単語について、正解文及び解答文の間で、活用形の相違若しくはスペルミスか否かが判断され、活用形の相違若しくはスペルミスと判断された場合に、これら前若しくは後の単語を前記同一の語群に含めて近似の語群とされる。一方、同一の語群に隣り合う前若しくは後の単語が活用形の相違若しくはスペルミスと判断されなかった場合は、当該単語を含ますにそのまま同一の語群とされる。
【0064】
前述の例では、図13の各文中に枠で囲まれた語群が、解答文と正解文との間で同一若しくは近似するものであり、これら語群が評価対象語となる。
【0065】
つまり、解答文中の語群A「Jack have」及び正解文中の語群A「Jack has」は、「Jack」部分が同一であり、その後の単語である解答文の「have」が正解文の「has」に対して活用形が誤っていると判断され、近似の語群とされる。
また、解答文中の語群B「eating and dlinking」及び正解文中の語群B「eating and drinking」は、「eating and」部分が同一であり、その後の単語である解答文の「dlinking」が正解文の「drinking」に対してスペルミスと判断され、近似の語群とされる。
更に、解答文中及び正解文中の語群C「more than two」は、相互に完全に一致しているため、同一の語群とされる。
【0066】
なお、ここでの活用形の誤り及びスペルミスの判断は、実施例1で説明した活用形評価手段26及びスペル評価手段28と同様の方法にて行われる。
【0067】
次に、これらの同一若しくは近似の語群からなる評価対象語について、正解文に対し活用形の誤った単語、スペルミスの単語それぞれ一語に付き1点の減点ポイントが付与される。前述の例において、解答文の語群A「Jack have」は、正解文の語群Aに対して活用形が誤っている単語「have」を一語含み、また、解答文の語群B「eating and dlinking」は、正解文の語群Bに対して綴りが誤っている単語「dlinking」を一語含んでいるため、これら語群A及び語群Bに対する減点ポイントは、それぞれ1点となる。更に、解答文の語群C「more than two」は、正解文の語群Cに対して活用形の相違やスペルミスがないため、減点ポイントは0点となる。
【0068】
次に、同一若しくは近似の語群に対し、その並び順の相違に着目し、減点ポイントを付与するか否かが決定される。前述の例において、解答文は、語群A、語群B、語群Cの順で並んでおり、正解文も、語群A、語群B、語群Cの順で並んでいる。このような場合は、並び順が同一となって減点なし、つまり減点ポイント0点となる。
一方、仮に、正解文が、語群A、語群B、語群Cの順に対し、解答文が、語群C、語群A、語群Bの順で並んでいるとすると、正解文の語群の並びと同一にするには、解答文の語群Cを語群Bの後に移動するという1工程が必要となる。この必要工程数に減点ポイント5点を乗じて、語群の並び順に着目した減点ポイントが算出される。このように必要工程数が1工程の場合は、減点ポイントが5点となる。
【0069】
次に、品詞評価手段27で、語群評価手段25での評価対象語を除く各単語につき、品詞の同一性に着目した採点が行われる(品詞評価ステップ)。すなわち、ここでは、実施例1と同様に、語群評価手段25で評価対象とされなかった残りの単語につき、辞書データベース19のデータを基に、品詞の判別が行われ、解答文及び正解文の対比により、それらの間で品詞が同一となる単語が抽出され、当該単語が品詞評価手段27での評価対象とされる。前述の例では、図14に示されるように、枠で囲まれた単語「in」及び「for」並びに単語「minutes」及び「hours」が、それぞれ解答文と正解文との間で品詞が同一となる単語であり、これら単語が、ここでの評価対象語となる。
【0070】
ここで、この品詞評価に対する減点ポイントは、解答文と正解文との間で同一とされた品詞の種類に応じて定まる。具体的に、同一とされた品詞が冠詞であれば、減点ポイント3点、前置詞であれば、減点ポイント7点、その他の品詞であれば、減点ポイント10点それぞれ付与される。前述の例では、解答文中の単語「in」と正解文中の単語「for」は、品詞が前置詞であるため、減点ポイントが7点となる。一方、解答文中の単語「minutes」と正解文中の単語「hours」は、前置詞以外のその他の品詞(名詞)であるため、減点ポイントが10点となり、品詞評価手段27での減点ポイントが17点となる。
【0071】
なお、実施例1のように、評価対象語に対し、文頭からの位置が、解答文と正解文との間で相互に一致するか否かも判定し、その一致・不一致によって、付与される減点ポイントの点数を変えてもよい。
【0072】
次に、最終評価手段29で、前述した各評価手段25、27で、評価対象語とされなかった残りの単語につき採点が行われ(最終評価ステップ)、次のように、減点ポイントが求められる。
【0073】
すなわち、未だ評価対象とされていない解答文及び正解文の各単語に対し、それらの品詞別に減点ポイントが算出され、それらを総合計して、最終評価手段29での減点ポイントが求められる。具体的には、本実施例の品詞評価手段27と同様に、冠詞であれば、減点ポイント3点、前置詞であれば、減点ポイント7点、その他の品詞であれば、減点ポイント10点とされる。ここでも、品詞種別の判定には、前述した辞書データベース19が使われる。
【0074】
前述の例では、図15に示されるように、解答文の中の単語「thirty」と、正解文中の単語「been」と単語「and」と単語「a」と単語「half」との合計5語につき、それぞれ、品詞による減点ポイントが付与される。ここでは、単語「a」は冠詞なので減点ポイントは3点で、それ以外の4語は、冠詞及び前置詞ではないため、減点ポイントが各10点となり、最終評価手段29での減点ポイントは、合計43点となる。
【0075】
なお、以上各手段での減点ポイントは、特に限定されるものではなく、種々の点数を任意に採用することが可能である。
【0076】
次に、以上の各手段で求められた減点ポイントが合算され、次式(2)により、正解文に対する解答文の近似度が求められる。
ここで、近似度をNとし、減点ポイントの合計をPとし、解答文の語数と正解文の語数との間で多い方の語数をWmaxとし、設定されている最大減点ポイントPmax(本実施例では10点)とすると、
N=1-(P/(Wmax×Pmax)) (2)
【0077】
なお、上式(2)で、近似度がマイナス値となった場合には、近似度を0とする。
【0078】
前述の例では、図13~図15の結果、減点ポイントの総合計は62点となり、解答文の語数は11語、正解文の語数は14語であるから、Wmaxは14となり、
近似度は、
1-(62/(14×10))=0.56 と求められる。
【0079】
以降は、実施例1と同様に、以上の採点処理を各正解文それぞれについて行い、そのうち最も高い近似度がその解答文の点数とされ、当該近似度に対応する正解文が解答文の添削対象となる。
【0080】
従って、このような実施例2によっても、実施例1と同様の効果を得ることができる。
【0081】
ここで、実施例2の変形例として、次の態様がある。すなわち、解答文中の単語のスペルミスにより、近似の語群とされた語群に対し、スペルミスと判断された単語を正解文中の正しい単語に置換した上で、前述した品詞評価手段27による品詞評価ステップを行うようにすることも可能である。図13に示される前述の例によれば、スペルミスにより近似の語群と判断された語群Bに対し、解答文中の単語「dlinking」を該当する正解文中の単語「drinking」に置換した上で、語群評価手段25で評価対象とされなかった残りの単語につき、辞書データベース19のデータを基に、単語の前後の単語の品詞を考慮して品詞の判別が行われる。

【0082】
このような変形例によれば、品詞の判別を行う際の精度を高めることができる。具体的に、複数種類の品詞の機能を有する単語に対して品詞の判別をする場合に、当該単語の前後の単語の品詞を考慮して品詞を特定する。ところが、スペルミスした単語(図13の例では、単語「dlinking」)の後の単語(同図中の単語「in」)の品詞の判別を行おうとする場合は、スペルミスした単語が現存しないことが多いため、当該スペルミスした単語の品詞を判別できず、その単語の品詞を考慮した後の単語の品詞特定ができない。この場合は、使用頻度等に基づく統計的な観点から、一の品詞に限定せざるを得ず、これでは、使用態様に即した正確な品詞の判別を行うことができない。その点、本変形例によれば、スペルミスした単語を正しい単語に置き換えることで、スペルミスした単語に連なる単語の品詞を特定する際、当該単語が複数種類の品詞機能を有する場合でも、解答文作成者(利用者)の使用意図に沿った品詞の種別をより正確に特定することができる。
【0083】
なお、前記各実施例では、コンピュータ・ネットワークを使った遠隔教育型の英作文学習システムを図示説明したが、本発明の文章評価装置は、これに限らず、本発明の処理を実行可能なプログラムがインストールされたコンピュータとしてもよい。また、本発明の処理を実行可能なプログラムを各端末11にインターネット等によって配信したり、当該プログラムが記憶されたCD-ROM等の記録媒体を利用者に頒布することで、利用者の所有する端末11内で、前述の全ての処理を実行させることも可能である。
【0084】
また、前記各実施例では、日本語の問題文に対して英語で作成された解答文の評価を行っているが、本発明はこれに限らず、日本語若しくは他の言語の問題文に対して別の言語で作成された解答文の評価を行うようにしてもよい。
【0085】
更に、本発明は、翻訳者や自動翻訳機が作成した翻訳文に対する評価に適用することも可能である。自動翻訳機の翻訳能力の評価には、本発明が適用されたシステムを自動翻訳機と連動させることで、一連のシステム化も可能である。
【0086】
その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。
【図面の簡単な説明】
【0087】
【図1】実施例1に係る英作文学習システムの概略システム構成図。
【図2】説明例に用いる問題文及び解答文を記した図
【図3】採点プロセスを示すフローチャート。
【図4】正解文データベースの記憶内容の説明図。
【図5】語群評価ステップでの採点を説明するための図表。
【図6】活用形評価ステップでの採点を説明するための図表。
【図7】品詞評価ステップでの採点を説明するための図表。
【図8】スペル評価ステップでの採点を説明するための図表。
【図9】最終評価ステップでの採点を説明するための図表。
【図10】最終評価ステップでの採点を説明するための図表。
【図11】最終評価ステップでの採点を説明するための図表。
【図12】実施例2に係る英作文学習システムの概略システム構成図。
【図13】語群評価ステップでの採点を説明するための図表。
【図14】品詞評価ステップでの採点を説明するための図表。
【図15】最終評価ステップでの採点を説明するための図表。
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9
【図11】
10
【図12】
11
【図13】
12
【図14】
13
【図15】
14