TOP > 国内特許検索 > 機械翻訳評価装置及び方法

機械翻訳評価装置及び方法 コモンズ

国内特許コード P140010540
整理番号 05-102
掲載日 2014年5月13日
出願番号 特願2006-066836
公開番号 特開2007-241910
登録番号 特許第5207016号
出願日 平成18年3月13日(2006.3.13)
公開日 平成19年9月20日(2007.9.20)
登録日 平成25年3月1日(2013.3.1)
発明者
  • 内元 清貴
  • 井佐原 均
出願人
  • 国立研究開発法人情報通信研究機構
発明の名称 機械翻訳評価装置及び方法 コモンズ
発明の概要 【課題】 機械翻訳の翻訳結果を自動評価する際に、単文のみを対象としても誤りの生じやすい翻訳結果を重点的に確認することができ、高速かつ簡便な方法で自動評価を行うこと。
【解決手段】 機械翻訳結果を自動的に評価する機械翻訳評価装置であって、記憶手段30に格納した、評価事項である部分目標について機械翻訳結果が適合するか否かを判定するための設問パターンを用い、機械翻訳結果である翻訳先テキストに対して、少なくとも該設問パターンに適合するか否かの結果を含む条件から部分目標に係る判定を行う部分目標判定手段12と、部分目標判定において適合した設問パターンと適合しなかった設問パターンに関する情報の少なくともいずれかに基づく所定の計算式を用いて機械翻訳結果の評価値を算出する評価手段13と、評価値を出力する出力手段14とを備える。
【選択図】 図1
従来技術、競合技術の概要


機械翻訳技術において、機械翻訳の品質評価は重要な課題であると認識されてきた。近年、その品質評価を自動化しその性能を向上させようという試みが数多くなされている。(非特許文献1ないし5参照)。
自動評価の性能が向上することにより、機械翻訳システムの利用や改良が効率良くできるようになることが期待されるからである。例えば、非特許文献4によれば、自動評価の指標をシステムパラメータのチューニングに利用することにより、翻訳性能が向上したという報告がある。この報告は、自動評価の性能が向上すれば翻訳性能が自動的に向上することを示している。



しかし、これまでに提案されている自動評価手法では、300文程度のまとまったデータがあれば翻訳システムの優劣を判別することができるが、個々の文について各システムの翻訳の優劣を判別するのは難しい。



例えば、従来の技術として、特許文献1の技術では、機械翻訳文を解析する第1翻訳文解析ステップ、望ましい翻訳文を解析する第2翻訳文解析ステップ、二つの翻訳文の間の語句の対応関係を解析する語句対応づけステップ、対応づけられた語句の割合と対応する語句の一致度に基づいて二つの翻訳文の一致度を算出する翻訳文一致度算出ステップによって機械翻訳文を評価することが提案されている。



このように、望ましい翻訳文と、機械翻訳文との一致度(類似度)を利用する方法は一般的であるが、1つの文章間だけでは翻訳結果の適切な評価は行えない。



また、特許文献2に開示される技術では、第1の言語で表わされた原文を取得し、順方向機械翻訳部によって、原文を第2の言語の順方向翻訳文に機械翻訳し、3種類の逆方向機械翻訳部によって、順方向翻訳文を第1の言語に機械翻訳して、3個の逆方向翻訳文を生成し、3個の逆方向翻訳文と原文とに基づいて、順方向翻訳文の良否を評価 する。



この方法は逆方向翻訳の結果を用いて、順方向翻訳の性能を測るものであるが、複数の逆方向機械翻訳部を用いなければならない上に、各逆方向機械翻訳部の精度が相当に高くなければ、結局正確な評価を行うことは難しい。



さらに、特許文献3の技術では、機械的に翻訳された翻訳文の善し悪しを自動的に評価する機械翻訳文の自動評価方法として、学習ステップと評価ステップとからなるものを提案している。
学習ステップは、予め人手によってランク付けが行なわれているとともに、予め人手によって正解翻訳文が用意されている複数の学習用機械翻訳文それぞれを、それに対する正解翻訳文との間の複数種類の編集距離を用いて、編集距離の種類数に応じた要素からなるベクトルに符号化するステップ、および得られたベクトルを訓練事例としてランク付け規則を学習するステップを備えている。



この方法も、複数の機械翻訳文と正解翻訳文とを比較することで評価を行うものであるから、特許文献1と同様の問題を有している。



【非特許文献1】
Sonja Niessen, Franz Josef Och, Gregor Leusch, and Hermann Ney. An Evaluation Tool for Machine Translation: Fast Evaluation for MT Research. In Proceedings of the LREC 2000, pp. 39-45, 2000年
【非特許文献2】
Kishore Papineni, SalimRoukos, Todd Ward, and Weiing. Zhu. BLEU: a Method for Automatic Evaluation of Machine Translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 311-318, 2002年
【非特許文献3】
NIST. Automatic Evaluation of Machine Translation Quality Using N-gram Co-Occurrence Statistics. Technical report, NIST, 2002年
【非特許文献4】
Franz Josef Och. Minimum Error Training in Statistical Machine Translation. In Proceedings of the 41st Annual Meeting of the Association for Computational Linguistics (ACL), pp. 160-167, 2003年
【非特許文献5】
Joseph P. Turian, Luke Shen, and I. Dan Melamed. Evaluation of Machine Translation and its Evaluation. In Proceedings of the MT Summit IX, pp. 386-393, 2003年
【特許文献1】
特開平05-298360号公報
【特許文献2】
特開2005-078318号公報
【特許文献3】
特開2003-085172号公報

産業上の利用分野



本発明はコンピュータを用いて機械翻訳結果を自動的に評価する装置及び方法に係り、より詳しくは評価事項としての部分目標への適合の有無により評価を行う機械翻訳評価装置及び方法に関する。

特許請求の範囲 【請求項1】
機械翻訳結果を自動的に評価する機械翻訳評価装置であって、
記憶手段には、評価事項である複数の部分目標に対応する複数の設問パターンを備え、該設問パターンには少なくとも機械翻訳結果と比較処理する対象となる文字列を定義し、
機械翻訳結果である翻訳先テキストにおいて、単数又は複数の設問パターンに定義された文字列が含まれる、又は含まれないかを順次比較処理することで各部分目標の達成・未達成又は達成度の判定を行う部分目標判定手段と、
該部分目標判定において、全ての部分目標の達成・未達成の数又は達成度に基づき所定の計算式を用いて機械翻訳結果の評価値を算出する評価手段と、
評価値を出力する出力手段と
を備えたことを特徴とする機械翻訳評価装置。

【請求項2】
前記所定の計算式において、設問パターンに応じて重み付けを行う
請求項1に記載の機械翻訳評価装置。

【請求項3】
前記機械翻訳評価装置において、
機械翻訳結果である翻訳先テキストから文を抽出する文単位抽出手段を備え、
抽出された文に対して部分目標判定手段が処理する
請求項1又は2に記載の機械翻訳評価装置。

【請求項4】
記憶手段に予め格納される、又は情報取得手段から取得される、翻訳元言語の翻訳元テキストと、正解の翻訳結果である参照テキストと、辞書データベースとを用い、
該翻訳元テキストに含まれる語句を該辞書データベースで照合した時の訳語又は品詞が、該参照テキストに含まれているか否かを参照し、その結果に応じて該訳語又は品詞を、予め定義されて記憶手段に格納された設問パターン書式に挿入することで設問パターンを定義する設問パターン定義手段を備えた
請求項1ないし3に記載の機械翻訳評価装置。

【請求項5】
機械翻訳結果を自動的に評価する機械翻訳評価方法であって、
評価事項である複数の部分目標に対応する複数の設問パターンを用い、該設問パターンには少なくとも機械翻訳結果と比較処理する対象となる文字列を定義し、
部分目標判定手段が、機械翻訳結果である翻訳先テキストにおいて、単数又は複数の設問パターンに定義された文字列が含まれる、又は含まれないかを順次比較処理することで各部分目標の達成・未達成又は達成度の判定を行う部分目標判定ステップ、
評価手段が、該部分目標判定において、全ての部分目標の達成・未達成の数又は達成度に基づき所定の計算式を用いて機械翻訳結果の評価値を算出する評価ステップ、
出力手段が、評価値を出力する出力ステップ
を含むことを特徴とする機械翻訳評価方法。

【請求項6】
前記所定の計算式において、設問パターンに応じて重み付けを行う
請求項に記載の機械翻訳評価方法。

【請求項7】
前記機械翻訳評価方法において、
文単位抽出手段が、機械翻訳結果である翻訳先テキストから文を抽出する文単位抽出ステップを含み、
抽出された文に対して部分目標判定ステップ以下を処理する
請求項5又は6に記載の機械翻訳評価方法。

【請求項8】
翻訳元言語の翻訳元テキストと、正解の翻訳結果である参照テキストと、辞書データベースとを用い、
設問パターン定義手段が、該翻訳元テキストに含まれる語句を該辞書データベースで照合した時の訳語又は品詞が、該参照テキストに含まれているか否かを参照し、その結果に応じて該訳語又は品詞を、予め定義されて記憶手段に格納された設問パターン書式に挿入することで設問パターンを定義する設問パターン定義ステップを含み、
該定義された設問パターンを用いる
請求項5ないし7に記載の機械翻訳評価方法。
国際特許分類(IPC)
Fターム
画像

※ 画像をクリックすると拡大します。

JP2006066836thum.jpg
出願権利状態 登録
※ 詳細内容の開示にあたっては、別途、JSTと秘密保持契約を締結していただくことが必要となります。


PAGE TOP

close
close
close
close
close
close
close