Top > Search of Japanese Patents > PARAMETER ESTIMATION DEVICE, METHOD, AND PROGRAM

PARAMETER ESTIMATION DEVICE, METHOD, AND PROGRAM

Patent code P200016772
File No. 5864
Posted date Apr 10, 2020
Application number P2017-187870
Publication number P2019-061623A
Patent number P6745507
Date of filing Sep 28, 2017
Date of publication of application Apr 18, 2019
Date of registration Aug 6, 2020
Inventor
  • (In Japanese)西野 正彬
  • (In Japanese)山本 章博
Applicant
  • (In Japanese)日本電信電話株式会社
  • (In Japanese)国立大学法人京都大学
Title PARAMETER ESTIMATION DEVICE, METHOD, AND PROGRAM
Abstract PROBLEM TO BE SOLVED: To specify the number of probability parameters used in a probability logic program to estimate probability parameters.
SOLUTION: On the basis of a plurality of training examples, a probability logic program, and specification of a size indicating the number of sections representing a fact that probability parameters are given, a parameter estimation part 26 minimizes an object function representing a negative logarithmic likelihood of appearance probability of the plurality of training examples under the probability logic program and estimates a value of each of the probability parameters of the probability logic program so that the number of sections representing the fact that the probability parameters are given becomes equal to or smaller than the size.
Outline of related art and contending technology (In Japanese)

論理プログラムは一階述語論理の節の集まりによって、対象領域における関係性を表現するものである。例えば、

mother(X,Y):- parent(X,Y),female(X).
female(hanako).
parent(hanako,taro).

は3つの節からなる論理プログラムである。X,Yは変数、hanako,taroは定数、mother,parent,femaleは述語記号である。

また、A:-B1,...,BNの形の節のうち、Aを頭部、B1,...,BNを本体部とよぶ。上記の論理プログラムは、ある事象間の論理的な関係を定めている。

確率論理プログラムは論理プログラムの拡張であり、論理プログラムが確率的な事象を扱えるようにしたものである。通常の論理プログラムの枠組みにおいては、ある論理プログラムTとある質問qが与えられたとき、節の集合からその質問を論理的帰結として導き出せるかどうかを判断するしかできなかった。すなわち、例えば30%の確率でqを導き出すことができるといったような、不確実性を含む関係を表現することができなかった。確率論理プログラムは確率分布を用いることによって、ある質問qをプログラムが導出できる確率

【数1】
(省略)

を定義することができるようになる。そのため、確率論理プログラムを用いることでより柔軟に対象領域における関係性を記述することが可能となる。

mother(X, Y) :- parent(X, Y), female(X).
0.3::female(hanako).
0.5::parent(hanako, taro).

上記は確率論理プログラムの一種である、ProbLog(非特許文献1参照)の記述例である。以下、ProbLogを対象としたパラメータ推定について説明する。通常の論理プログラムとの違いは、節female(hanako)., parent(taro).に[0,1]の範囲のパラメータが付与されていることである。このパラメータは該当の節が論理プログラムに含まれる確率を表している。

例えば0.3::female(hanako).は、節female(hanako)が0.3の確率で論理プログラムに含まれることを表している。確率論理プログラムでは、このようにいくつかの節に数値を付与することで、確率分布P(q)を定義する。例えば上記のプログラムでは、

【数2】
(省略)

となる。

確率論理プログラムのパラメータが未知のときに、訓練データを入力として与え、訓練データに対する負の対数尤度を最小化するようにパラメータを推定するパラメータ推定手法が提案されている(非特許文献2参照)。すなわち、wiを論理プログラムに含まれるi番目の確率の付与された節に対応するパラメータとし、すべてのパラメータの集合をw={w1,...,wn}とすると、論理プログラムTと、訓練データとを入力として受け取り、訓練データに対する負の対数尤度を最小化するようなパラメータの集合^w={^w1,...,^wn}を求める手法が提案されている。さらには、確率論理プログラムのパラメータ推定問題において、パラメータの値が0または1をとるように目的関数に正規化項を足し合わせて最小化することによって確率論理プログラムのパラメータ数を減らすパラメータ推定手法も提案されている(非特許文献2参照)。この手法を用いると、推定されたパラメータ^w中には、wi=0またはwi=1となる成分が多く含まれることになる。確率が0または1となる確率つき節は削除したり、あるいは確率をとらない通常の節として扱うことができるようになる。確率論理プログラムを用いた推論の手続きは、確率つき節の数に応じて複雑になるため、確率つき節の数を減らすことでより推論が高速に行えるという効果がある。

Field of industrial application (In Japanese)

本発明は、パラメータ推定装置、方法、及びプログラムに係り、特に、確率論理プログラムで用いられる確率パラメータの各々の値を推定するパラメータ推定装置、方法、及びプログラムに関する。

Scope of claims (In Japanese)
【請求項1】
 
確率パラメータが付与された事実を表す節の集合と、前記確率パラメータが付与されていない節の集合とを含む確率論理プログラムであって、かつ、質問として与えられた事実を論理的帰結として導出することができる確率を算出する確率論理プログラムで用いられる前記確率パラメータの各々の値を推定するパラメータ推定装置であって、
前記確率論理プログラムの論理的帰結として導出されるべき事実の集合と、論理的帰結として導出されるべきではない事実の集合とからなる予め用意された複数の訓練例と、前記確率パラメータが付与された事実を表す節の数を示すサイズの指定とを受け付ける訓練例入力部と、
前記訓練例入力部によって受け付けた複数の訓練例と、前記確率論理プログラムと、前記サイズとに基づいて、前記確率論理プログラムのもとでの前記複数の訓練例の出現確率の負の対数尤度を表す目的関数を最小化し、かつ、前記確率パラメータが付与された事実を表す節の数が前記サイズ以下となるように、前記確率論理プログラムの前記確率パラメータの各々の値を推定するパラメータ推定部と、
を含むパラメータ推定装置。

【請求項2】
 
前記確率パラメータの各々の初期値、又は前回更新された前記確率パラメータの各々の値に基づいて、前記目的関数の勾配を計算し、計算された前記目的関数の勾配に基づいて、前記確率パラメータの各々の値を更新し、更新された前記確率パラメータの値に基づいて、予め定められた基準値との差が小さい順に前記確率パラメータを前記サイズ分だけ選択し、選択されなかった前記確率パラメータの値を0又は1にすることを、予め定められた繰り返し終了条件を満たすまで繰り返すことにより、前記確率論理プログラムの前記確率パラメータの各々の値を推定する請求項1に記載のパラメータ推定装置。

【請求項3】
 
確率パラメータが付与された事実を表す節の集合と、前記確率パラメータが付与されていない節の集合とを含む確率論理プログラムであって、かつ、質問として与えられた事実を論理的帰結として導出することができる確率を算出する確率論理プログラムで用いられる前記確率パラメータの各々の値を推定するパラメータ推定装置におけるパラメータ推定方法であって、
訓練例入力部が、前記確率論理プログラムの論理的帰結として導出されるべき事実の集合と、論理的帰結として導出されるべきではない事実の集合とからなる予め用意された複数の訓練例と、前記確率パラメータが付与された事実を表す節の数を示すサイズの指定とを受け付けるステップと、
パラメータ推定部が、前記訓練例入力部によって受け付けた複数の訓練例と、前記確率論理プログラムと、前記サイズとに基づいて、前記確率論理プログラムのもとでの前記複数の訓練例の出現確率の負の対数尤度を表す目的関数を最小化し、かつ、前記確率パラメータが付与された事実を表す節の数が前記サイズ以下となるように、前記確率論理プログラムの前記確率パラメータの各々の値を推定するステップと、
を含むパラメータ推定方法。

【請求項4】
 
前記確率パラメータの各々の初期値、又は前回更新された前記確率パラメータの各々の値に基づいて、前記目的関数の勾配を計算し、計算された前記目的関数の勾配に基づいて、前記確率パラメータの各々の値を更新し、更新された前記確率パラメータの値に基づいて、予め定められた基準値との差が小さい順に前記確率パラメータを前記サイズ分だけ選択し、選択されなかった前記確率パラメータの値を0又は1にすることを、予め定められた繰り返し終了条件を満たすまで繰り返すことにより、前記確率論理プログラムの前記確率パラメータの各々の値を推定する請求項3に記載のパラメータ推定方法。

【請求項5】
 
コンピュータを、請求項1又は請求項2に記載のパラメータ推定装置の各部として機能させるためのプログラム。
IPC(International Patent Classification)
Drawing

※Click image to enlarge.

JP2017187870thum.jpg
State of application right Registered
Please contact us by e-mail or facsimile if you have any interests on this patent. Thanks.


PAGE TOP

close
close
close
close
close
close
close