Top > Search of Japanese Patents > DATA STRUCTURE, DATA GENERATION DEVICE, DATA GENERATION METHOD, AND DATA GENERATION PROGRAM

DATA STRUCTURE, DATA GENERATION DEVICE, DATA GENERATION METHOD, AND DATA GENERATION PROGRAM

Patent code P150012312
File No. S2014-0074-N0
Posted date Sep 9, 2015
Application number P2013-232374
Publication number P2015-094988A
Patent number P6245571
Date of filing Nov 8, 2013
Date of publication of application May 18, 2015
Date of registration Nov 24, 2017
Inventor
  • (In Japanese)藤井 進
Applicant
  • (In Japanese)国立大学法人佐賀大学
Title DATA STRUCTURE, DATA GENERATION DEVICE, DATA GENERATION METHOD, AND DATA GENERATION PROGRAM
Abstract PROBLEM TO BE SOLVED: To provide a data structure and the like capable of ensuring robust data management and efficient operation without the need of complicated table designing and management even for data of no relation and managed by a plurality of systems.
SOLUTION: A data structure includes: a universal table 43 for managing data collected from a plurality of ordinary systems 41 using different definitions by item IDs without defining item names; a mask table 45 storing therein mask information for each row unit for necessary item IDs that are minimum necessary item IDs for identifying the data from among the item IDs, the mask information being for enabling only the data stored in the necessary item IDs to be extracted; and a master table 46 for managing a plurality of extracted identical data as one data if the data is extracted from all the data in the universal table 43 according to the mask information stored for every row unit in the mask table 45 and the identical extracted data is extracted from a plurality of rows among the extracted data.
Outline of related art and contending technology (In Japanese)

一般的に知られているデータベース技術として、RDB(Relational Data Base)やKVS(Key-Value Store)がある。RDBは関係データベースと訳され、現在最も多く利用されている。データは表形式のテーブルで管理され、テーブル間の関係を定義付ける。複数のテーブルからデータの取得、変更、削除などが行われる。一方、KVSは分散ファイルシステムやデータベースとして商品化されており、一意のKEYに対して値(Value)をセットで保存する。近年のビッグデータに対応した技術であり、データはKEYを指定することで取得することができる。

RDBはテーブルが表形式であるため、エンジニアが直感的にテーブル内のデータ設計を行うという利点があるものの、システムごとにテーブル設計が異なり、テーブル間の連携情報もその都度設計する必要があり、理論上の設計が必要とされ複雑性が否めない。また、こうした特性からメンテナンス性、拡張性、柔軟性が弱く、関係性においてマスタによる項目の分類は1つのカテゴリで管理されることが多く、設計者の意図と利用者の感性が違う場合はそれを取り出すことに困難性が残る。

一方でKVS技術は、データ自体にKEY(フィールド情報)を持つことで、RDBに対してテーブル設計の柔軟性を解決している。また、テーブル構造に縛られないことから拡張性も改善している。ただし、単一のフィールドに複数の異なる情報が格納されたり、テーブル内のデータ設計が直感的に行えず、俯瞰的に把握しづらくメンテナンス性も含めて弱い。

このようなRDBやKVSを複合的に利用する技術として、例えば特許文献1に示す技術が開示されている。特許文献1に示す技術は、アクセスパターンが存在する場合に、アクセス対象データを第1のデータベース及び第2のデータベースに配置することを決定するデータ保存先決定部と、データ保存先決定部によりアクセス対象データを第1のデータベース及び第2のデータベースに配置する場合に、書込みアクセスが所定回数以上となる期間を判別し、判別した期間に対応する期間のアクセス対象データを第1のデータベースに配置するように移行スケジュールを決定すると共に、読出しアクセスが所定回数以上となる期間を判別し、判別した期間に対応する期間のアクセス対象データを第2のデータベースに配置するように移行スケジュールを決定する移行スケジュール決定部と、を備えるものである。

Field of industrial application (In Japanese)

本発明は、大量で複雑なデータを簡単なテーブル設計で効率よく管理するデータ構造等に関する。

Scope of claims (In Japanese)
【請求項1】
 
異なる定義がなされている複数のテーブルから収集したデータを項目名を定義せずに項目IDで管理する万能テーブルと、
前記項目IDの中からデータを識別するために最低限必要となる必要項目IDに対して、当該必要項目IDに格納されているデータのみを抽出可能とするためのマスク情報が各行単位で格納されたマスクテーブルと、
前記万能テーブルの全データから前記マスクテーブルの各行単位に格納されたマスク情報にしたがってデータを抽出し、当該抽出された抽出データのうち同一の抽出データが複数行抽出された場合には、当該抽出された複数の同一データを一つのデータとして管理するマスタテーブルとを備えるデータ構造を生成するデータ生成装置であって、
異なる定義がなされている複数のテーブルからのデータを入力し、入力された入力データを前記万能テーブルに展開する万能テーブル生成手段と、
前記マスクテーブルの前記マスク情報にしたがって、前記万能テーブルの全データから必要なデータを抽出する抽出手段と、
抽出された抽出データのうち同一の前記抽出データが複数行抽出された場合に、当該抽出された複数の同一データを一つのデータとして前記マスタテーブルに格納するマスタテーブル生成手段とを備えることを特徴とするデータ生成装置。

【請求項2】
 
請求項1に記載のデータ生成装置において、
前記マスタテーブルのデータに付与されるパターンIDと、前記万能テーブルのデータに付与されるローカルIDと、前記パターンID及び前記ローカルIDを統合した統合IDを管理するID管理テーブルを生成するID管理テーブル生成手段と、
共通の前記パターンIDを有するデータ共通の前記統合IDを付与し、共通の前記ローカルIDを有するデータ共通の前記統合IDを付与して統合IDの管理を行う統合ID管理手段とを備えるデータ生成装置

【請求項3】
 
請求項1又は2に記載のデータ生成装置において、
前記マスクテーブルのマスク情報に対応する項目IDの項目名を管理する項目定義テーブルに基づいて、前記万能テーブルから抽出されたデータの対応する項目名を出力する出力手段を備えるデータ生成装置

【請求項4】
 
請求項1ないし3のいずれかに記載のデータ生成装置において、
前記万能テーブル生成手段が、前記異なる定義がなされている複数のテーブルにて格納されているデータ内容の実施に関連する情報を固定項目として各データごとに付加するデータ生成装置

【請求項5】
 
請求項1ないし4のいずれかに記載のデータ生成装置において、
前記マスタテーブルに格納され、前記万能テーブルが有していない情報であって、前記抽出されたデータに関連する付加的な情報を出力する出力手段を備えるデータ生成装置

【請求項6】
 
異なる定義がなされている複数のテーブルから収集したデータを項目名を定義せずに項目IDで管理する万能テーブルと、
前記項目IDの中からデータを識別するために最低限必要となる必要項目IDに対して、当該必要項目IDに格納されているデータのみを抽出可能とするためのマスク情報が各行単位で格納されたマスクテーブルと、
前記万能テーブルの全データから前記マスクテーブルの各行単位に格納されたマスク情報にしたがってデータを抽出し、当該抽出された抽出データのうち同一の抽出データが複数行抽出された場合には、当該抽出された複数の同一データを一つのデータとして管理するマスタテーブルとを備えるデータ構造を用いたデータ検索装置であって、
前記マスタテーブルに格納されたデータを検索条件データとして入力する入力手段と、
入力された前記検索条件データに基づいて、当該検索条件データと一致するデータを前記万能テーブルから抽出する抽出手段と、
抽出されたデータを出力する出力手段とを備えるデータ検索装置

【請求項7】
 
異なる定義がなされている複数のテーブルから収集したデータを項目名を定義せずに項目IDで管理する万能テーブルと、
前記項目IDの中からデータを識別するために最低限必要となる必要項目IDに対して、当該必要項目IDに格納されているデータのみを抽出可能とするためのマスク情報が各行単位で格納されたマスクテーブルと、
前記万能テーブルの全データから前記マスクテーブルの各行単位に格納されたマスク情報にしたがってデータを抽出し、当該抽出された抽出データのうち同一の抽出データが複数行抽出された場合には、当該抽出された複数の同一データを一つのデータとして管理するマスタテーブルとを備えるデータ構造を生成するデータ生成方法であって、
コンピュータが、
異なる定義がなされている複数のテーブルからのデータを入力し、入力された入力データを前記万能テーブルに展開する万能テーブル生成ステップと、
前記マスクテーブルの前記マスク情報にしたがって、前記万能テーブルの全データから必要なデータを抽出する抽出ステップと、
抽出された抽出データのうち同一の前記抽出データが複数行抽出された場合に、当該抽出された複数の同一データを一つのデータとして前記マスタテーブルに格納するマスタテーブル生成ステップとを実行することを特徴とするデータ生成方法

【請求項8】
 
異なる定義がなされている複数のテーブルから収集したデータを項目名を定義せずに項目IDで管理する万能テーブルと、
前記項目IDの中からデータを識別するために最低限必要となる必要項目IDに対して、当該必要項目IDに格納されているデータのみを抽出可能とするためのマスク情報が各行単位で格納されたマスクテーブルと、
前記万能テーブルの全データから前記マスクテーブルの各行単位に格納されたマスク情報にしたがってデータを抽出し、当該抽出された抽出データのうち同一の抽出データが複数行抽出された場合には、当該抽出された複数の同一データを一つのデータとして管理するマスタテーブルとを備えるデータ構造を用いたデータ検索方法であって、
コンピュータが、
前記マスタテーブルに格納されたデータを検索条件データとして入力する入力ステップと、
入力された前記検索条件データに基づいて、当該検索条件データと一致するデータを前記万能テーブルから抽出する抽出ステップと、
抽出されたデータを出力する出力ステップとを実行することを特徴とするデータ検索方法

【請求項9】
 
異なる定義がなされている複数のテーブルから収集したデータを項目名を定義せずに項目IDで管理する万能テーブルと、
前記項目IDの中からデータを識別するために最低限必要となる必要項目IDに対して、当該必要項目IDに格納されているデータのみを抽出可能とするためのマスク情報が各行単位で格納されたマスクテーブルと、
前記万能テーブルの全データから前記マスクテーブルの各行単位に格納されたマスク情報にしたがってデータを抽出し、当該抽出された抽出データのうち同一の抽出データが複数行抽出された場合には、当該抽出された複数の同一データを一つのデータとして管理するマスタテーブルとを備えるデータ構造を生成するようにコンピュータを機能させるデータ生成プログラムであって、
異なる定義がなされている複数のテーブルからのデータを入力し、入力された入力データを前記万能テーブルに展開する万能テーブル生成手段、
前記マスクテーブルの前記マスク情報にしたがって、前記万能テーブルの全データから必要なデータを抽出する抽出手段、
抽出された抽出データのうち同一の前記抽出データが複数行抽出された場合に、当該抽出された複数の同一データを一つのデータとして前記マスタテーブルに格納するマスタテーブル生成手段としてコンピュータを機能させることを特徴とするデータ生成プログラム

【請求項10】
 
異なる定義がなされている複数のテーブルから収集したデータを項目名を定義せずに項目IDで管理する万能テーブルと、
前記項目IDの中からデータを識別するために最低限必要となる必要項目IDに対して、当該必要項目IDに格納されているデータのみを抽出可能とするためのマスク情報が各行単位で格納されたマスクテーブルと、
前記万能テーブルの全データから前記マスクテーブルの各行単位に格納されたマスク情報にしたがってデータを抽出し、当該抽出された抽出データのうち同一の抽出データが複数行抽出された場合には、当該抽出された複数の同一データを一つのデータとして管理するマスタテーブルとを備えるデータ構造を用いてデータ検索するようにコンピュータを機能させるデータ検索プログラムであって、
前記マスタテーブルに格納されたデータを検索条件データとして入力する入力手段、
入力された前記検索条件データに基づいて、当該検索条件データと一致するデータを前記万能テーブルから抽出する抽出手段、
抽出されたデータを出力する出力手段としてコンピュータを機能させることを特徴とするデータ検索プログラム
IPC(International Patent Classification)
Drawing

※Click image to enlarge.

JP2013232374thum.jpg
State of application right Registered
Please contact us by E-mail or facsimile if you have any interests on this patent.


PAGE TOP

close
close
close
close
close
close
close