TOP > 国内特許検索 > 適応型テストシステムとその方法 > 明細書

明細書 :適応型テストシステムとその方法

発行国 日本国特許庁(JP)
公報種別 特許公報(B2)
特許番号 特許第4923246号 (P4923246)
公開番号 特開2008-026583 (P2008-026583A)
登録日 平成24年2月17日(2012.2.17)
発行日 平成24年4月25日(2012.4.25)
公開日 平成20年2月7日(2008.2.7)
発明の名称または考案の名称 適応型テストシステムとその方法
国際特許分類 G09B  19/00        (2006.01)
G09B   5/12        (2006.01)
G09B   7/077       (2006.01)
FI G09B 19/00 H
G09B 5/12
G09B 7/077
請求項の数または発明の数 4
全頁数 24
出願番号 特願2006-198891 (P2006-198891)
出願日 平成18年7月21日(2006.7.21)
権利譲渡・実施許諾 特許権者において、権利譲渡・実施許諾の用意がある。
審査請求日 平成21年2月12日(2009.2.12)
特許権者または実用新案権者 【識別番号】304020177
【氏名又は名称】国立大学法人山口大学
発明者または考案者 【氏名】今井 新悟
個別代理人の代理人 【識別番号】100111132、【弁理士】、【氏名又は名称】井上 浩
審査官 【審査官】宇佐田 健二
参考文献・文献 特開2004-046255(JP,A)
国際公開第2003/050782(WO,A1)
特開2002-006734(JP,A)
特開2006-209678(JP,A)
調査した分野 G09B 5/00- 5/14
G09B 7/00- 7/12,19/00
G06Q 50/00
特許請求の範囲 【請求項1】
受験者に対して複数のレベルに分けて問題を出題し、解答の正答率又は誤答率によって前記レベルを昇移動・降移動させ、前記受験者の能力のレベルを判定するテストシステムであって、
予め問題、その問題に対する解答選択肢、及びその問題に対する正解に関するデータを前記レベル毎に格納する格納部と、
受験者が前記問題に対する解答の選択肢を入力する入力部と、
前記問題、その問題に対する解答の選択肢、及び判定された前記受験者の能力のレベルを出力する出力部と、
前記レベルの数、前記レベル間の昇移動・降移動を決定する前記問題に対する解答選択肢の正答率又は誤答率、及び前記昇移動のレベル幅と前記降移動のレベル幅に関するデータを生成するパラメータ生成部と、前記問題及び前記問題に対する解答選択肢を前記格納部から読み出して前記出力部に出力し、前記入力部から入力される前記問題に対する解答選択肢の当否を前記その問題に対する正解を前記格納部から読み出して比較することで判断し、同一レベル内で出題された複数の前記問題に対する正答率又は誤答率を演算し、前記パラメータ生成部で生成された決定に基づいてレベルの昇移動・降移動を判断するプレースメント演算部とを備える解析部と、を有し、
前記プレースメント演算部は、前記問題に対する解答選択肢の正答率又は誤答率によって昇降移動のレベル幅又は降移動のレベル幅で前記レベルの移動先を演算し、その移動先のレベルで前記問題の出題からレベルの昇移動・降移動を繰り返し実行するが、前記レベルの移動先が、そのレベルで既に昇移動が決定したレベルよりも下レベル及びそのレベルで既に降移動が決定したレベルよりも上レベルとなった場合には移動をすることなく停止して、それまで昇移動が決定した最も高いレベルを前記受験者の能力のレベルと決定することを特徴とする適応型テストシステム。
【請求項2】
前記プレースメント演算部は、予め実施したダミー問題の解答結果に応じて、前記受験者の能力の初期レベルを決定し、この初期レベルに含まれる前記問題及び前記問題に対する解答選択肢を読み出すことを特徴とする請求項1記載の適応型テストシステム。
【請求項3】
前記入力部及び/又は出力部は、外部インターフェースを備えて情報通信網に接続され、この情報通信網に接続されるクライアントコンピュータにおいて前記入力部に対する入力及び/又は前記出力部からの出力を行うことを特徴とする請求項1又は請求項2に記載の適応型テストシステム。
【請求項4】
受験者に対して複数のレベルに分けて問題を出題し、解答の正答率又は誤答率によって前記レベルを昇移動・降移動させ、前記受験者の能力のレベルを判定する適応型テストシステムの制御方法であって、
予め問題、その問題に対する解答選択肢、及びその問題に対する正解に関するデータを前記レベル毎に格納部に格納する工程と、
受験者による前記問題に対する解答の選択肢の入力を入力部で受ける工程と、
前記レベルの数、前記レベル間の昇移動・降移動を決定する前記問題に対する解答選択肢の正答率又は誤答率、及び前記昇移動のレベル幅と前記降移動のレベル幅に関するデータをパラメータ生成部にて生成する工程と、
プレースメント演算部が前記問題及び前記問題に対する解答選択肢を前記格納部から読み出して前記出力部に出力する工程と、
プレースメント演算部が前記入力部から入力される前記問題に対する解答選択肢の当否を前記その問題に対する正解を前記格納部から読み出して比較することで判断し、同一レベル内で出題された複数の前記問題に対する正答率又は誤答率を演算し、前記パラメータ生成部で生成された決定に基づいてレベルの昇移動・降移動を判断する工程と、
前記プレースメント演算部が前記問題に対する解答選択肢の正答率又は誤答率によって昇降移動のレベル幅又は降移動のレベル幅で前記レベルの移動先を演算し、その移動先のレベルで前記問題の出題からレベルの昇移動・降移動を繰り返し実行するが、前記レベルの移動先が、そのレベルで既に昇移動が決定したレベルよりも下レベル及びそのレベルで既に降移動が決定したレベルよりも上レベルとなった場合には移動をすることなく停止して、それまで昇移動が決定した最も高いレベルを前記受験者の能力のレベルと決定する工程と、
前記決定された受験者の能力のレベルを前記出力部に出力する工程と、を有することを特徴とする適応型テストシステムの制御方法。
発明の詳細な説明 【技術分野】
【0001】
本発明は、適応型テストをより実用的に利用可能にした適応型テストシステムとその方法に関する。
【背景技術】
【0002】
語学や情報リテラシなどの知識、スキル等学生の能力のばらつきの大きい学習者集団を教育する場合、あるいは一般社会における企業の専門職におけるスキル訓練に際して、能力別のクラスを編成することが有効な手段の一つである。能力別のクラスを編成するために行うプレースメントテストは、広い範囲の知識やスキルを測定するために、これまで多くの問題数が必要となり、受験所要時間が非常に長くなって受験者に負担を強いることになるか、それを避けて少ない問題数でテストを構成して実施すれば測定精度を十分に確保できないというジレンマがあった。
そこで、このように受験者の能力が広範囲に分布している場合に、この能力の判定を短時間かつ的確に行うことを可能とするテストとして、適応型テスト(アダプティブテスト)がある。
この適応型テストでは、受験者に応じた問題が出題され、受験時間が短く、測定精度も確保できるので、非常に有効である。一般に適応型テストとは、テストを行うにあたり、問題を1題乃至複数題提示して解答させ、その解答群の採点結果によって、次に出題する問題(群)を受験者の能力に近い困難度の問題になるよう決定し、テストの目的(受験者の能力を測定する)を達成したと判断されるある条件を満たした場合にテストを終了する、というものである。受験者の能力に合わせて出題されるため、受験者の心理的な負担が少なく、解答すべき問題も数割減少するのが一般的である。
しかしながら、従来の適応型テストは、数千題の大規模なアイテムバンクが必要とされており、簡単に利用できるものではないという課題があった。
また、従来、この適応型テストは、項目応答理論と結びつけて開発されることが多く、特に英語の検定や教育現場で利用されることが多い。この項目応答理論に基づく適応型テストには2種類の方法がある。推定能力値を逐次計算する方法と、アイテムを固定する方法である。このアイテムとは、問題とその問題の解答としての選択肢のユニットを意味するものである。
【0003】
前者の推定能力値を逐次計算する方法は、米国Educational Testing Service社が実施しているTOEFL(米国Educational Testing Service社の登録商標)のCBT(Computer-based Testing)がある。これには、膨大なアイテムが必要とされる。また、能力値推定の計算の負荷が受験者数の増大に対して飛躍的に増加するため、これを運用するサーバーの能力も非常に高いものが要求される。従って、例えば教育機関や企業単位で同種の方法によるテストの開発や実施は設備やコスト等の点から現実的ではないという課題があった。
後者のアイテムを固定する方法の例としては、特許文献1に、「コンピュータ適応型検定試験の方法及びシステム」として、項目反応理論によるパラメータ推定法及びアイテムを予め樹状配置し、受験者による解答の正誤に応じて樹状経路に沿ったアイテムを順に受験させ、各アイテムの正誤パターンによる重み付けを加味しながら、受験者の能力を推定するテストの方法が開示されている。
また、特許文献2においても、「テスト・システム及びその制御方法」として、項目応答理論に言及し、正誤の2値的判定の短所と上述の推定能力値を随時計算する方法の計算の複雑さの短所を克服すべく、2値的判定の推定法に近い計算法と部分得点モデルを開示している。
【0004】

【特許文献1】特開2002-006734号公報
【特許文献2】特許第3645901号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に記載された従来の技術は、困難度の異なるアイテムを出題することによって、推定能力値を探っていくという適応型の特徴を十分に発揮できない方法となる可能性があるという課題があった。また、すべての受験者に最初に出題されるアイテムが固定されることから、受験者能力が高い場合と低い場合には、最初の数問は能力を的確に判定するには寄与しない無駄な問題となってしまう可能性があるという課題もあった。
従って、この特許文献1に開示される発明においてもなお、アイテム数は能力値の推定精度に比して多すぎる可能性がある。例えば、本特許文献1内では、1レベルから29レベルにレベル分けされたケースの例が示されている。30段階の精度にしているが、この場合のアイテム必要数は、120アイテムである。また、アイテムレベルが中程度の困難度のものが多く必要となり、作問と、その後のパイロットテストに基づく項目応答理論分析によるパラメータにより廃棄されるアイテム数が多くなり、アイテムを格納するデータベースの効率性が低くなることが容易に予想される。各受験者の受験回数は(受験するアイテム数)は15回に固定されるため、適応型の特質を十分に発揮できない。さらに、困難度の両極に近づくにつれて、レベルでの判定精度が落ちていくため、判定精度が均質にならない可能性があるという課題があった。
【0006】
一方、特許文献2に開示される従来の技術では、コンピュータを介して演算されるものの、部分得点の部分は採点者により、人為的に判断される方法であり、さらに、特許文献2の第17頁第23行目から第27行目に「採点者は、既に説明した部分得点を許容する方法により解答を採点し(ステップ407)、採点結果をテスト管理サーバ104に返送する(ステップ408)。ただし、一般的には、このように複数の解答がまとめて採点されるか、リアルタイムで採点されるかは、本発明の特徴とは関係ない。」という記載に示されるように、コンピュータ上での部分得点の加味を必ずしも意図するものではない。そのため、一般的に行われる適応型テストで想定されている、テスト終了後に即座にテスト結果が示されるものでもないという課題があった。
【0007】
本発明はかかる従来の事情に対処してなされたものであり、適応型テストを行う際のアイテムの数を小規模なものとしつつも、信頼性を損なわずに簡易に実施できる適応型テストシステムとその方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するため、請求項1記載の発明である適応型テストシステムは、受験者に対して複数のレベルに分けて問題を出題し、解答の正答率又は誤答率によって前記レベルを昇移動・降移動させ、前記受験者の能力のレベルを判定するテストシステムであって、
予め問題、その問題に対する解答選択肢、及びその問題に対する正解に関するデータを前記レベル毎に格納する格納部と、
受験者が前記問題に対する解答の選択肢を入力する入力部と、
前記問題、その問題に対する解答の選択肢、及び判定された前記受験者の能力のレベルを出力する出力部と、
前記レベルの数、前記レベル間の昇移動・降移動を決定する前記問題に対する解答選択肢の正答率又は誤答率、及び前記昇移動のレベル幅と前記降移動のレベル幅に関するデータを生成するパラメータ生成部と、前記問題及び前記問題に対する解答選択肢を前記格納部から読み出して前記出力部に出力し、前記入力部から入力される前記問題に対する解答選択肢の当否を前記その問題に対する正解を前記格納部から読み出して比較することで判断し、同一レベル内で出題された複数の前記問題に対する正答率又は誤答率を演算し、前記パラメータ生成部で生成された決定に基づいてレベルの昇移動・降移動を判断するプレースメント演算部とを備える解析部と、
を有し、前記プレースメント演算部は、前記問題に対する解答選択肢の正答率又は誤答率によって昇降移動のレベル幅又は降移動のレベル幅で前記レベルの移動先を演算し、その移動先のレベルで前記問題の出題からレベルの昇移動・降移動を繰り返し実行するが、前記レベルの移動先が、そのレベルで既に昇移動が決定したレベルよりも下レベル及びそのレベルで既に降移動が決定したレベルよりも上レベルとなった場合には移動をすることなく停止して、それまで昇移動が決定した最も高いレベルを前記受験者の能力のレベルと決定することを特徴とするものである。
上記構成の適応型テストシステムでは、パラメータ生成部が、レベルの数、レベル間の昇移動・降移動を決定する問題に対する解答選択肢の正答率又は誤答率、及び昇移動のレベル幅と降移動のレベル幅に関するデータを生成するという作用を有し、これらのパラメータに関するデータに基づいてプレースメント演算部が受験者の能力のレベルを決定するという作用を有する。
【0009】
また、請求項2に記載の発明である適応型テストシステムは、請求項1に記載の発明において、前記プレースメント演算部は、予め実施したダミー問題の解答結果に応じて、前記受験者の能力の初期レベルを決定し、この初期レベルに含まれる前記問題及び前記問題に対する解答選択肢を読み出すことを特徴とするものである。
上記構成の適応型テストシステムでは、請求項1に記載の発明の作用に加えて、さらに、初期レベルを決定した後にテストが開始されるという作用を有する。
【0010】
請求項3に記載の発明である適応型テストシステムは、請求項1又は請求項2に記載の発明において、前記入力部及び/又は出力部は、外部インターフェースを備えて情報通信網に接続され、この情報通信網に接続されるクライアントコンピュータにおいて前記入力部に対する入力及び/又は前記出力部からの出力を行うことを特徴とするものである。
上記構成の適応型テストシステムでは、請求項1又は請求項2に記載される発明の作用に加えて、特に、遠隔操作にて適応型テストシステムを作動させるという作用を有する。
【0011】
さらに、請求項4に記載の発明である適応型テストシステムの制御方法は、請求項1記載の発明を方法発明として捉えたもので、
受験者に対して複数のレベルに分けて問題を出題し、解答の正答率又は誤答率によって前記レベルを昇移動・降移動させ、前記受験者の能力のレベルを判定する適応型テストシステムの制御方法であって、
予め問題、その問題に対する解答選択肢、及びその問題に対する正解に関するデータを前記レベル毎に格納部に格納する工程と、
受験者による前記問題に対する解答の選択肢の入力を入力部で受ける工程と、
前記レベルの数、前記レベル間の昇移動・降移動を決定する前記問題に対する解答選択肢の正答率又は誤答率、及び前記昇移動のレベル幅と前記降移動のレベル幅に関するデータをパラメータ生成部にて生成する工程と、
プレースメント演算部が前記問題及び前記問題に対する解答選択肢を前記格納部から読み出して前記出力部に出力する工程と、
プレースメント演算部が前記入力部から入力される前記問題に対する解答選択肢の当否を前記その問題に対する正解を前記格納部から読み出して比較することで判断し、同一レベル内で出題された複数の前記問題に対する正答率又は誤答率を演算し、前記パラメータ生成部で生成された決定に基づいてレベルの昇移動・降移動を判断する工程と、
前記プレースメント演算部が前記問題に対する解答選択肢の正答率又は誤答率によって昇降移動のレベル幅又は降移動のレベル幅で前記レベルの移動先を演算し、その移動先のレベルで前記問題の出題からレベルの昇移動・降移動を繰り返し実行するが、前記レベルの移動先が、そのレベルで既に昇移動が決定したレベルよりも下レベル及びそのレベルで既に降移動が決定したレベルよりも上レベルとなった場合には移動をすることなく停止して、それまで昇移動が決定した最も高いレベルを前記受験者の能力のレベルと決定する工程と、
前記決定された受験者の能力のレベルを前記出力部に出力する工程と、を有することを特徴とするものである。
上記構成の適応型テストシステムの制御方法では、請求項1と同様の作用を有する。
【発明の効果】
【0012】
本発明の請求項1記載の適応型テストシステムでは、レベル数、レベル間の昇移動・降移動を決定する前記問題に対する解答選択肢の正答率又は誤答率、及び前記昇移動のレベル幅と前記降移動のレベル幅に関するデータを任意に設定可能であるため、受験者の能力のレベルの判定精度を任意に設定することができる。
また、プレースメント演算部は、レベルの移動先が、そのレベルで既に昇移動が決定したレベルよりも下レベル及びそのレベルで既に降移動が決定したレベルよりも上レベルとなった場合には移動をすることなく停止して、それまで昇移動が決定した最も高いレベルを受験者の能力のレベルと決定するため、レベルの決定までの所要時間は短時間で済み、能力レベルの決定のプロセスを簡略化することが可能であるという効果を有する。
さらに、この能力の判定を行うレベル決定の所要時間も前述のレベル数や問題に対する解答選択肢の正答率又は誤答率の設定によって変動させることが可能であることから、判定精度と受験の所要時間のバランスも任意に設定可能であるという効果を有する。
【0013】
また、本発明の請求項2に記載の適応型テストシステムでは、ダミー問題の解答結果に応じて、受験者の能力の初期レベルを決定してから、テストを実施するため、請求項1に記載の発明よりもさらにレベル決定までの所要時間の短縮化を図ることが可能となる。
【0014】
本発明の請求項3に記載の適応型テストシステムにおいては、情報通信網を通じて受験者が受験可能となるため、空間的あるいは時間的な制約を排除して、本適応型テストシステムを利用することが可能となる。
【0015】
本発明の請求項4に記載の適応型テストシステムの制御方法においては、請求項1に記載の発明を方法発明として捉えた発明であることから、請求項1に記載の発明と同様の効果を発揮することができる。
【発明を実施するための最良の形態】
【0016】
以下に、本発明の最良の実施の形態に係る適応型テストシステム及びその方法について図1乃至図10に基づき説明する。
図1は、本発明の実施の形態に係る適応型テストシステムの構成図である。
図1において、適応型テストシステム1は解析部2を中心に、入力部3や出力部4あるいは格納部5、計時部6を備えるものである。
入力部3は、例えばキーボードやマウスなどの入力デバイス17あるいは外部に情報通信網7を介して接続されるクライアントコンピュータ8からの入力をも可能にすべく外部インターフェース18を備えるものである。
また、出力部4は、CRTや液晶ディスプレイ、あるいは有機ELディスプレイなどに代表されるような表示デバイス19あるいは入力部3と同様に、情報通信網7を介して外部のクライアントコンピュータ8にも表示可能なように出力のための外部インターフェース20を備えている。
格納部5は、データベース21を備えており、このデータベース21には、テスト問題データ22aとテスト問題選択肢データ22bから構成されるテストアイテムデータ22、テスト正解データ23、パラメータデータ24、レベルデータ25、コメントデータ26、テスト成績データ27及びテスト分析データ28が格納されている。
このテスト問題データ22aは、多肢選択式の問題で、例えば語学教育に関するテスト問題であれば、語彙や発音あるいは文法に関する問題が含まれる。テスト問題選択肢データ22bは、複数の選択肢から構成される解答候補の群であり、いずれかに正解が含まれるものである。また、これらのテスト問題データ22aとテスト問題選択肢データ22bを一組として、テストアイテムデータ22が構成されている。これらのテスト問題データ22a、テスト問題選択肢データ22bを含むテストアイテムデータ22は、以後説明される「レベル」毎に格納されている。
テスト正解データ23は、先のテスト問題選択肢データ22bの中のいずれかの選択肢を記号や数字で表現したもので、テストアイテムデータ22と対応するものである。
パラメータデータ24は、適応型テストの受験時に解析部2において実行される解析のためのパラメータに関するデータであり、具体的には、適応型テストにおいて想定されるレベルの数、レベル合格ラインの正答率あるいは誤答率、合格時の移動レベル数、不合格時の移動レベル数、受験開始時のレベル、各問題の制限時間などである。
レベルデータ25は、受験者が受験時に存在しているレベル位置、すなわち、受験者が受験している問題が出題されているレベル位置や、あるいはテスト終了後に決定されたレベル位置に関するデータである。また、図8を参照しながら説明するが、既に合格したレベルをms、既に不合格したレベルをmfとしてこれらもレベルデータ25として格納される。
コメントデータ26は、出力部4に表示される指示や説明文や注意書きなどの文言に関するデータである。
テスト成績データ27は、受験者が選択した解答に関するデータ、最終的に決定されたレベル位置に関するレベルデータも含むものである。
テスト分析データ28は、複数の受験者の解答を得ることで、統計的な処理を行った場合のデータである。
【0017】
計時部6は、時計部29とタイマー部30を備え、時計部29は現在時刻を計時しているものであり、タイマー部30はパラメータデータ24に含まれる問題の制限時間をテスト開始時から逆算しながらあるいは0から制限時間まで増やしながら表示するものである。
【0018】
解析部2は、パラメータ生成部9、プレースメント演算部11、テスト成績生成部15、テスト成績分析部16から構成されている。
パラメータ生成部9は、テスト開始に先立って、受験者の解答に対してどのようにレベルの移動を行うかについてその解析に用いるパラメータを生成させる構成要素である。ここで、パラメータの生成には2通りあり、1つは、入力部3からの直接入力を促して、実施者によるパラメータの入力を入力部3から読み出して、これをもって生成させるもの、もう1つは、予めパラメータデータ24として入力部3を介して格納部5のデータベース21に格納しておき、このパラメータデータ24をデータベース21から読み出して、これをもって生成させるものがある。データベース21からの読み出しは、1つのみを格納しておいてそれを読み出す場合もあれば、複数の選択肢から選択する場合もある。このパラメータ生成部9における作用については、図2及び図3を用いて後述する。
プレースメント演算部11は、当否判断部12、レベル昇降判断部13、及びプレースメントサーチ部14から構成される。このプレースメント演算部11では、受験者によって入力された解答と正解との比較を行うことで、その当否の判断を行い、複数の問題の解答からその正答率又は誤答率から合格・不合格を判定してレベルを昇移動するか降移動するかを判定し、さらに、その移動先に関する判定を行って最終的にレベルの移動を行う。このプレースメント演算部11の作用については、図4乃至図9を用いて後述する。
テスト成績生成部15では、受験者が入力部3を介して入力した問題の解答選択肢のデータを読み出して配列し、テスト成績データ27を生成する。また、このテスト成績生成部15では、プレースメント演算部11によって最終的に決定されたレベルに関するレベルデータ25をも読み出して、テスト成績データ27に含めるものである。
テスト成績分析部16は、テスト成績生成部15によって生成されたテスト成績データ27を用いて、複数の受験者における統計的な分析、例えば能力のレベルの分布、平均値、中間値、最高レベル、最低レベル、標準偏差などの統計的な分析を行うものである。一人の受験者の時系列的な分析や、複数の受験者における決定された能力のレベルではなく、それぞれの問題に対する解答について、平均値、中間値、最高値、最低値、標準偏差などの統計的な分析を行うことも可能である。
【0019】
以下、本適応型テストシステム1の内容についてその使用方法も含めて詳細に説明を加える。
格納部5のデータベース21に格納されるデータのうち、テスト問題データ22a及びテスト問題選択肢データ22bからなるテストアイテムデータ22は、予め適応型テストの実施者によって入力部3を介して格納される。また、このテスト問題データ22aに対するテスト正解データ23やコメントデータ26も同様に、予めデータベース21に格納されることになる。
これらのデータは、入力部3の入力デバイス17から直接、あるいは外部インターフェース18及び情報通信網7を介して遠隔地に設置されたクライアントコンピュータ8から入力することも可能である。
テストアイテムデータ22に含まれるテスト問題データ22aは、適応型テストに特徴的な特性パラメータについてそれぞれ推定し、その推定値を適応型テストの実施者が確認しながら、テスト問題データ22aを選択可能とすべく閲覧可能にデータとしてテスト問題データ22aに含まれている。
この特性パラメータには、1)項目困難度、2)項目弁別力、3)実効選択肢数の3つがある。
項目困難度は、古典的には正答率を意味し、項目応答理論では、正答率をもとに標本(データ)のばらつきやまぐれ当たり度によって調整した値を意味する。従って、この項目困難度は、受験者の能力を測定するスケールの役割を果たす。項目応答理論を基礎としたPROX法により繰り返し計算を行うことなく受験者集団に依存しない項目困難度を推定できる。
また、項目弁別力は、テスト項目(問題)が受験者の能力を測定する性能を表す指標で、項目が能力の高い受験者と低い受験者を峻別する度合いを意味する。同じ項目困難度のテスト項目であれば、項目弁別力の高いものを選んで使用する。
例えば、日本人であるかどうかを峻別するために、「日本の首相の名前は何か」という項目を使用すると、その項目は弁別力が低いことが予想される。一方、ある集団の合言葉を「ある人(受験者)が、その集団の仲間であるかどうかを問う」項目であるならば、弁別力が高いことが予想されるのである。
実効選択肢数は、実質的な選択肢の数を意味するものである。例えば、5択で選択肢の一つが全く選ばれず、他の選択肢が25%ずつ選ばれたとした場合には、実質的には4択となり、実効選択肢数は、4.0となる。実効選択肢数は、次の式(1)を使って計算する。
【0020】
【数1】
JP0004923246B2_000002t.gif

【0021】
なお、本実施の形態に係る適応型テストシステムの項目困難度及び項目弁別力は、項目応答理論で求められ、実効選択肢数は古典的理論で求められる。また、この特性パラメータの値を求めるソフトウェアは既に開発されており、解析部2の中にそのソフトウェアを含めて特性パラメータを計算することができるようにするとともに、計算した特性パラメータを保存する機能及びテストを構成する際に保存した特性パラメータを参照する機能を実装してもよい。
適応型テストの実施者は、これらのパラメータを参照しながら、テスト問題データ22a及びテスト問題選択肢データ22bを選んで、データベース21に格納する。
このように予めテストアイテムデータ22及びテスト正解データ23を格納した状態で、次に、実施者は、適応型テストのパラメータを決定する。適応型テストのパラメータは、前述のとおり、パラメータ生成部9によって生成される。
【0022】
このパラメータ生成部9の作用について、図2及び図3を参照しながら説明する。図2は、パラメータ生成部9における作用を模式的に表す概念図であり、図3は、表示デバイス19などの出力部4あるいは外部インターフェース20を介して情報通信網7上に接続されるクライアントコンピュータ8の表示画面の一例を示す概念図である。
図2において、パラメータ生成部9では、まず、適応型テストの能力のレベルを判定するためのレベル数Mの読み出しを実行する。このレベル数Mは、図2では、格納部5のデータベース21にパラメータデータ24として格納されるデータとして予め用意されているものを読み出して生成される場合を示しているが、これは、複数の候補を予めパラメータデータ24に格納しておき、これらの候補を図3に示されるようにレベル数として、プルダウンメニューを出力部4等において表示し、入力部3を介してその候補のうちの1つを読み出して生成するようにしてもよい。図3では、レベル数が5として表示されている。
また、前述のとおり、もう一つの生成方法として、入力デバイス17や外部インターフェース18などの入力部3を介して直接実施者による入力を待って、これを読み出して生成するようにしてもよい。
次に、このレベル数Mが読み出されることによって、予めデータベース21に格納されているテストアイテムデータ22の数(N)がわかっていることから、レベル当たりの問題数n(=N/M)が演算される。図3では、各レベルの問題数と表示されている部分で、「3」と表示されている。
次に、パラメータ生成部9は、レベル合格ラインkの読み出しを行う。このレベル合格ラインkもレベル数Mと同様にデータベース21にパラメータデータ24として格納されており、その読み出し方は2つの生成方法があることも含めてレベル数Mと同様である。このレベル合格ラインkについては、図3に、レベル数と同様にプルダウンメニューとともに「2」と表示がある。
すなわち、この適応型テストシステムでは、図3を参照すれば、語彙テストを実施してその能力の判定を行うために5つのレベルを想定し、どのレベルがその受験者の能力に相当するかを判定する際に、各レベルで、3問のテストアイテム、すなわちテスト問題とテスト問題選択肢を用いて、そのうち、2問正解の場合には、そのレベルを合格とするという意味である。なお、本実施の形態においては、レベル合格ラインkとして、正答率を示しているが、これを逆に誤答率としてレベル合格ラインを1/3として示してもよいし、レベル不合格ラインとして、正答率を1/3としたり、誤答率を2/3として表示してもよい。
【0023】
次に、パラメータ生成部9では、合格時の移動レベル数Muの読み出しを行い、さらに、不合格時の移動レベル数Mdの読み出しを行う。これらの合格時の移動レベル数Mu及び不合格時の移動レベル数Mdの読み出しに関しても、その読み出し方は2つの生成方法があることも含めて前述のレベル数Mや合格ラインkと同様である。図3においては、合格時の移動レベル数Muは2で、不合格時の移動レベル数Mdは1と表示されており、プルダウンメニューも同様である。ここで、合格時の移動レベルとは、レベル間の昇移動を意味しており、合格時には2レベルほど昇移動するという意味であり、不合格時の移動レベルとはレベル間の降移動を意味しており、不合格時には1レベルほど降移動するという意味である。
次に、パラメータ生成部9では、適応型テストを開始する際のレベルの初期設定である開始レベルMiを読み出す。この開始レベルMiの読み出しについても、他のパラメータと基本的には同様である。
但し、適応型テストの実施に先立って、予めダミーアイテム(ダミー問題とダミー問題選択肢)を用意しておき、これを受験者に予め解いてもらいその結果をもって開始レベルMiを決定してもよい。このダミーアイテムについては、その内容について何ら限定するものではなく、難易度を任意に想定したものである。
このダミーアイテムに対する成績データを予めデータベース21に格納しておき、この成績データと開始レベルMiの対応を予め設定しておき、成績データをキーとしてパラメータ生成部9が開始レベルMiを読み出すようにしてもよい。解析部2にダミーアイテムのテストを実行するためのダミーテスト実行部を設けておき、これがデータベース21に格納されたダミーアイテムを読み出して、表示デバイス19や外部インターフェース20等の出力部4を介して表示し、受験者がこれに対して入力デバイス17や外部インターフェース18等の入力部3を介して解答を入力し、それを受けてダミーテスト実行部が予めデータベース21に格納されたダミーテスト解答と比較することで採点し、これをデータベース21にダミーテスト成績データとして格納しておけば、前述の開始レベルMiの読み出しは可能である。
図3では、開始レベルは「2」として表示されている。プルダウンメニューも同様に表示されている。
【0024】
次に、問題毎の制限時間の読み出し及び制限時間表示ボックスに関する情報の読み出しを行う。これらの読み出しも他のパラメータと同様である。
図3では、時間制限としてそれぞれの問題に対する制限時間が表示されており、また、本実施の形態においては、制限時間表示ボックスに関する情報として、「制限時間表示ボックス位置(縦)」及び「制限時間表示ボックスの幅」の2つが表示されている。
これらの一旦生成されたパラメータのデータは一まとめにパラメータデータ24に格納されるようにしておいてもよいし、毎回選択や入力を待って読み出してもよい。
【0025】
次に、図1に示されるプレースメント演算部11における作用について、図4乃至図9を参照しながら詳細に説明する。
パラメータ生成部9では、適応型テストを実行するにあたり、事前に作用するものであり、このプレースメント演算部11は、受験者が適応型テストシステム1を利用して受験する際に作用するものである。
プレースメント演算部11は、まず、図4に示すように、受験者の受験開始の案内を表示デバイス19や外部インターフェース20などの出力部4を介して表示する。ここで、画面の下方に表示される「テスト開始」の表示をクリック、選択などすることによってプレースメント演算部11は、適応型テストの開始を認識し、格納部5のデータベース21からテスト問題データ22a及びテスト問題選択肢データ22bを読み出して、表示デバイス19や外部インターフェース20などの出力部4を介して表示する。この表示の状態を模式的に示すのが、図5である。なお、その際には、先に生成された開始レベルの問題から始めることになる。以下、図6をも参照しながら説明する。
【0026】
図5において、左上方に残り時間の表示があり、問題毎に残り時間が表示される。この残り時間は、先に説明したパラメータデータ24の中の制限時間に関するデータから逆算されて表示されるものである。この計時は、計時部6によって実行される。すなわち、計時部6は、データベース21からパラメータデータ24の中の制限時間に関するデータを読み出して、カウントダウンを実行し、そのデータを出力部4を介して表示するのである。
次に、テスト問題データ22a及びテスト問題選択肢データ22bの表示について図6を参照しながら説明する。
適応型テストが開始されると、プレースメント演算部11の中の当否判断部12が、問題1とその問題1に対する解答の選択肢1をデータベース21から読み出して表示する。表示は、表示デバイス19や外部インターフェース20等の出力部4を介して実施される。図5はその例を示すが、右中央にテスト問題選択肢データ22bが選択可能なように表示されている。本実施の形態では、テスト問題の表示を割愛しているが、実際には、略中央に表示され、これを受験者が読み、制限時間内にa.からd.の選択肢から正解と考えるものを選択するものである。
受験者は、正解と考える選択肢を選択し、その後、「答えを送信」の表示をクリック、選択などすることで、当否判断部12は、この解答を読み出す。
解答を読み出した当否判断部12は、データベース21から当該問題に対するテスト正解データ23を問題に付された序数のデータ(n)をキーとして読み出して、比較し、その当否を判定する。その後、問題nに対する当否のデータをデータベース21にテスト成績データ27として格納する。
レベルに含まれる問題数のnまでnを1ずつインクリメントして繰り返し問題を表示しnとなった際に、当否判断部12は一旦当否の判断を中止し、問題数がnまで到達したことを示す信号をレベル昇降判断部13に送信する。
【0027】
レベル昇降判断部13における作用については、図7を参照しながら説明する。
図7において、当否判断部12の1のレベルにおける問題数がnになると、レベル昇降判断部13では、データベース21のテスト成績データ27を読み出して、その中の正解数n1を計数する。この正解数n1が、予めパラメータ生成部9で生成したレベル合格ラインk以上であった場合とレベル合格ラインkより少ない値であった場合に分けて、そのデータをプレースメントサーチ部14に送信する。
なお、レベル昇降判断部13では、最初の開始レベルMiのデータをデータベース21のパラメータデータ24から読み出して、そのデータに基づいて、プレースメント演算部11は問題を開始し、当否判断部12がその問題に対する解答について当否を判定するものである。また、現状のレベルに関するデータは、レベル昇降判断部13が、レベルデータ25としてデータベース21に格納する。
プレースメントサーチ部14は、レベル昇降判断部13によって正解数n1とレベル合格ラインkの大小比較からレベルの昇降の判断に関する信号を受信して、次に問題を解くためのレベルに関するプレースメントのサーチを実行する。
【0028】
このプレースメントサーチ部14における作用について図8を参照しながら説明する。
まず、レベル昇降判断部13によって正解数n1がレベル合格ラインkに満たない場合は、そのレベルで不合格となったため、図7及び図8中、符号Bで示される矢印のように進み、現状のレベルであるmから不合格時の移動レベルMdを差し引いたレベル(m-Md)と、既に合格したレベル(ms)で最も高いレベルmax(ms)を比較する。その際に、これらのm,Md,max(ms)はいずれもデータベース21のパラメータデータ24及びレベルデータ25からプレースメントサーチ部14が読み出すものである。
その比較の結果、(m-Md)がmax(ms)以下である場合には、受験者の最終的なレベルプレースメントがmと決定される。これは、プレースメントサーチ部14が、既に合格したレベルよりも下のレベルについては出題しないということを意味している。このようにプレースメントサーチ部14ではアルゴリズムが組まれている。
一方、(m-Md)がmax(ms)より大きい値の場合には、まだレベルを下降する余地があるため、現状のレベルmをmfとしてレベルデータ25に格納し、(m-Md)のレベルを新たなレベルmとして代入し、そのデータをレベル昇降判断部13に送信する。なお、msが存在しない場合にも図中符号Nの方、すなわち、現状のレベルmをmfとしてレベルデータ25に格納し、(m-Md)のレベルを新たなレベルmとする方へ進む。
【0029】
さらに、今度は、レベル昇降判断部13によって正解数n1がレベル合格ラインk以上となった場合は、そのレベルで合格となったため、図7及び図8中、符号Aで示される矢印のように進み、現状のレベルであるmから合格時の移動レベルMuを加えたレベル(m+Mu)と、既に不合格したレベル(mf)で最も低いレベルmin(mf)を比較する。その際に、これらのm,Mu,min(mf)はいずれもデータベース21のパラメータデータ24及びレベルデータ25からプレースメントサーチ部14が読み出すものである。
比較の結果、(m+Mu)がmin(mf)以上である場合には、受験者の最終的なレベルプレースメントがmと決定される。これは、プレースメントサーチ部14が、既に不合格したレベルよりも上のレベルについては出題しないということを意味している。このようにプレースメントサーチ部14ではアルゴリズムが組まれている。
一方、(m+Mu)がmin(mf)より小さい値の場合には、まだレベルを上昇する余地があるため、現状のレベルmをmsとしてレベルデータ25に格納し、(m+Mu)のレベルを新たなレベルmとして代入し、そのデータをレベル昇降判断部13に送信する。なお、mfが存在しない場合にも図中符号Nの方、すなわち、現状のレベルmをmsとしてレベルデータ25に格納し、(m+Mu)のレベルを新たなレベルmとする方へ進む。
レベル昇降判断部13では、再び、そのレベルmにおけるテストを実施する。また、その際に、プレースメント演算部11は、そのレベルの問題を新たに読み出して、当否判断部12でその当否を判断し、レベル昇降判断部13でレベル昇降を判断し、プレースメントサーチ部14で実際のレベルのプレースメントを決定するのは、前述のとおりである。
また、レベルプレースメントがmとして決定された場合には、そのデータはテスト成績生成部15及びテスト成績分析部16に送信される。テスト成績分析部16への送信は、プレースメントサーチ部14から直接でなくともテスト成績生成部15から送信してもよい。
【0030】
ここで、図9を参照しながら、今回の実施の形態におけるレベル移動について説明を加える。図9では、まず、開始レベルMiは3、レベル当たりの問題数nは3、レベル合格ラインは2、合格時の移動レベル数Muは2、不合格時の移動レベル数Mdは1となっている。
レベル3で問題が2問連続正解となったことから、2レベルの昇移動を行うことができることになり、さらに、その際に、これまで不合格したレベルはないことからプレースメントサーチ部14において、このmをmsとして格納しながら、新たなmとしてmにMuを加えたレベルすなわち、レベル5に到達することができる。しかし、そのレベル5の問題では、3問中1問のみ正解となり、1レベルの降移動、すなわちレベル4となる可能性があり、さらに、これまで合格したレベルが3であることから、このレベル3と今回のレベル4を比較するとレベル4の方が大きな値であるため、プレースメントサーチ部14ではこのレベル5をmfとしてレベルデータ25に格納しながら、新たなレベル4へ移動する。
そして、レベル4で問題を3問受験して、その結果2問正解したので、これはレベル合格ラインの2を満足するため、2レベルの昇移動の可能性があるが、既に不合格となったレベル5と2レベル昇移動した後にレベルの6を比較すると、レベル6の方が大きくなるので、ここでレベルプレースメントが現状のレベルであるレベル4に決定されるものである。
従って、その受験者の能力のレベルの判定が4となっている。
このようにプレースメント演算部11で受験者の能力のレベルの判定まで終了すると、図1に示されるテスト成績生成部15では、これまで読み出した成績をまとめて表示デバイス19や外部インターフェース20などの出力部4を介して受験者に表示する。その際の表示は、各レベルにおける問題に対する解答とその結果を表示してもよいし、例えば、図4に示されるように語彙テストがセクション1であり、他のセクションで例えば発音テストなどが組まれた場合に、図10に示されるように、セクション毎に最終的なレベルの判定結果を表示して、その総合判定として、平均値のレベルをテスト成績生成部15で演算して表示してもよい。
【0031】
このようにして最終的な適応型テストの結果を出力部4を介して表示した後には、図10に示される「終了する」という表示をクリック、選択するなどして適応型テストを終了する。
この終了の信号を受けると、プレースメント演算部11は終了画面を出力部4を介して表示して、適応型テストを終了する。
その後、テスト成績分析部16は、複数の受験者に関するテスト成績データ27を用いて、前述のような統計分析を実施したり、一の受験者の能力に関する経時変化を分析することができる。このようにして得られた統計分析の結果は、テスト分析データ28として格納部5のデータベース21に格納される。このテスト分析データ28は、表示デバイス19あるいは外部インターフェース20及び情報通信網7を介してクライアントコンピュータ8に表示することも可能である。
なお、これまで表示した画面に示されるテキスト文で示されるコメントや指示などは格納部5のデータベース21にコメントデータ26として格納されるものであり、それを表示しようとする各構成要素が格納部5のデータベース21から読み出して表示するものである。
【産業上の利用可能性】
【0032】
以上説明したように、本発明の請求項1乃至請求項4に記載された発明は、学生や社会人に対する語学や特定分野における知識やスキルなどに関するテスト、教育あるいは訓練に際し、潜在能力や習熟度などを判定するための適応型テストを実施するためのシステムとして、教育機関、企業、医療機関、あるいは行政機関などで利用することが可能である。
【図面の簡単な説明】
【0033】
【図1】本発明の実施の形態に係る適応型テストシステムの構成図である。
【図2】実施の形態に係る適応型テストシステムのパラメータ生成部における作用を模式的に表す概念図である。
【図3】実施の形態に係る適応型テストシステムの表示デバイスなどの出力部あるいは外部インターフェースを介して情報通信網上に接続されるクライアントコンピュータの表示画面の一例を示す概念図である。
【図4】実施の形態に係る適応型テストシステムの表示デバイスなどの出力部あるいは外部インターフェースを介して情報通信網上に接続されるクライアントコンピュータの表示画面の一例を示す概念図である。
【図5】実施の形態に係る適応型テストシステムの表示デバイスなどの出力部あるいは外部インターフェースを介して情報通信網上に接続されるクライアントコンピュータの表示画面の一例を示す概念図である。
【図6】実施の形態に係る適応型テストシステムの当否判断部における作用を模式的に表す概念図である。
【図7】実施の形態に係る適応型テストシステムのレベル昇降判断部における作用を模式的に表す概念図である。
【図8】実施の形態に係る適応型テストシステムのプレースメントサーチ部における作用を模式的に表す概念図である。
【図9】実施の形態に係る適応型テストシステムのレベル移動について説明するための概念図である。
【図10】実施の形態に係る適応型テストシステムの表示デバイスなどの出力部あるいは外部インターフェースを介して情報通信網上に接続されるクライアントコンピュータの表示画面の一例を示す概念図である。
【符号の説明】
【0034】
1…適応型テストシステム 2…解析部 3…入力部 4…出力部 5…格納部 6…計時部 7…情報通信網 8…クライアントコンピュータ 9…パラメータ生成部 11…プレースメント演算部 12…当否判断部 13…レベル昇降判断部 14…プレースメントサーチ部 15…テスト成績生成部 16…テスト成績分析部 17…入力デバイス 18…外部インターフェース 19…表示デバイス 20…外部インターフェース 21…データベース 22…テストアイテムデータ 22a…テスト問題データ 22b…テスト問題選択肢データ 23…テスト正解データ 24…パラメータデータ 25…レベルデータ 26…コメントデータ 27…テスト成績データ 28…テスト分析データ 29…時計部 30…タイマー部
図面
【図1】
0
【図2】
1
【図3】
2
【図4】
3
【図5】
4
【図6】
5
【図7】
6
【図8】
7
【図9】
8
【図10】
9