浅谈矩阵Q矩阵论述扩展

更新时间:2023-12-19 点赞:25220 浏览:117759 作者:用户投稿原创标记本站原创

摘 要:对Q矩阵理论及其改进、拓展进行了简略的回顾。给出基本矩阵的概念,针对两个属性之间存在多条路径的这种层级结构,提出将基本矩阵作为测验蓝图的子矩阵以提高认知诊断准确率;在某种期望反应得分模式下,讨论多级评分的认知诊断测验蓝图的设计问题,给出了知识状态和期望反应模式一一对应的充分条件。
关键词:认知诊断;Q矩阵理论;测验蓝图的设计;基本矩阵;多级评分
1003-5184(2012)05-0417-06
正如Tatsuoka(2009)指出,认知诊断是一种模式识别。模式识别由特征提取及分类判别两部分构成。认知诊断中Q矩阵理论对应于特征提取,而认知诊断模型对应于分类判别。
1 Q矩阵理论进展的回顾
Tatsuoka建立Q矩阵理论(Tatsuoka,1995,2009),即根据欲诊断的内容,确定被试的知识状态,并且要用观察反应模式将知识状态表达出来(Tatsuoka,1995)。其实,Q矩阵理论离不开Q矩阵,Q矩阵是一种元素为0~1的矩阵,故是布尔矩阵,它实质上是诊断范围内的属性(attribute)和项目或知识状态的关系矩阵,若正确回答项目j必须掌握属性i(或第j种知识状态中包含属性i),则qij=1,否则qij=0。认知诊断中有一个概念—期望反应(又称为理想反应),即具有知识状态为α的被试i在不猜测也不失误的条件下对项目j的反应称为期望反应。期望反应又指期望反应得分。如果是采用0~1评分方式,则期望反应得分为0或1分;对于多级评分,则期望反应的得分是一个0分到该项目满分之间的一个非负整数。
规则空间模型的创始人Tatsuoka(1995,2009)认为Q矩阵可以从现存的试卷分析出来。Q矩阵的行代表属性,列代表项目,对Q的行进行逐对比较,比如第i行减去第k行,如果所得的差向量的每个分量均非负,则表示属性i是属性k的先决属性。由此可以找出属性之间的先决关系。然后Tatsuoka(1995,2009)认为Q矩阵的行进行布尔并与交运算可以构成一个属性空间(LA),列进行布尔并与交运算可以构成一个项目空间(LI),并且认为LA和LI是布尔代数,再通过布尔描述函数(BDF)可以导出期望反应模式。
Tatsuoka(2009,p.9)甚至认为“在规则空间模型中,知识状态,或者等价地(or,equivalently),源于:大学生论文网www.618jyw.com
理想反应模式,形成预先确定的分类组别的集合”;随后,在该书第99页又说,“每一个属性模式和它对应的理想反应模式一起称为知识状态;换言之,知识状态可以是属性模式,或者等价地,知识状态可以是它对应的理想反应模式”。可见Tatsuoka在某种意义上,认为知识状态集合至少是可以和期望反应模式集合对应的。但是下面的例1将指出,除非测验蓝图设计合理,否则不相同的期望反应模式的数目一般都少于不相同的知识状态的数目,所以很可能不同知识状态对应同一个期望反应模式。Tatsuoka为了更好地使期望反应模式与知识状态对应,进而达到观察反应模式与知识状态的对应,提出了充分Q阵的概念,即Q矩阵通过行的比较导出属性之间的先决关系,这个先决关系如果能蕴含出可达矩阵,则这种Q阵为充分Q阵(Tatsuoka,1995,2009);一个题库的所有项目如果能够对应充分Q矩阵,则这个题库称为充分题库。Tatsuoka(1995,2009)认为充分Q矩阵和充分题库可以提高认知诊断测验的构念效度(construct validity),因此她说充分Q阵是知识结构的核心(Tatsuoka,2009)。
然而其他的研究人员对上述Q矩阵理论的内容进行了一些修正。Gierl,Leighton和Hunka(2000)认为Tatsuoka这种从实际数据中或者在试题命制以后提取Q阵的方法(称为事后分析的方法,用retrofitting表示)的逻辑有问题,因为许多现存的试卷或测验其目的不是做认知诊断,故相应的试卷的设计不适宜做认知诊断。Leighton,Gierl和Hunka(2004)提出先分析属性及其层级,然后再给出邻接阵、可达阵、Q矩阵,再设计测验的工作流程,并且创建了属性层级方法(AHM)。
在0~1评分方式下,Ding,Luo,Cai,Lin,Wang(2008)和丁树良,祝玉芳,林海菁,蔡艳(2009)指出LA、LI不一定可以构成布尔代数,从而使用BDF导出期望反应模式的理论基础不存在,同时给出了不使用BDF而由知识状态和测验蓝图(测验Q阵Qt)计算期望反应模式的简便算法。丁树良等人(2009)、杨淑群,蔡声镇,丁树良,林海菁,丁秋林(2008)发现知识状态集合或潜在项目集合均可以由可达阵的列“生成”出来,丁树良,杨淑群,汪文义(2010)和丁树良,汪文义,杨淑群(2011)给出如下的定理。
定理1 假设所讨论的认知属性对认知任务所起的作用是非补偿、连接的,并且采用0~1评分方式,则Qt中包含可达阵R是使知识状态与期望反应模式建立起一一对应关系的必要充分条件。
这里所说的“一一对应”的更加专业的说法是“双射”,即既是“入射”又是“满射”(左孝凌,李为鑑,刘永才,1982)。这个定理说明可达矩阵在认知诊断测验编制中的重要作用,由此丁树良等人(2010,2011)建议将可达阵作为测验蓝图Q阵的子矩阵,并且把将可达阵作为子矩阵的测验蓝图称为 “充要Q阵”。事实上由定义立即得知充要Q阵一定是充分Q阵,而且容易举例说明充分Q阵不一定是充要Q阵。特别地,下面的例子说明尽管充分Q阵可以提供属性层级结构,而根据属性层级结构可以去构造好的测验蓝图,但是使用充分Q阵本身作为测验蓝图并不一定可以提高认知诊断的效度,因此充要Q阵的概念比充分Q阵的概念更加重要。
例1三个独立属性,令Q1=110011101,Q2=100010101,显然Q1是充分Q阵,而由Q2知属性1是属性3的先决属性,故Q2不是充分Q阵,但Q2仅仅使知识状态000与001的ERP相等, 010与011的ERP相等,而Q1使100,010,001与000的ERP相等,即Q2 对应了6个不同的ERP,而Q1只能对应5个不同的ERP。因此在认知诊断测验中,一般来说使用Q1比使用Q2的效果会差一些。至少应用AHM或者R的时候,分类的类中心缺少一个,从而增加了错误判别的可能性;其实像DINA模型,也存在同样的问题。这个例子表明,充分Q矩阵的概念不一定能够达到提高认知诊断的效度的效果。事实上Tatsuoka(2009)本人也意识到充分Q阵不一定能够将所有被试分类,更不一定能将被试都正确分类。她表示,充分Q阵不一定是合适(appropriate)Q矩阵。同时她称对应于同一个期望反应模式的知识状态的集合为一个知识状态等价类(equivalent class)。显然这个等价类是定义在Qs的列上,由测验Q阵(Qt)决定的。
不论测验蓝图是以何种方式得到的,Qt中元素有可能标注不合理,Tatsuoka并没有讨论如何应用Q矩阵理论对Q矩阵进行修正,也没有提出过根据实际数据对测验Q矩阵修正的方案。de la Torre(2008)提出了在DINA模型下Qt中元素修正的一个方案,涂冬波,蔡艳,戴海琦(2012)根据DINA模型中项目参数的意义,提出了Qt修正的γ(伽玛)方法。而Chen,Xin,Wang,Chang(2012)和汪文义,丁树良,游晓锋(2011)提出了项目属性在线辅助标定的方案,以及Cui和Leighton(2009)提出属性层级相合性指标(HCI)以评价被试反应是否符合测验Q矩阵规定的层级关系。这些都可以看成是Q矩阵理论的进一步拓展。
Tatsuoka(1995,2009)注意到有的测验Q阵(Qt)使得多个知识状态对应同一个期望反应模式,这容易引起诊断分类混乱。如果可以设计Qt使得不同的知识状态对应不同的期望反应模式,再加上已有的认知诊断模型可以将一个观察反应模式对应一个期望反应模式,这便可以完成Tatsuoka(1995,2009)规定的Q矩阵理论的任务,即用观察反应模式表示知识状态,并且不引起诊断分类的混乱。
因此,现在面临的两个关键问题:一是要制定评价Qt设计好坏的标准;二是在给定的标准下,如何构造一个好的Qt。在此首先给出认知诊断测验蓝图的设计好坏判断的一个标准:在已知属性及其层级关系条件下,对于一个好的Qt,它应该建立起期望反应模式与知识状态的双射关系(即入射和满射关系;双射关系有时又称为一一对应),即不同的知识状态对应不同的期望反应模式(入射),而且每一个期望反应模式都有知识状态与之对应(满射)。然后,在讨论如何构造一个好的Qt之前,为了明确测验编制和这种属性层级的对应关系,本文的第二部分先讨论在0~1评分模式下,对于两个属性之间存在几条路径的复杂属性层级结构,如何用Q矩阵进行描述,为此给出基本矩阵的概念。最后(第三部分)讨论在某种多级计分模式下,给出测验蓝图设计的建议,使得在这种测验蓝图之下知识状态集合和期望反应模式集合一一对应,并且指出这是一个充分条件。
2 如何理解收敛型结构
Leighton等人(2004)给出了4种基本的属性层级关系,即线性型、发散型、收敛型、无结构型。他们认为其他更复杂的层级关系可以由这4种基本类型复合出来,并且他们认为每一个层级都有一个公共的先辈属性,即这个属性是所有其他属性的先决属性。Tatsuoka(1995,2009)讨论了另一种层级结构—独立型,即任何两个属性之间都不存在先决关系。这里值得讨论的是收敛型结构(图1),这时,如果不能同时掌握属性A3和A4,则不能掌握属性A5,就好像不懂同分母相加和求两个数的公倍数,就不能掌握异分母相加一样。
但是命题专源于:论文结论www.618jyw.com
家可能遇到这样的问题:如果有好几种不同的途径,可以从属性A到属性D,比如已知属性A有几种策略可以由A到D,这时,对应的属性层级关系图如何画?为了使问题明确起见,我们只考虑一种最简单的情形,即K=4,并且A到D有两条路径A、B、D和A、C、D,属性层级关系由图

2.a还是图b描述才是正确的?

根据Leighton等人(2004)的定义,图2.a是收敛型,即欲掌握属性D,必须同时掌握属性B、C(而掌握属性B或C,必须先掌握A),即如果不管电流流经路线的先后顺序,那么这时B和C的关系相当于电路中的串联关系;而图2.b是两个分开的由A到D的路径,它表示了既可经由B到D,又可以经由C到D,这时B和C的关系又相当于电路中的并联关系。对于图2.a,其邻接阵为
A=0000100010000110,可达阵为R=1000110010101111,而潜在Q阵Qp=10001100101011111110,学生Q阵Qs=000010001100101011111110,Qp是4×5矩阵;Qs是4×6阵,表示代表6类不同知识状态。
而图

2.b对应两个邻接阵:

A1=0000100000000100,A2=0000000010000010,由图

2.b和命题专家命制的项目,这四个属性之间有两条通道,相应的可达阵为

R1=1000110000101101,R2=1000010010101011。R1的第3列仅有一个元素为1,它是R1第3行第3列的元素,表示属性C为孤立结点;同理由R2可知属性B为孤立结点(注意属性A不是孤立结点,尽管第一列仅含一个非零元,但是它是B或者C的先决属性)。于是图2.b对应的两个可达阵删去各自的孤立结点对应的列,且相同的列仅保留1列以后,得到一个“基本矩阵”,记为B。称B为基本矩阵是因为根据B和扩张算法(Ding et al.,2008;丁树良等,2009;杨淑群等,2008),可以得到基于图2.b的所有不同的项目类Qp,且所有可能扩张出Qp的矩阵中B包含的列数最少,这里B=10001100110110101011,Qp=1000110011011010101111101111
由扩张算法可知,可达阵是一个基本矩阵,而基本矩阵不一定是可达矩阵。因为众所周知,可达阵是一个方阵,而基本矩阵不一定是方阵。事实上,“基本矩阵”是可达矩阵这个概念的一个推广。
由图2.b也可以使用更简单的方法获得基本矩阵,由图2.b中两条通路,可以写出各个通路的路径(用列表示),然后删去相同的路径,便可以导出B,=B,基本矩阵每一列均十分重要,如果测验蓝图中缺少某一列会使某几个不同知识状态对应同一个期望反应模式,比如令Qt=10001100101011101111,它缺少B中1101和1011,这时若采用0~1评分模式,其期望得分模式的计算如下:
(1 1 0 1)Qt=(1 1 0 0)Qt=(1 1 0 0 0)
(1 0 1 1)Qt=(1 0 1 0)Qt=(1 0 1 0 0)
这时会使认知诊断的诊断分类准确率下降。
因此,我们建议对于0~1评分,在测验蓝图设计中,应该包含所有基本矩阵的列对应的项目。
3 多级评分认知诊断测验蓝图的设计
多级评分比0~1评分具有更多的诊断信息,研究多级评分方式下测验蓝图Qt的设计可以更好地诊断分类。但是多级评分比0~1评分更复杂,比如如何计分就值得仔细讨论,目前0~1评分的研究比多级评分的研究更加深入。我们这里只是限定在比较简单的评分方式下,讨论Qt的设计。
设每掌握项目中所包含的一个属性,则对该项目期望得分增加一分(田伟,辛涛,2012;Tatsuoka,1995;祝玉芳,丁树良,2009),即设α为知识状态,Qt是一个测验蓝图,其行表示属性,列表示项目。上述期望得分的计算方式实质上便是向量和矩阵的乘法,即αTQt,而且我们也假设属性之间不可以相互补偿。在这些假设之下,我们有如下结论:
结论1 如果矩阵Qt的秩(rank)等于属性的个数,则在上述记分方式之下,知识状态与期望得分模式是一一对应的。
结论1的证明要用到线性代数中齐次线性方程组有唯一解的充要条件的相关结论,由这个结论及所给出的Qt行满秩的条件,知道两个知识状态α、β不相等,则必有αTQt≠βTQt。又由于期望反应模式的数目不可能超过知识状态的数目,现在不同的知识状态对应不同的期望反应模式,故此时的期望反应模式个数等于知识状态个数,从而,这个Qt建立了这两个集合之间的双射。但是,这个结论仅仅是一个充分条件而不是必要条件。下例说明了这一点。
例2 设K=3,且属性层级为线性型。这时知识状态只有4种:
α0=000,α1=100,α2=110,α3=111,设Qt=100111100,这时Qt的秩等于2﹤K=3。但对于α0,α1,α2,α3,它们的期望反应模式分别为:E0=(0 0 0),E1=(1 1 1),E2=(1 2 1),E3=(1 3 1),显见E0,E1,E2,E3各不相同,即虽然Qt的秩不等于属性个数,知识状态{α0,α1,α2,α3}与{ E0,E1,E2,E3}也实现了一一对应,这就说明了矩阵Qt的秩(rank)等于属性的个数仅仅是知识状态与期望得分模式一一对应的一个充分条件而不是必要条件。
然而对于独立型属性结构(即任两属性之间均互不为先决关系),结论1是不是一个充分必要条件还有待进一步讨论。
4 讨论
本文概括了Tatsuoka(1995,2009)Q矩阵理论及其包含的主要内容,以及其他研究人员对Q矩阵理论的修正、补充和拓展。本文试图从两方面扩展Q矩阵理论。一方面,对于有多条路径由属性A到属性D,讨论了0~1评分方式下测验蓝图的设计,即包含“基本矩阵”。可达阵是基本矩阵的一种。然而这种测验蓝图的设计方式,还只是在例题的启发下的一个直观的想法,是否可以如同0~1评分方式下可达阵的重要作用那样予以证明(丁树良等人,2010),这也值得考虑。图2.a与图2.b的区分是重要的,命题专家如果要命制含属性A、D的项目,必须同时包含属性B和C,则这时层级关系图如图2.a所示,如果既可以命制含A、B、D,又可以命制含A、C、D的项目,则层级关系图如图2.b所示;另一方面,对于特殊计分模式的多级评分认知诊断,给出了一个好的测验蓝设计的充分条件,并且在线性结构条件下,指出这不是必要条件,然而对于离散型结构,这是否为必要条件还有待进一步讨论。对于多级评分方式,如果也有多条路径由属性A到属性D,测验蓝图应该如何设计,才能使得知识状态和期望反应模式一一对应,这个问题值得仔细讨论。另外如果有多条路径由属性A到属性D,这时Tatsuoka(1995,2009)给出的对Q矩阵进行逐行比较寻找属性之间的先决关系的做法失效,因为Tatsuoka(1995,2009)给出的这个方法的前提是一对属性之间最多只容许一条路径的连接。既然在命题当中出现一对属性之间有多条路径的连接的事实,就有必要研究在这种情况下如何从Q矩阵出发,寻找属性之间层级关系的方法。本文讨论的多级评分的方式有合理之处,比如选择合适的属性粒度,使得满足这种评分条件;但是这种评分方式的确有其局限性,至少它不是很灵活。至于在其他评分方式下,测验蓝图应该如何设计,值得仔细考虑。当然,如果像罗欢,丁树良,汪文义,喻晓锋,曹慧媛(2010)建议的属性分数加权以后再计算期望反应模式,测验蓝图源于:论文写作格式www.618jyw.com
设计的原理可以仿照上面的思路进行讨论。
有一种观点认为,使用DINA模型,可以不考虑属性层级,即任何情况下,都可以当成独立结构看待,因此不必花费精力去研究属性的层级关系。姑且不说认知诊断测验应该重视认知模型,而属性及其层级正好是认知模型的一种表现形式;如果仅仅论及数据分析,这种观点忽视了一个重要的问题,即认知诊断测验如果设计不好,其判准率必定受到影响。而要设计一份合理的认知诊断测验,则必须知道属性及其层级。清楚了属性及其层级关系,才能计算出潜在Q阵Qp,才能设计出好的Qt。只有好的Qt,才能使知识状态与期望反应模式一一对应,而不至于使多个知识状态对应同一个期望反应模式,才能提高诊断判准率。有了属性及其层级,有可能大大节省数据分析的时间。比如K=10,对于线性型结构,只能够获得11种知识状态;而对于独立型结构,则可以获得1024种知识状态,两者分析的时间显然大不相同。由此观之,讨论属性层级的意义绝对不可以小觑。认知诊断蓝图的设计表面上看是一个Q矩阵的元素的填写过程,这和成就测验中的双向细目表的填写似乎没有差异,但认知诊断要弄清楚被试认知的结构,从而清楚他们认知的长处与缺陷,如果没有一个科学细致的设计是不可能达到目的的。这个设计甚至贯穿在认知诊断的全过程,事实上,对Qt的修正也就是根据所获取的被试的观察反应模式对测验蓝图的再认识,这一做法和成就测验也不相同。总之,认知诊断测验还是一个比较新的研究领域(Leighton,Gierl,& Hunka,2004),发展不充分,许多问题有待进一步探讨、争论,以期在更深入的层次上达到新的统一。 参考文献
丁树良,汪文义,杨淑群.(2011).认知诊断测验蓝图的设计.心理科学,34(2),258-265.
丁树良,杨淑群,汪文义.(2010).可达矩阵在认知诊断测验编制中的重要作用.江西师范大学学报,34(5),490-495.
丁树良,祝玉芳,林海菁,蔡艳.(2009).Tatsuoka Q矩阵理论的修正.心理学报,41(2),175-181.罗欢,丁树良,汪文义,喻晓锋,曹慧媛.(2010).属性不等权重的多级评分属性层级方法.心理学报,42(4),528-538.
田伟,辛涛.(2012).基于等级反应模型的规则空间方法.心理学报,(1),249-262.
涂冬波,蔡艳,戴海琦.(2012).基于DINA模型的Q矩阵修正方法.心理学报,(4),558-568.汪文义,丁树良,游晓锋.(2011).计算机化自适应诊断测验中原始题的属性标定.心理学报,43(8),964-976.
杨淑群,蔡声镇,丁树良,林海菁,丁秋林.(2008).求解简化Q矩阵的扩张算法.兰州大学学报(自然科学版),(3),87-91,9源于:免费毕业论文www.618jyw.com
6.
左孝凌,李为鑑,刘永才.(1982).离散数学.上海:上海科学技术文献出版社.
祝玉芳,丁树良.(2009).基于等级反应模型的属性层级方法.心理学报,41(3),267-275.
Chen,P.,Xin,T.,Wang,C.,& Chang,H.H.(2012).Online calibration methods for the DINA model with independent attributes in CD-CAT.Psychometrika,77,201-222.
Cui,Y.,& Leighton,J.P.(2009).The Hierarchy Consistency Index:Evaluating Person Fit for Cognitive Diagnostic Assesent.Journal of Educational Measurement,46(4),429-449.
de la Torre,J.(2008).An empirically based method of Q-matrix validation for the DINA model:development and applications.Journal of Educational Measurement,45,343-362.
Ding,S.L.,Luo,F.,Cai,Y.,Lin,H.J.,& Wang,X.B.(2008).Complement to Tatsuoka’s Q matrix theory.In K.Shigemasu,A.Okada,T.Imaizumi,& T.Hoshino(Eds.),New Trends in Psychometrics(pp.417-424).Universal Academy Press:Tokyo.
Gierl,M.J.,Leighton,J.P.,& Hunka,S.M.(2000).Exploring the logic of Tatsuoka’s rule-space model for test development and analysis.Educational Measurement:Issues and Practice,19,34-44.
Leighton,J.P.,& Gierl,M.J.(2007).Why cognitive diagnostic assesent? In J.P.Leighton & M.J.Gierl (Eds.),Cognitive diagnostic assesent for education:Theory and applications(pp.3-18).Cambridge,UK:Cambridge University Press.
Leighton,J.P.,Gierl,M.J.,& Hunka,S.M.(2004).The attribute hierarchy method for cognitive assesent:a variation on Tatsuoka’s rule-space approach.Journal of Educational Measurement,41(3),205-237.
Tatsuoka,K.K.(1995).Architecture of knowledge structures and cognitive diagnosis:a statistical pattern classification approach.In P.D.Nichols,S.F.Chipman,& R.L.Brennan( Eds.),Cognitively Diagnostic Assesents(pp.327-359).Erlbaum:Hillsdale.
Tatsuoka,K.K.(2009).Cognitive assesent:an introduction to the rule space method(pp.9,79,99,107).New York:Taylor & Francis Group.
Extension to Tatsuoka’s Q Matrix Theory
Ding Shuliang Luo Fen Wang Wenyi
(School of Computer and Information Engineering,Jiangxi Normal University,Nanchang 330022)
Abstract:Tatsuoka’s Q matrix theory and its modification and extension were reviewed briefly.In order to describe the situation that there is a pair of attributes and at least there are two roads connected with them,the concept of basic matrix,which included the reachability matrix,is proposed.The test Q matrix is a mapping from the set of knowledge states to the set of the expected response patterns.For a kind of polytomous scoring,we proposed a principle of the design of the test blueprint.The principle is that the rank of the test Q matrix equals to the number of the attributes,the mapping,determined by the test Q matrix,is one-to-one and onto under the scoring mode.It should be noted that this condition is a sufficient only.
Key words:cognitive diagnosis;Q matrix theory;design of the test blueprint;basic matrix;polytomous scoring
相关文章
推荐阅读

 发表评论

共有3000条评论 快来参与吧~