简短问答题计算机辅助评分系统设计与运用

本论文“简短问答题计算机辅助评分系统的设计及应用”的研究目的是通过设计一套计算机辅助英语简答题评分系统,尽量减少人为因素在评分中的影响,在保持较高评分信度的同时节省大量的人力资源。本研究把英语简短问答题定义为要求学生用一个或者几个词(不超过十个)往返答一个问题或者把一个陈述补充完整的测试题型。这种题型作为主观题的一种,对于教学产生了良好的反拨效应,但其评分工作量很大,而且易带有阅卷员的主观成分,评分信度不高,因此作者以为|教育论文网|这是它不能在大规模英语测试中得以广泛应用的原因之一。本研究的重心是利用单向贴近度(singlesimilardegree)和有效词比例(validwordratio)两个指标来设计出一套英语简答题计算机辅助评分系统(acomputer-assistedmarkingsystem)。此研究综合运用应用语言学,计算机和数学理论,这种研究方法目前在语言学研究领域尚未几见。该研究成果具有较高的实用价值,不仅有利于促进英语简短问答题在测试领域更广泛的使用,对于英语主观题的电脑自动评分研究也具有重要意义。该系统的四次应用是对220份英语简短问答题试卷进行评分。论文作者通过分析每次应用结果,找出可能导致评分错误的原因,从而改进该系统。因此,四次应用过程即是对该系统逐步改进的过程。本研究的主要结论如下:第一,单向贴近度和有效词比例两项指标对于衡量学生回答内容与参之间的相似性起到相当大的作用。通过这两项指标对简答题评分,可以达到85.40%的正确率。第二,仅利用单向贴近度和有效词比例两项指标对于学生回答内容的语义方面的评分正确度不是很高;关键词比例(keywordratio)是影响学生回答内容语义正确的重要因素。由于经过对系统的改进,即引入关键词比例之后,该系统可以达到91.07%的正确率。比仅仅依靠单向贴近度和有效词比例两个指标来评分的正确率高出5.67%。第三,尽管该系统只达到91.07%评分正确率,并未高于人工评分的正确率,目前尚不能应用于大规模的测试评分,但是作者通过这项尝试性的研究发现了一些影响该系统正确率的因素,这将会对未来的计算机辅助评分系统的研究提供一些参考和鉴戒。【关键词】：简短问答题计算机辅助评分系统设计应用
【论文提纲】：中文摘要3-5ABSTRACT5-9LISTOFABBREVIATIONS9-10LISTOFFIGURESANDTABLES10-11ChapterOneIntroduction11-151.1ShortAnswerQuestions(SAQ)111.2Researchquestions11-121.3Stagesofthestudy12-131.4Significanceofthestudy131.5Structureofthethesis13-15ChapterTwoLiteratureReview15-332.1Theoreticalbackground15-282.1.1Twoessentialtestqualities:reliabilityandvalidity15-182.1.2Scoring18-282.2EmpiricalStudiesofComputer-assistedmarkingonsubjectivetests28-322.2.1Studiesabroad28-312.2.2Studiesathome31-322.3Summary32-33ChapterThreeTheoreticalFoundationforSystemDesigning33-393.1Theoreticalrational33-343.2Keydefinitions34-383.2.1Worddefining343.2.2Fuzzysettheory34-353.2.3Singlesimilardegree35-373.2.4Validwordratio37-383.3Summary38-39ChapterFourApplicationoftheSystem39-614.1Introductiontothesystem39-404.2Users’manualforthesystem40-464.2.1Directionstothesoftware40-434.2.2Directionstothedatabase43-464.3Applicationofthesystem46-594.3.1Thefirstapplication46-524.3.2Thesecondapplication52-544.3.3Thethirdapplication54-564.3.4Thefourthapplication56-594.4Summary59-61ChapterFiveConclusions61-645.1SummaryofMajorfindings61-625.2Implicationsofthestudy62-635.3Limitationsandfurtherstudies63-64Acknowledgements64-66References66-69Appendix69-93