教育装备采购网
第七届图书馆 体育教师课题研修班

机器人阅卷实现 试点开放式题目评分

教育装备采购网 2017-07-24 14:01 围观939次

  对于各大考试来说,阅卷是相当重要的一环,同时也耗时耗力。而随着人工智能不断升级,近年来机器人阅卷技术已日渐成熟。

  

  近日,科大讯飞相关人士向澎湃新闻表示,在教育部考试中心的组织下,智能阅卷技术,已经在全国多个省份的大规模考试(如中高考、成人高考、学业水平测试等考试)中通过了多次多范围试点验证。

  在2017年湖北省的中考中,襄阳市率先引进了智能评卷系统,该市教育考试院院长刘朝志对媒体表示,“相比人工阅卷,智能阅卷除了在阅卷速度上有优势外,还能弥补其在雷同卷、空白卷处理上的不足。”

  大规模考试中已进行多次多范围试点验证

  2016年3月,教育部考试中心和科大讯飞成立了联合实验室,共同开展人工智能技术在智能阅卷、命题、考试评价分析等方面的研究。

  近日,科大讯飞方面告诉澎湃新闻,目前,在考试中心的组织下,科大讯飞的全学科智能阅卷技术已在学业水平测试,例如大学英语四六级,以及全国多个省份的高考、中考、成人高考等大规模考试中进行了多次多范围试点验证。

  验证结果表明,计算机评分结果已经达到了现场阅卷老师的水平,完全满足大规模考试的需要。

  以往,进行几十万、几百万份考试试卷样本的分析需要耗费巨大的人力资源,可行性很低,但如今通过精准的图文识别以及海量文本检索技术,可以快速核对检查所有试卷与目标相似的文本,并迅速提取并标注出可能存在问题的试卷。

  据《襄阳晚报》报道,与往年中考阅卷不同的是,2017年湖北襄阳市中考阅卷在全省率先引进了智能评卷系统。阅卷点一位技术人员说,智能评卷系统可进行工作量分析,可列出每个评卷源评卷总量,监控每个老师的评卷质量。

  襄阳市教育考试院院长刘朝志称,有了智能阅卷大数据,每道题的得分情况,全市的平均点,哪块知识学生掌握得好,哪一块教育教学不到位,都可出一份教育教学诊断报告,更有利于老师教、学生学。“相比人工阅卷,智能阅卷除了在阅卷速度上有优势外,还能弥补其在雷同卷、空白卷处理上的不足。”

  据襄阳市教育考试院中招科工作人员龚勋介绍,智能阅卷系统可覆盖绝大多数的范文。运用智能系统后,可在海量数据里面搜索,就能准确判断是否抄袭了范文。

  7月19日,刘朝志向澎湃新闻表示,目前还需更多时间才能对外透露更多信息。

  科大讯飞方面告诉澎湃新闻,智能阅卷采用了基于深度神经网络学习的图文识别技术,已经达到人眼识别中英文手写字符相当的水平。该项技术应用于正式考试中,可以辅助人工阅卷,减少人员投入,降低人工阅卷中疲劳、情绪等因素的影响,进一步提升人工阅卷评分的效率、准确性和公平性,从而对整个产业产生极大的变革。

  此外,通过该项技术,将全部考生作答试卷都进行电子化后生成的海量、准确的分析数据也为之后教与学的研究提供了有力素材,并且提供了未来可被良好应用的、与考试阅卷业务深度结合的突破点。比如,通过智能化的评分和批改加强与真实的课堂更好地结合。

  “在做的大项目中有一些技术成果可以用于高考阅卷,但根本的目的是引入人工智能将阅卷推向3.0时代。”6月,科大讯飞轮值总裁吴晓如对澎湃新闻表示,“阅卷1.0时代是纸笔阅卷,2.0时代是在网上把人组织起来用机器自动评阅一些客观题,而在人工智能时代,已经可以开始对主观题进行自动评阅。”

  机器批改主观题早不再是空想

  一般考试中通常包含客观题和主观题两个部分。而在有了答题卡、扫描仪后,客观题全部可以由机器批阅。不仅阅卷速度大大提升,而且更加准确。

  而自20世纪60年代以来,国外许多专家和学者就开始致力于主观题的机器阅卷技术研究,出现了各种不同的自动批改系统,例如美国的MBA、托福考试中就应用了E-rater系统。但这些系统大部分针对的都是第二语言作文,即非母语作文。但是,批阅学生用母语写的作文需要在更高层次,比如作文的文采、篇章的衔接、作文立意等方面做出评判。

  到了2015年11月,科大讯飞的机器智能阅卷技术在安庆、合肥等地成功试点应用。经过对人机评分结果的分析,计算机在评分一致率、平均分差、相关度以及与仲裁分更接近的比例等指标方面都已达到或超过人工评分水平。这意味着,机器评阅主观题已不再是空想。

  那么,对于没有客观标准答案的主观题,机器阅卷的原理和依据是什么?吴晓如解释,机器阅卷和人工阅卷的本质区别在于工作机理的差异。机器是通过统计、推理、判断来决策,这与人的思维方式不同。在阅卷过程中,机器采用智能学习的方式。通常一组专家评阅约500到1000份试卷后,机器就能学习到这一种试卷的评阅模式并形成一个模型。这种模型对其他试卷就可以形成有效的处理和覆盖,再根据该模型自动评阅其他试卷。

  而对于度量标准则是,先推选一组公认阅卷水平较高的专家,把这一组专家对一组试卷给出的平均分作为一种相对标准。之后,把机器最后的测试结果、其他测试员测试的结果与专家的平均分比较。如果机器和专家给出平均分更接近、相关度更高,才认为机器评阅的结果达到预期。

  “只有一种简单的或是标准化的测试模式实际上是非常容易作弊的,但从目前很多应用的结果来看,还没有一种办法能够很好地欺骗机器”,吴晓如说,“就像AlphaGo下围棋一样,并不是说找到一种客观、标准的套路就可以打败它。”

  此外,对于机器阅卷是否会抹杀学生创造力的担忧,吴晓如表示,阅卷中机器会把与众不同的、富有创造力的试卷挑出来交给人工处理。还有,对于犯了低级错误但有新思路导致测试成绩不佳的考卷,也需要现场的测试员和专家来判断。

  吴晓如说,实际上,机器主观题阅卷已经过了很长一段时间的验证。“很多教育专家、一线教师、校长一开始都对机器阅卷不认同,但通过结果的现场对比,这些专家最后还是认可机器要比人工测试的结果更好。”

  探索作文自动评分

  而在国内近年的主观题的机器阅卷技术研究中,最令外界眼前一亮的是哈工大讯飞联合实验室研发的语文作文评分技术。

  要给作文评分就需要面对观性相当强的文本。那机器应该从哪些维度去评判?又如何去量化这些维度?

  研究人员介绍,就像在中、高考阅卷中,全国的教师以一套统一、严格的标准来进行评分一样,机器批阅作文,最重要的也是让机器学到这套标准,然后按标准批阅。

  也就是,教师们先设置一套通用的从字迹工整度、词汇丰富性、句子通顺度、文采、篇章结构、立意等多个层次综合评估一篇作文质量的解决方案。之后,机器就可以利用算法从少量人工评分的样本中学习获得作文评分标准。比如一次考试有2000份卷子,从第一份卷子开始,机器就可以学习教师的阅卷方法,学到200份的时候机器就可以代替人工,自动对剩下的试卷进行智能化打分。

  作文评分系统中,词汇丰富性和立意属于内容相关的特征;字迹工整度、局部连贯性、句法正确性和篇章结构属于表达相关的特征;文采属于发展等级特征。另外,该技术还利用人工神经网络对作文的语义进行深度表示,从而得以从宏观上把握文章的立意。

  而这每一项标准背后都需要复杂、精密的技术来支持。例如,判断字迹工整度就需要用到手写识别技术,即自动将图片中的手写体字转写为文本的同时,给出识别概率,以此来表示工整度。再例如,判断一篇作文是否离题,就先需要根据题目内容提取关键词,并根据主题进行扩展,同时提取作文中的关键词,再计算作文的关键词和题目的关键词的相似度。另外,也可以在该次考试的大规模数据上训练主题模型,得到全局的主题分布,然后和待考察作文的主题分布对比。

  参与国家“863计划”(国家高技术研究发展计划)的科大讯飞方面表示,随着人工智能技术的发展,未来,除了开放式的作文,甚至政治、历史、地理科目的问答题机器都可以自动阅卷。

  当全自动机器阅卷成为现实后,教师们将会有更多的时间和精力投入到对教学方法、教学手段等创造性工作的研究中,从而为学生带来质量更高、更全面的教育。

来源:E教育信息化 责任编辑:云燕 我要投稿
校体购终极页

相关阅读

  • 安庆市岳西县首届中小学机器人创客竞赛圆满落幕
    安徽省教育厅04-01
    3月27日,安徽省安庆市岳西县教育局、岳西县科学技术协会联合举办岳西县首届中小学机器人创客竞赛。全县34支队伍、65名选手参加8个项目的比赛。比赛现场,各选手结合各自主题与比赛规则进行创作...
  • 淮南高新区举办首届区级中小学生机器人竞赛
    安徽省教育厅04-01
    为了贯彻落实好教育“双减”背景下关于做好科学教育加法的重要精神,全面提升淮南高新区中小学生科技素养,培养广大中小学生的科学实践精神和科技报国情怀,淮南高新区在上级领导的支持和指导下...
  • 安徽怀宁县举办2024年中小学生机器人创客大赛
    安徽省教育厅04-01
    为进一步加强科学教育,大力弘扬科学精神,培养学生创新意识和创新能力,3月26日,安徽省安庆市怀宁县2024年中小学生机器人创客大赛在稼先学校体育馆举行。怀宁县政府副县长丁霞光出席活动。县科...
  • 安徽合肥高新区举办第五届青少年机器人竞赛
    合肥市教育局03-28
    为激发青少年浓厚科学兴趣,培养创新探索精神,提升动手实践能力,3月25日,高新区第五届青少年机器人竞赛在合肥高新创新实验小学教育集团第三小学落下帷幕。本届竞赛由合肥高新区社会发展局、科...
  • 河南孟州市:推动人工智能教育深入开展 让每个孩子都能享受优质教育
    河南省教育厅03-18
    今年2月,教育部公布了中小学人工智能教育基地名单,其中河南省孟州市韩愈小学入选。近年来,孟州市通过推进教育数字化、人工智能在中小学的普及应用,解决边远岭区和乡村学校教师不足和优质教育...
  • 新学期新装备:AI教育引领者科大讯飞AI学习机重磅升级
    搜狐02-29
    作为科大讯飞AI教育技术的集大成者,科大讯飞AI学习机自2019年推出以来,不仅行业首发个性化精准学,引领行业迈进AI学习机品类新时代,而且在2023年行业首发大模型AI学习机,开启全新的AI1对1类...
  • 教育部公布中小学人工智能教育基地名单
    教育部02-27
    近日,教育部公布了中小学人工智能教育基地名单。各省级教育行政部门根据推荐要求,认真组织在人工智能课程教学、师资配备、实验环境建设等方面具有较好基础的中小学校积极申报,经各省级教育行...
  • “人工智能与数字伦理”平行会议成功举办
    教育部02-01
    1月31日,2024年世界数字教育大会“人工智能与数字伦理”平行会议在上海世博中心举行,会议旨在分享各国有关人工智能教育应用的政策与经验,促成人工智能赋能教育发展的重要共识。教育部副部长王...

版权与免责声明:

① 凡本网注明"来源:教育装备采购网"的所有作品,版权均属于教育装备采购网,未经本网授权不得转载、摘编或利用其它方式使用。已获本网授权的作品,应在授权范围内使用,并注明"来源:教育装备采购网"。违者本网将追究相关法律责任。

② 本网凡注明"来源:XXX(非本网)"的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,且不承担此类作品侵权行为的直接责任及连带责任。如其他媒体、网站或个人从本网下载使用,必须保留本网注明的"稿件来源",并自负版权等法律责任。

③ 如涉及作品内容、版权等问题,请在作品发表之日起两周内与本网联系,否则视为放弃相关权利。

校体购产品