1 月 10 日，由论答公司(Learnta，Learning Technology & Analytics)主办的教育大数据研讨会在北京举行，讨论会主题为“大数据+教育，有哪些可能性?”。本次研讨会主要关注数据在教育领域的应用，具体包括自适应学习(Adaptive Learning)、学习数据分析(Learning Analytics)和教育数据挖掘(Educational Data Mining)。来自宾夕法尼亚大学、人民大学、华中师范大学的专家和企业界代表，共同探讨了教育大数据和自适应学习领域的技术趋势和产业机会。
Ryan Baker：学习数据分析和教育数据挖掘的产业机会
| 美国宾夕法尼亚大学教育学院终身教授、学习数据分析研究中心主任
Ryan Baker
Ryan Baker 是国际教育数据挖掘协会(International Educational Data Mining Society)的创始人、《教育数据挖掘》杂志(Journal Educational Data Mining)主编，在各类期刊和会议发表了 260 余篇学术论文，先后主持了美国科学基金会(National Science Foundation)、盖茨基金会(Gates Foundation)等研究基金的多项重大项目，累计获得研究经费超过 1600 万美元。他也在哥伦比亚大学教育学院和爱丁堡大学同时担任教职，他在 Coursera 和 edX 上开设的“Big Data in Education(教育大数据)”课程，有来自 100 多个国家和地区的学生注册。
研讨会现场，Ryan Baker 通过远程视频，分享了他对教育大数据的体验和应用。据他介绍，目前在教育大数据领域主要有四大研究组织，分别研究人工智能与教育、教育数据挖掘、学习数据分析和大规模学习。
Ryan Baker 表示，在教育领域广泛应用大数据的时代正在到来。教育数据挖掘有很多的应用方向，包括：预测学生是会辍学，还是会成功完成学业;自动检测学生的学习投入程度、情感、学习策略，以更好地达到个性化;给教师和其他相关人员提供更好的报告;教育科学的基础研究和发现。
他认为，个性化教育至少要做到三件事情：
确定学生的有关数据;
了解对于学生的学习来说什么是真正重要的;
有针对性地为学生提供合适的教学。
而通过教育数据挖掘，我们可以推断很多事情：
学生的元认知和求助。比如，这个学生有多自信?当他需要帮助时，有没有在寻求帮助?他有没有在给自己解释问题，有没有思考这个答案是正确的还是错误的?最重要的，当他面临挑战时，能否坚持下去?
没有投入学习的行为。比如，“玩弄”系统，为了找到正确的答案，有的学生会试各种不同的答案，从“1”试到“38”。粗心，本身会做，但是不用心，最后给出的答案是错的。有些孩子会做非常难以解释的行为，比如不用方程符号，而是画了一个笑脸。
学生情感。Baker 的研究团队和其他研究团队，已经创造了研究模型，可以根据数据推断，学生是否感到厌倦、沮丧、困惑、好奇、兴奋、快乐，是否投入，等等。
长期的学习结果。比如，学生能够记住刚才他学的东西吗?学生准备好学习下一个主题、下一个知识没有?中学生能上大学吗?他会从大学毕业还是辍学?
Ryan Baker 表示，要获得这样的推断，只需要学生与系统交互的数据，不需要学生戴上头盔检测器。目前，这些模型已经开始大规模应用于自适应学习，应用于几十万的美国学生。Ryan Baker 列举了一些自适应学习系统的案例。
Knewton -通过系统决定学生下一个要学习的问题是什么，已在全球的多个领域多个学科中运用。
ALEKS -ALEKS 用的是先行知识结构和知识点模型，来选择最适合学生的学习材料。比如，一个学生在学习上出现了问题，系统能够检测出来，是以前学的知识点出了问题，然后让学生回到以前的知识点上去学习。ALEKS 系统应用于美国高中、大学的数学、科学学科。
Cognitive Tutor -系统能自动检测学生的知识，直到学生掌握为止。比如，系统不会让学生学习下一步的知识，直到他展示出他已经学好了他现在正在学习的知识。系统能够给学校提供数据报告，学校根据报告能够更好地让学生投入到学习中去。每年大约被 50 万的美国初高中生用于数学学习。
论答(Learnta)-论答公司的系统与 ALEKS 的系统有些类似，也是用先行结构和知识点模型，选择合适的学习材料。同时也是自动检测学生的知识状态直到学生掌握为止。应用领域目前包括数学和英语，完全针对中国学生开发。
Reasoning Mind-用各种自动检测的模型来检测老师的教学是否有效。通过数据生成报告给每个地区的教学管理员，让他们找到方法帮助老师提高教学。主要是用于美国的小学数学。
Duolingo-自动检测学生记忆，来决定什么时候回顾已经学过的知识。在全世界范围内应用于外语词汇的学习。
其他的像 Civitas，Course Signals，Zogotech 都是地区供应商，运用风险预测模型提供行动信息预测。它们会对学生做出预测，可能学不好、会失败，把报告提供给老师。已在世界范围内的大学应用。
Ryan Baker 指出，在这些系统中，有足够的证据证明，至少以下两个系统是非常好的。
胡祥恩教授在美国做了大量实证研究，证明 ALEKS 系统对于帮助学生学习是有效的。他的研究证明，ALEKS 系统对于不同人群的学生是同样有效的;特别值得提出的是，ALEKS 可以帮助少数人群群体提高学习成绩。
Ryan Baker 本人领导的研究团队与论答公司合作的研究表明，学生通过论答系统学习，比通过传统的在线学习系统学习，效果更好。他们在中国 3 个不同的地区做的 3 次实证研究，都证明了论答系统的有效性。
Ryan Baker 分析了教育大数据算法模型的潜在发展方向。他认为，这些模型的长期潜力是，通过学生的知识和学习模型来确认，学生什么时候需要更多的支持：
首先是“mastery learning”，学生在掌握一个知识前，不会让他去学习下一个知识。当学生需要支持的时候，自动介入;同时告诉老师和父母，这个学生什么时候需要支持。
通过学习投入程度模型判断，学生什么时候开始变得厌倦、沮丧了，并调整学习活动，让厌倦的学生不再厌倦，让沮丧的学生的学习变得更容易一些。
学习投入程度模型还可以检测，在线学习中，什么样的学习活动，能让学生更容易地投入进去，并最终发现，什么样的学习活动对学生更好、对什么样的学生更好。
这样的模型也能告诉老师和父母，学生什么时候开始变得不再投入学习了。
还可以运用学习模型确认，学生什么时候没有真正学会，需要更多支持。
最后，Ryan Baker 指出，下一步的目标是优化之前已经验证的经验和方法，然后把它们运用到系统中，最终让中国和世界上的数十亿学生受益。
讨论：“因材施教”的千年理想该如何照进现实?
左起：王枫，胡飞芳，胡祥恩，辛涛，马镇筠
王枫 博士，论答公司(Learnta Inc.)创始人兼CEO
胡飞芳 博士，美国乔治华盛顿大学(George Washington University)统计学终身教授，中国人民大学统计与大数据研究院的教授
胡祥恩 博士，美国孟菲斯大学(University of Memphis )心理系、计算机科学系、计算机工程系终身教授，华中师范大学心理学院院长
马镇筠 博士，论答公司联合创始人兼首席数据科学家
辛涛 博士，北京师范大学中国基础教育质量监测协同创新中心常务副主任、博士生导师，兼任国家督学、教育部基础教育课程教材专家工作委员会委员、中国教育学会学术委员会委员。
>>技术发展到今天，“因材施教”如何实现?
王枫：因材施教，我首先到的是，每位学生学习的内容都不一样。如果有新的技术或者系统，系统应该像一个好老师一样，不会头疼医头脚疼医脚。比如说，一元二次方程做错了，好老师不会简单说一元二次方程做错了，你继续再做十道一元二次方程的题目，这其实是很差的老师，他没有真正去全面评判学生，到底是哪些掌握好、哪些掌握不好。一个好的老师可能会说，我全面地看了你整个学习，可能你的问题不是出在一元二次方程上面，老师看了你做的题目，一元一次方程没有掌握好、因式分解也没有掌握好，你继续做一元二次方程是浪费时间。这就是从系统角度来说，系统做到了根据每个学生最基础的先行知识点的结构，给你提供最适合你当前学习的知识点，题目也好、视频也好、还有其他各种各样的学习内容。
胡飞芳：因材施教是我们教育的理想状态。孔子很早提出因材施教，在他当时的历史环境里面，因材施教可能更多是个体性的，因为那时学生少、老师也少，因材施教相对比较容易做到。随着历史的发展，我们有更多的人需要教育时，我们做的一件事情是什么呢?就是做了一个标准化。标准化做的是什么?课堂教育。课堂教育从某种意义上来讲是标准化。现在这个历史阶段，教育大数据可能真正要做到的就是因材施教，自适应学习本身想做的也是这个。
胡祥恩：因材施教事实上在学习理论里有两个：一个是outerloop“学什么”，一个是innerloop“怎么学”。用技术来细化因材施教是教育产业走向成熟的一个标志。但是这个路非常非常难，因为“怎么学”那个层次非常非常难。
马镇筠：“因材”代表认识到学生的个体化差异，“施教”指进行差异化教学，这是根本思想。但如果考虑到时代背景，孔夫子时代专注的是学生的职业发展方向，也就是说，把适合当政治家的培养成政治家，把适合当学者的培养成学者。现在再提因材施教，我们其实能做得更多、更精细化。比如，“因材”，对“材”的分类不仅是职业方向，还会考虑到学生的学习状态、学习目标、潜在能力、兴趣偏好等。而且，传统意义上的因材施教考虑的是学生个体间的差异，没有重视学生本身状态是在发生变化的，学生在不断学习，状态甚至兴趣各方面都可能发生变化。但这些是自适应学习能够做到，甚至比传统的因材施教做得更好的地方。再说到“施教”，现在我们能做的几件事，包括学习路径推荐，给不同的学生匹配他最合适的学习内容，这种非常精细化的层面，我们已经有了一定的技术积累。
>>怎么判断一个产品做到了真正的自适应?
马镇筠：大多数产品的学习过程可以分为测、学、练，可以从这三个环节去看这个产品做到什么程度。
测，各种学习机构都有测评。但是国内只有论答团队第一个做出来能够在几十道题内，精准判断你一百个知识点，哪 21 个没掌握，哪 79 个掌握了。市场上大部分竞品，只会告诉你，知识点掌握率或者分数，79分或者知识掌握率达到 79%;或者一些其他维度的总结，比如逻辑思维能力比较强、阅读的磨炼技巧比较好、学习动力哪方面稀缺。他们做了降维，本来很复杂的学习状态这样说出来，相对比较容易实现。但如果要做到具体告诉你，哪些知识点掌握、哪些知识点没掌握，这个难度就高很多了。
关于学习路径推荐的话，很多题库类的软件，知识点学完之后，会给一些题目推荐，但真正实现路径推荐的很少很少。路径推荐也是很核心的，有 20 个知识点没掌握，先学哪个知识点，后学哪个知识点，学习顺序是非常关键的，必须遵循循序渐进的原则，哪些知识点是前提知识点，哪些知识点是后续知识点，随机给你知识点去学习的话不能起到最好效果。真正到了练或学的环节，推荐什么样的视频，先推视频还是先推文字讲义，推简单题、中等难度题还是复杂题目，都需要根据学生实际情况来决定。
刚才只是举了几个例子，具体涉及到背后的算法、整个系统跟学习内容的结合以及整个教学流程的实现，中间很多环节必须要打通，形成一个闭环，才能对最终的结果负责。
辛涛：我的研究领域是教育和心理学的测量和评价。我个人的学术观察，基本上在现代这领域是两个类型。一个是心理测量领域，有一套成熟的方法，包括早期的 IRT(Item Response Theory)和现在的 ADT。另外一个是人工智能检测。心理测量系统，是一小群人在做;人工智能化是大的方向，现在是显学，给大家提供了明显的可能性。重要的是，那些背后的算法，能够在企业里真正实现出来。现在可能很多算法已经在那儿了，大体上路径是通的。
自适应学习基本上是把学习和评价联动起来了。因为，要自适应学习，必须有一个系统随时看到学生学到什么程度，这个完全是评价。但是，评价完了之后有一个新的呈现。这一块现在已经有一些很成熟的一些东西了，但不是一时半时可以说得特别具体的。
我做教育的测量和心理测量，人工智能那块我不熟。但是，从教育测量角度来说，在自适应学习和新技术结合之前，很大一块还是自适应考试，CAT(computer adaptive test)。系列化产生一个 CAT 变成了一个自适应学习的过程。总的来说，使用最简单、最机械化的方法，连续的 CAT 实际上是可以破解一个学习过程的。
测评本身经历了好几个阶段，通常用三个应用介词表示。
accessment tolearning and teaching;
现在国家倡导的，accessment forlearning and teaching，测评要对学习和教学有帮助;
跟信息化结合，accessment aslearning and teaching，它是学习提供的完全融合的一个环节。
王枫：什么样的自适应学习系统才是真正的高级自适应学习系统?在中国的落地到底是怎么样才能真正落地?我在马博士的基础上想补充一点。
自适应系统如果一定要分级，也可以简单分一下。一种最基础的系统是基于规则的，比如说埋点。一个学生做 10 道一元二次方程题目，我预先埋好了，你做错了，立马给你推五道一元一次方程题目、五道因式分解题目。这个是埋点埋好了，这是规则，预先由老师或公式设置好了。但这个规则有用性是非常有限的，因为每个学生不一样，A 学生是因为一元一次方程不会，B 学生可能是因式分解不会，C 学生可能连小学的乘法快速运算都不会，这个没法预先直接埋点准备好。
所以自适应系统真正到了更高级一点的话，一定是真正通过大数据、根据算法模型来分析学生的学习数据，匹配下一步应该学什么。
在中国，自适应学习有效应用于教学有三个前提条件。做到这三点，自适应学习在中国的教育里面前途无限。
好的产品。必须要有针对中国本土化的自适应学习产品，把它开发出来。像ALEKS系统的确算法不错，但里面连一套国内的高考题都没有，家长不会让小孩子用这样的系统，因为直接影响应试目标。真正本土化开发的话，没有一成不变的算法，世界上最好算法就是没有开发出来的。教育非常复杂，每个学科不一样。比如数学后台有强大的关系，先行后续关系;英语没达到数学这么强的相关性，但算法是一样可以应用的。
好的学生、家长、老师。有了好的产品，首先学生应该真正投入进去学习。像 Ryan Baker 教授讲的，学生如果随便学一下，再好的系统也没用。第二，家长得督促孩子学习。第三，老师非常重要。老师应该做有价值的事情，比如给学生做个性化的辅导答疑，给学生针对性的讲解，组织学习活动小组，鼓励学生发挥创造能力，领导能力的培养。
学校以点带面。学生大部分时间都在学校里面学习。如果学校里最基本的、有效的在线教学产品都不应用的话，其实是有问题的。但是改变绝对不是简单的行政命令可以解决的。一个好的产品，一定是从点到面，逐步推广。自适应学习，更适合有明确目的的学习，像应试教育这块可以做得更好。所以学校可以应用进去。
胡祥恩：我觉得大家做自适应也好、因材施教也好，比较好的例子大家可以看一看。教育这个领域有多大，自适应概念就该有多宽。所以说，实验室里面有很多小的做得非常非常好的东西，只是没有到市场上面去，有很多非常非常巧妙的算法、一些东西。你会发现很多欧洲的、美国的实验室做的system，我每次看了都有种，自己是坐井观天的感觉。
>>怎么看待人工智能在教育中的应用?
胡飞芳：AlphaGo 跟 master，谷歌做了一个非常好的广告，人工智能在某些方面可以做得非常好。但是，我现在给你们讲另外一个谷歌自己不会去说的例子，但这也是事实。2008 年、2009 年的时候，谷歌推出一个免费产品，用各种搜集到的数据，预测美国的流感发展趋势。开始时很成功，预测跟实际发生的情况很相似。但到 2015 年，他自动撤回去了，不再提供预测。因为在 2012 跟 2013 年预测的时候，预测结果跟实际情况相差非常远。
这说明像这种不确定性的问题，人工智能还有非常大的局限性。一旦有不确定的数据，就有噪音。数据量很大时，大数据可能产生大噪音。怎样使噪音下降?2015 年一个哈佛教授的研究团队在谷歌的基础上，用谷歌的数据去做同样的预测。他用了什么呢?就是用了模型，实际上模型在很多时候降噪是很有用的，用模型去预测，而不完全是人工智能的方式去预测。结果，他做出来的预测基本都比较准。
人工智能相对比较成功的，是比较确定的问题，所谓的确定是不管有多少种可能性，还是一个确定的东西。而流感很多时候是完全不确定的因素。教育其实很多时候也是不确定的。同样一个人，现在让他回答这个问题，他可能思路清楚地回答出来;过了一个小时后，即使是同样类型的问题，按道理他应该回答出来，结果他回答不出来。这是说，实际上有很多因素在干扰的时候，人工智能的功能是不是会减少一点。把模型跟人工智能加在一起，会弥补人工智能在某些方面的弱点，这样会更好。
>>怎样促进商界和学界的交流，更好地把学界已经有的一些成果，运用到市场上来?
胡祥恩：教育产业应该是一个最大的产业，教育产业事实上是一个知识产业链。到目前为止，很多人认为自己要做一整套系统而在美国汽车业，最赚钱的是供应商，是做轮胎、做玻璃的。一旦标准化之后，一个人如果螺丝钉生产得最好，他就能够养活几家人、几代人。
到目前为止，美国推的就是教育标准化，教育内容的标准化、教育技术的标准化。比如说97年的时候，就说怎么样把内容标准化，你做的东西我可以用。我只是做整个教育知识产业链里面一个小块，做得很好。教育整个的产业链，有可能发挥特别特别技巧的那些小的公司，就能够在这个产业链里面生存、可以做得很好。第一个是要标准化，第二个要理解整个教育是一个产业链。
