AI 提示辅导员怎样追问,学生会学得更好吗?

学生算错一道减法题,辅导员最容易做的事是重新演示标准步骤。演示可能完全正确,学生也可能立即照着做对,却仍然不知道自己原先为什么出错。教学中更难的部分,是从一句回答里判断误解在哪里,再选择一个恰好能让学生继续思考的问题。

Tutor CoPilot 把语言模型放在这个短暂的判断时刻:它读取教学对话,为辅导员起草下一步教学建议,由辅导员决定如何回应学生。它的研究价值因此需要同时从两个层面观察:教学动作有没有变化,学生是否因此获得了可以测量的学习收益。本文以 2024 年第一版预印本及其前期研究为依据,区分论文报告的结果与据此提出的评价方法。

彩铅绘本里成人辅导员和学生面对面讨论一道题
AI 生成配图 · 儿童绘本彩铅 · 未完纪

先识别错误,再决定下一句话

辅导中的错误并不只有“答案不对”这一种信息。学生可能不理解位值,可能漏看条件,也可能理解概念却在计算中失误。同样一句“再想一想”,对这些情况的帮助不同。若系统不区分错误来源,只把措辞改得耐心、鼓励,生成的文本就可能像教师说的话,却没有解决学生卡住的地方。

Tutor CoPilot 的前期工作 Bridge 用认知任务分析梳理专家的隐含判断:识别学生错误,选择补救策略,明确回应意图,再生成具体回复。这一结构的意义,是把教学建议从一句孤立的漂亮回答,变成有理由、有目的的行动。相关研究整理了真实辅导对话,由专家标注决策,用来比较不同提示和决策信息对回复质量的影响。Bridge 论文

例如,在一个假设情境里,学生认为 0.35 大于 0.4,因为“三十五比四大”。直接告诉学生正确大小关系,可以完成这一题;请他把两个数放到同一张位值表里,则是在检验错误是否来自把小数当整数比较。若学生其实只是抄错数字,继续讲位值又会浪费时间。这里的教学策略不能只按题目类型匹配,还要根据学生刚刚展示的推理调整。

这种显式决策也方便审阅。看到一条建议,辅导员可以分别问:错误判断是否有依据,策略是否适合当前知识水平,措辞是否足够具体。三个问题分开,比笼统打一个“有帮助”分数更容易发现失败原因。系统把解释说得流畅,并不能消除第一步判断错误的影响。

把建议交给辅导员,改变了什么实验问题

在研究设定里,AI 的直接使用者是辅导员。辅导员拥有对学生和课堂的额外观察,也承担选择建议的工作。这意味着实验检验的是一种人机协作安排,而非学生单独面对聊天机器人的学习效果。相同模型放进另一种产品界面,可能得到不同结果。

一个有价值的界面应允许人快速确认、修改和跳过建议,同时避免建议挤占观察学生的时间。假设一条提示内容正确,却需要辅导员读很长一段解释才能提炼出一句追问,课堂中的净收益仍可能有限。相反,短建议也可能隐藏重要前提,导致人因为时间紧而直接采用。因此,建议质量、阅读成本、触发时机与采用方式需要共同评价。

研究中“获得访问权限”和“实际采用某条建议”也不是同一件事。访问权限由实验分配,实际使用会受辅导员熟练程度、学生难度和当时工作负担影响。如果只比较频繁使用者和从不使用者,可能把这些原有差异误当作工具效果。随机分配提供的是更清楚的起点:比较被分配获得工具的一组与对照组,无论他们之后使用多少次。

这个估计接近学校真正关心的部署问题:给一批辅导员提供工具,在通常使用状态下会发生什么。至于“每使用一次的效果有多大”,需要额外识别条件,不能把总效果除以使用次数便得到可靠答案。

打开 HTML 互动演示 · 同一道错题,三种教学反馈

四个百分点,需要连同测量方式一起阅读

2024 年第一版预印本报告,初始随机分配涉及约 900 名辅导员和 1800 名中小学生。研究按预注册计划分析,发现辅导员获得工具访问权限后,学生通过课末主题掌握测验的概率平均提高约 4 个百分点;原先评分较低的辅导员所教学生收益更明显。这里的结论对应研究中的教学安排与测量指标。Tutor CoPilot 第一版

“百分点”描述概率之差,和相对百分比不同。以下只作假设计算:若对照组通过率是 60%,提高 4 个百分点对应 64%;相对增加约为 6.7%。这个例子没有给出论文的真实基线,只是说明为什么不能把“提高 4 个百分点”改写成“成绩提高 4%”,更不能说所有学生都多学会了同样数量的内容。

课末测验贴近刚刚讲授的主题,适合观察即时掌握。它仍然受到题目难度、是否允许提示、通过规则等条件影响。学生在同类题上做对,与隔几周还能独立解释、遇到新情境能迁移,是不同层次的证据。一次短期学习指标的改善,可以支持继续研究,不能直接扩写成长期学业差距已经缩小。

重复测量还要求分析尊重数据结构。同一位辅导员可能辅导多名学生,同一学生可能参加多次课,这些结果未必彼此独立。评价时需要说明随机化单位、分析单位、缺失记录以及不确定性处理。只展示一个总通过率,会把这些决定结果可信度的条件藏起来。研究预注册入口

教学消息提供机制线索,却没有替代学习证据

论文还分析了大量对话消息,报告工具组更常使用引导性问题等策略,更少直接给出答案。这使“工具可能通过改变辅导动作改善学习”成为有内容的解释,而不只是依赖一个结果数字。它也提示开发者,评估语言时应区分引导思考、核对理解与泄露答案,不能把所有问号都算作高质量提问。

不过,消息分类器本身也会出错。“你明白了吗?”可能只是礼貌性的确认;“这一步该比较哪一位?”才可能真正推动推理。人工标注时,应提供足够上下文,让标注者判断问题的作用。自动分类应用到全量消息前,还要检查不同学生水平、不同表达方式下的误差,防止模型把某种固定措辞当作教学质量。

即使教学策略变化和学习收益同时出现,仍不能据此断言全部收益都由某一个策略造成。工具还可能改变辅导员信心、备课负担或互动节奏。要进一步区分机制,可以比较只提供通用提醒、提供具体追问、提供完整解释等条件,或在明确设计下随机化建议形式。这样的研究需要新的实验,不能用现有相关性代替。

怎样建立有竞争力的基线

一种合理基线是原有辅导流程,但这不足以回答工具是否比其他支持方式更划算。还可以比较简短的教学策略卡、人工整理的常见错误库,以及同等预算的专业培训。若模型优势主要来自把已有资料放到辅导员眼前,搜索和界面改进也可能提供部分收益;若优势来自对具体对话的适配,就需要展示它比固定建议更有效的证据。

比较时应尽量保持课程、学生分配和可用时间一致。否则一组多了额外辅导分钟,另一组只增加软件,就很难判断收益来自哪里。记录等待建议的时间、修改建议的比例,以及学生真正用于解释和练习的时间,可以帮助把表面使用量与有效教学机会区分开。

错误案例尤其值得保留。论文访谈指出,建议有时不适合学生年级。验收样本可以覆盖概念误解、计算失误、表达含混和学生沉默等情况,并请教育人员分别判断建议是否正确、是否适龄、是否过早泄露答案。对明显不合适的建议,系统应允许辅导员直接忽略并留下原因,而非把所有跳过都解释成使用意愿不足。

从一次试验走向持续学习的工具

后续研究最有说服力的扩展,是加入延迟测验和脱离工具后的独立任务。若学生只有在辅导当下更容易通过,产品需要改善提示撤除与迁移练习;若辅导员在不调用工具时也逐渐采用更好的策略,则可能出现教师自身学习。两条路径都值得研究,但需要分别测量。

同样需要观察收益分布。平均改善可能主要集中在原先支持不足的辅导员身上,也可能在某些年级或题型中不明显。分组结果应事先规划,报告区间和样本规模,避免从许多小组里挑出最高数字作为宣传。使用学生对话开展分析时,研究团队还要明确哪些信息进入模型、怎样去标识,以及谁能够访问记录;这属于可靠研究流程的一部分。

Tutor CoPilot 提供了一种具体的教育技术命题:模型可以帮助人更快调用教学判断,但是否有效,要由学生学习与课堂实施共同回答。能够追问学生为什么这样想,也能够追问系统为什么这样建议,才有机会把即时文本生成变成可以积累、检查和改进的教学支持。

参考资料

© 版权声明
THE END
喜欢就支持一下吧
点赞45