摘要
自2022年生成性人工智能(GenAI)兴起以来,教育工作者们常常倡导将其融入课程中。本反思性研究旨在评估西交利物浦大学(XJTLU)在开设学术英语(EAP)这一模块所采取的举措。该举措涉及将GenAI纳入三项基本学术写作技能的教学中:研究、释义和总结。我们首先展示如何将这一内容嵌入学习任务中,然后通过学生调查、教师个人回忆以及对学生提交的报告进行审查,反思了该举措的成功与挑战。尽管观察到了较高的感知有用性和任务参与度,但也存在与学术诚信和认知卸载相关的挑战。为了应对这些挑战,我们提出了若干建议。
关键词:生成性人工智能(GenAI)、学术写作、研究、释义、总结、学术诚信
1.引言
生成性人工智能(GenAI)工具为学生提供了学术写作作业所需信息的便利条件,但却导致其被频繁使用甚至误用。随着GenAI的普及,学生们现在往往首先求助于它。在ChatGPT推出之前,大多数学生会优先使用搜索引擎和大学提供的数字图书馆资源进行研究。然而,如果学生提交完全由AI工具生成的写作作业,那么使用GenAI就会很容易导致学术诚信的违规——无论是故意与否。即便可以要求GenAI工具提供其引用的来源,但学生对其潜在幻觉意识的缺乏,例如来源伪造,可能会加剧这一问题。
在这种背景下,提高学生作者对生成式人工智能(GenAI)可能带来意外影响意识的重要性显得不容忽视。Gao等(2023)的研究提供了背景,指出大学使用的传统抄袭检测工具无法可靠地检测由GenAI生成的文本。根据我们的经验,这些抄袭检测工具可能会表明某段文本是由AI工具撰写的某个百分比,但它们无法准确识别文本中由AI生成的部分。因此,Peres等(2023)呼吁采取措施,以确保作业(例如论文、报告、SWOT分析等)都是学生的原创作品,而不是GenAI的产出。他们还建议对学生进行GenAI使用的培训,并明确讨论如何以诚信、透明和诚实的方式使用它(另见van Dis等,2023)。尽管GenAI可能带来学术诚信方面的担忧,但Kong等(2024)和Milano等(2023)主张教育界应通过调整现有教学法或设计新的教学法,将GenAI工具纳入课程中。作为一所以英语为教学媒介的(EMI)机构,西交利物浦大学(XJTLU)采取了相同的立场。为了实施这一政策,自2023年底以来,XJTLU已为其学术人员和学生提供了基于ChatGPT的GenAI工具XIPU AI的免费访问权限。
本反思性研究有两个主要目标。第一个是展示一项针对2024-2025学年超过800名高级技术学院二年级学生提供的学术英语(EAP)模块所采取的举措。该举措是将XIPU AI整合到EAP课程中,以教授三项基本学术写作技能即:研究、释义和总结为主。第二个目标是通过对学生在调查中收集的感知、教师的个人回忆以及对Turnitin抄袭检测工具生成的学生报告的简单分析,分享该举措实施中的成功与挑战。
2.通过生成性人工智能(GenAI)教授基本学术写作技能
正如Hirvela和Du(2013)所提到的,转变语言、文化和修辞体系的第二语言(L2)学生作家,尤其是在英语国家的背景下,可能会发现引用、释义和总结非常具有挑战性。因此,L2学术写作课程通常对这些学术技能领域给予高度重视(同上)。我们的模块也同样重视后两项技能的发展:释义和总结,并且意识到了学生在将来源材料整合到写作中时所面临的困难。
在学期开始之前,我们将XIPU AI嵌入到教授研究、释义和总结的现有常规活动中。其目的是训练学生熟悉这一工具,并负责任地使用它,以防止学术诚信的违规。他们对该工具的熟悉和掌握也将帮助他们在报告写作项目中表现出色,该项目的任务是选择并评估七种给定技术中的一种(见图1)。为了评估他们选择的技术,他们需要搜索有关这些技术类型的信息以及使用的标准。
图1 技术报告写作项目
以下内容解释了如何通过使用XIPU AI来教授这些基本学术写作技能:
2.1. 进行研究
我们的学术英语(EAP)课程通常包括简短而简单的导入或热身活动,以鼓励学生使用XIPU AI,从而使他们在搜索信息时熟悉这一工具。这种做法也为后续的学习任务做好准备。
这个导入活动的例子要求学生猜测完成关于ChatGPT句子的下一个单词,然后将他们的答案与XIPU AI(或其他生成性人工智能工具)给出的答案进行比较。
图2 使用生成性人工智能的引导活动
下面的任务旨在教学生如何使用提示词,例如“定义”以及WH-和是/否问题,以便对他们的写作项目主题进行研究。
图3 研究项目写作的提示词
2.2. 释义
学生可能没有意识到生成性人工智能可以用于为他们的研究项目写作释义来源信息。以下图4展示了我们如何教他们使用XIPU AI来实现这一目的。我们并没有直接要求他们使用该人工智能工具,而是首先教授了传统的改写技巧,例如使用同义词和改变句子结构。这一点非常重要,所以他们需要掌握这一技能,以便在期末考试的限时写作中,从提供的阅读文本中释义来源信息。
图4 释义任务
2.3. 总结
与释义类似,学生们还学习了如何使用传统方法进行总结,例如定位段落中的主要思想以及阅读较长文本的引言或结论段落。之后,允许他们使用XIPU AI进行这一任务,并提醒他们需要检查和引用生成摘要的来源。下面的图5是总结短段落的示例,而图6则是总结大约1200字的长文章,学生们随后被要求对生成的摘要进行改写,以使句子结构更少重复且更加多样化。
图5 任务:总结一个段落
图6 任务:总结一篇文章并改写生成的摘要
除了上述三项基本学术写作技能外,还有一个最后的活动旨在教学生如何使用XIPU AI提供的来源信息,并避免学术诚信违规(见图7)。
图7 任务:学术诚信讨论
3. 批判性反思
我们将在以下部分通过结合定量和定性措施进行批判性反思。
3.1. 成功之处
3.1.1. 调查结果:学生对GenAI在研究、改写和总结方面具有的高感知有用性
我们通过一项简短的调查来衡量该计划的成功,该调查在学生接触上述嵌入GenAI任务三周后进行。调查中的每个陈述使用XIPU AI来代表GenAI;当然,在课堂上,学生如果愿意也可以使用其他工具。表1总结了54名学生的调查反馈。
表1 学生反馈摘要 (N=54)
陈述1(进行研究):我喜欢在EAP课程开始时使用XIPU AI来查找信息。
在该陈述中故意使用“查找信息”而不是“进行研究”,以避免可能由“研究”一词引起的混淆。从表中可以看出,大多数学生(54名中有42名,即78%)喜欢使用XIPU AI来查找引导活动所需的信息,其中16名学生表示强烈同意。这可能是因为模块中的大多数引导活动都是学科特定主题,例如人工智能(AI)和物联网(IoT)。这要求学生在参与每个引导活动或后续活动之前,理解某些特定知识。虽然有8名学生选择保持中立,原因不明,但总共只有4名学生表示不同意,这可能是因为他们对XIPU AI本身的不满,而不是对GenAI的看法。其中两名学生实际上在课堂上提到,与其他GenAI工具(如ChatGPT和Kimi)相比,XIPU AI在理解和回答他们的问题方面存在弱点。然而,这可能是由于他们在搜索信息时错误使用了提示词。
陈述2(进行研究):我发现XIPU AI在帮助我决定当前的写作课程主题(即技术领域和具体的技术模型)方面很有用。
与查找信息的高满意度相似,大多数学生(34名,即63%)也表示使用XIPU AI研究写作主题并最终选择评估的技术时,感到其有很高的实用性。这可能是因为他们知道可以依赖XIPU AI或GenAI进行研究。然而,有17名学生未表示同意或不同意。他们可能意识到GenAI工具的局限性,因为这些工具通常不提供写作作业所需的参考文献,所以他们仍需使用其他资源,如互联网搜索引擎或大学图书馆数据库。
陈述3(改写)和陈述4(总结):我发现使用XIPU AI进行改写很有用;我发现使用XIPU AI进行总结很有用。
大多数受访者(分别为39和41名)认为使用XIPU AI进行改写和总结是有用的。这是可以预期的,因为我们在课堂上向他们展示了有效的改写方法,并要求他们尝试使用GenAI工具进行改写。对于总结短文本(约150字)或长文本(约1200字)也是如此。然而,有12名学生(22%)对这两项学术技能选择了“中立”,可能认为任何GenAI工具,而不仅仅是XIPU AI,都能同样有效地执行这两项重要任务。有几名学生(总共有3名对改写表示不满意,1名对总结表示不满意)认为XIPU AI没有用,这可能是由于他们对该工具的局限性的看法或他们更倾向于使用其他GenAI工具,认为它们更为优越。
总体而言,调查结果表明,大多数学生认为将GenAI融入教学三项基本学术写作技能的过程既愉快又有用。
3.1.2. 教师的经验:任务的高参与度
我们还通过教师在会议中分享的个人经历和反馈来衡量该计划的成效。大多数教师观察到,嵌入GenAI的活动通常能更好地吸引学生参与学习资料的互动,因为在课堂上使用GenAI对学生来说是一种新奇体验。这并不令人惊讶,因为EAP课程中的引导活动通常以小组讨论的形式进行,如果没有GenAI,讨论的质量将往往较低,分享的知识也相对有限,尤其是在学科特定主题上。相比之下,借助AI工具提供的深刻答案,能使学生在分享生成的信息时变得更加自信,也更愿意倾听彼此。在改写和总结方面,我们能够看到大多数学生在发现GenAI能够执行这两项任务时脸上露出的惊讶,尽管上述调查结果也显示出一小部分学生对其有用性持中立态度。
3.2. 挑战
尽管感知到的愉悦感、实用性和参与度都很高,但在学生提交的最终写作课程作业中,仍然注意到了一些关于使用GenAI教授这些基本学术写作技能的挑战。
3.2.1. 缺乏引用的信息由于学生的误解
在少数报告中发现了缺乏引用的信息,这表明学生使用了GenAI生成的文本。我们通过随机抽样检查了超过800份提交的报告中的75份,发现这些报告中包含了一定程度的信息,这些信息不被视为常识,因此需要进行引用。由于这些信息属于敏感内容,需要进行伦理审批,所以我们无法在此披露任何细节。造成这种情况的一个最可能原因是,这些学生在教授嵌入GenAI的活动时可能缺课。另一个原因可能是他们的误解。在个别反馈环节中,我们询问了几名学生,为什么他们的引言部分有些信息没有引用。他们的回答令人惊讶,因为他们认为通过GenAI研究和总结获得的知识是他们自己的,因此不需要引用。然而,与大量报告中对写作任务进行了适当引用和来源释义的情况相比,我们可以认为该计划已经取得了相当大的成功。
3.2.2. 过度依赖和认知卸载
如第2节所述,我们首先教授了传统的研究、改写和总结技巧,然后才允许学生使用GenAI。然而,在评分过程中,我们注意到学生报告中出现了一些实例,这似乎表明他们的改写完全是由GenAI工具完成的。值得注意的是,为了维护学术诚信,该模块还实施了一项额外措施:信息整合图表(SIC),学生必须在附录中将原始信息与其改写一起呈现。造成这种情况的原因可能是学生面临许多截止日期,因此在处理源材料的改写任务时,他们本能地选择了GenAI提供的最便捷的解决方案。
这种认知卸载被定义为“认知过程的外部化,通常涉及工具或外部代理,例如笔记、计算器或数字工具(如AI),以减少认知负担”(Risko和Gilbert,2016,第4页)。Yamada(2003)也认为,推理思维对于良好的释义是必要的,因此学生需要在阅读来源和他们的写作之间建立联系,无论是演绎地(基于陈述得出结论)还是类比地(注意两个知识领域之间的相似性)。在我们的背景下,除了可能对批判性思维活动的参与度产生负面影响外,特别令人担忧的是,学生的语言技能发展可能会受到GenAI所提供的便利和更加轻松使用时带来的负面影响。换句话说,他们将错失练习释义的机会,而释义是一项需要较高语言能力的挑战性技能。
4. 结论
4.1 摘要
总之,将GenAI融入研究、改写和总结技能教学的举措被学生认为是非常有用的。在进一步进行批判性反思后,这一举措被认为是相当成功的,其体现在观察到的高参与度和大量报告中适当的改写和来源确认,这表明学生遵守了学术诚信政策。尽管取得了成功,但一些来自意外影响的挑战也浮现出来,例如学生对GenAI生成信息引用的误解以及可能抑制语言技能发展的认知卸载,这些问题需要给予应有的重视。
4.2. 局限
本研究存在几个局限。首先,它仅对调查结果的简单百分比分析。然而,这被认为是足够的,并且是评估我们举措影响的批判性反思中必要的一部分。另一个限制是,在处理源材料时,对学术诚信政策的高度遵守的成功可能在一定程度上归因于写作项目中对信息整合图表(SIC)的要求。尽管如此,我们还是认为,使用GenAI教授基本学术写作技能是一个基础性步骤,而SIC则作为后续措施,促进了结果的成功实现。
4.3. 影响
从这次批判性反思中可以提出若干建议。首先,为了进一步教育学生负责任地使用GenAI,并减轻其潜在的负面影响,我们应该继续将其融入EAP课程中。并在每个学期重复覆盖这些基本学术写作技能,这可能会有助于使学生能够负责任和伦理地使用GenAI。第二个建议是设计一个任务,提供生成来源和信息的提示,同时要求学生通过大学图书馆数据库或搜索引擎验证这些来源。最后,未来的任务应包括教授更多特定的GenAI工具,这些工具可以帮助进行文献综述,例如Scopus AI等。GenAI工具将持续存在,因此,持续努力教育学生是必要的,以实现其潜力最大化,同时使其负面影响最小化。
我们要感谢EAP111模块负责人Sam Doran以及其他团队成员所做的直接或间接贡献,正是有了他们的支持,这次批判性反思才得以实现。
参考文献
Gao, C. A., Howard, F. M., Markov, N. S., Dyer, E. C., Ramesh, S., Luo, Y., & Pearson, A. T. (2023). Comparing scientific abstracts generated by ChatGPT to real abstracts with detectors and blinded human reviewers. npj Digital Medicine, 6, 75, 1–5. https://doi.org/10.1038/s41746-023-00819-6
Hirvela, A., & Du, Q. (2013). “Why am I paraphrasing?”: Undergraduate ESL writers' engagement with source-based academic writing and reading. Journal of English for Academic Purposes. 12(2), 87-98. https://doi.org/10.1016/j.jeap.2012.11.005
Kong, S., Lee, J. C., & Tsang, O. (2023). A pedagogical design for self-regulated learning in academic writing using text-based generative artificial intelligence tools: 6-P pedagogy of plan, prompt, preview, produce, peer-review, portfolio-tracking. Research and Practice in Technology Enhanced Learning. 19, 030. https://doi.org/10.58459/rptel.2024.19030
Milano, S., McGrane, J. A., & Leonelli, S. (2023). Large language models challenge the future of higher education. Nature Machine Intelligence, 5(4), 333–334. https://doi.org/10.1038/s42256-023-00644-2
Peres, R., Schreier, M., Schweidel, D., & Sorescu, A. (2023). On ChatGPT and beyond: How generative artificial intelligence may affect research, teaching, and practice. International Journal of Research in Marketing, 40(2), 269–275. https://doi.org/10.1016/j.ijresmar.2023.03.001
Risko, E. F., & Gilbert, S. J. (2016). Cognitive Offloading. Trends in Cognitive Science. 20, 676–688. https://doi.org/10.1016/j.tics.2016.07.002
van Dis, E. A. M., Bollen, J., Zuidema, W., van Rooij, R., & Bockting, C. L. (2023). ChatGPT: Five priorities for research. Nature, 614(7947), 224–226. https://doi.org/10.1038/d41586-023-00288-7
Yamada, K. (2003). What prevents ESL/EFL writers from avoiding plagiarism?: Analyses of 10 North-American college websites, System, 31(2). 247-258. https://doi.org/10.1016/S0346-251X(03)00023-X.