MathMistake Checker: A Comprehensive Demonstration for Step-by-Step Math Problem Mistake Finding by Prompt-Guided LLMs
作者: Tianyang Zhang, Zhuoxuan Jiang, Haotian Zhang, Lin Lin, Shaohua Zhang
发布时间: 2025-03-07
来源: arxiv
研究方向: 教育技术，人工智能，数学教育
主要内容
提出了一种名为MathMistake Checker的系统，用于自动化检测数学问题中的错误，特别是那些需要逐步验证答案的问题。该系统旨在通过两阶段过程提高评分效率，并从教学角度提升学习体验。
主要贡献
1. 开发了一种无需参考答案的自动评分系统，能够识别和评估学生多样化的解题方法。
2. 结合了计算机视觉和大型语言模型（LLMs）的链式思维能力，实现了对数学答案的端到端评分。
3. 引入了教育链式思维（PedCoT）提示策略，能够逐步识别学生答案中的逻辑错误。
4. 通过系统分析学生的解题过程，提供有针对性的反馈，以帮助学生理解错误并提高学习效果。
研究方法
1. 光学字符识别（OCR）模块，包括文本行语义分割、专业文本识别、文档布局分析和顺序检测。
2. 使用大型语言模型（LLMs）进行逐步评分，包括再生和预测、提取和比较以及评估和评论三个阶段。
3. 教育链式思维（PedCoT）提示策略，用于引导学生逐步思考和解决问题。
实验结果
MathMistake Checker已在多种类型的数学问题中进行了测试，包括计算和文字问题，并显示出良好的效果。
未来工作
将系统扩展到其他学科，并提高反馈质量，以进一步促进个性化学习和教学效率的提升。