澳鹏数据发布ExamOCRBench：以端到端整页判分基准检验多模态模型真实能力

上海2026年10月28日 美通社 －－ 当前，大模型在一系列高难度任务上已展现突破性能力：数学推理上，可辅助验证菲尔兹奖级猜想；科研写作上，可产出达到学位论文水准的文本；分子科学上，可在数秒内推演候选化合物结构。在多模态方向，大模型同样进展迅速，在OCR、文档解析等视觉文档理解任务上的表现已接近甚至超过实用水平。然而澳鹏数据最新评测显示：在批改一张小学三年级试卷这一基础任务上，五款主流模型的整页判分准确率仅为 33.22％58.18％，这表明高阶推理能力并未线性迁移至真实世界的文档理解场景。

多模态模型在文字识别、文档解析等单项任务上持续进步，但教育场景对模型提出的是一体化要求：从一张完整试卷中读懂题目、识别学生真实作答、依据页面证据完成判分。现有评测难以系统检验这一端到端能力。聚焦这一挑战，澳鹏数据正式发布ExamOCRBench一个以端到端整页判分为核心的多任务评测基准，为教育AI的能力评估提供更贴近真实课堂的检验框架。

端到端整页判分：单项能力基准与复合任务的差距

过去数年间，多模态模型在文字识别、版面理解、目标定位、视觉问答等单项基准上持续刷新纪录，自动批改亦成为教育科技领域的活跃研究方向。但真实批改与单项能力测试之间存在结构性差异：在判断一道题的答案是否正确之前，模型必须先定位对应问题，识别学生的最终有效作答，区分废弃内容与有效内容，并理解作答上下文。这一链路中任一环节出错，都会导致判分偏差。

更为隐蔽的风险在于：模型可能默认修正学生的拼写错误、将划掉的答案视为有效作答，或在听力音频等关键证据缺失时强行判分。核心问题不在于模型能否求解题目，而在于能否正确维系“题目 － 学生最终作答 － 判分决定”三者间的逻辑关系。

真实试卷构建：整页全对仍是模型短板

澳鹏ExamOCRBench基于中国小学2,464套真实试卷页面构建，覆盖语文、数学、英语三个学科，包含不同拍摄条件、手写涂改、不完整作答与复杂布局。判分任务关联22,636个小题，以语言文字填空、选择题、简答或解答题为主，覆盖十类细分题型。标注采用页面、大题、小题、答题区域的层级结构，忠实保留学生最终可见答案，包括拼写错误与涂改痕迹。参考答案经人工核验与多阶段质检后形成标签。共享页面共派生24,928个任务实例。

基准核心指标PageScoreAccuracy要求页面内所有可正常判分单元全部判对，一处出错即整页不计为正确。在参与评测的五个模型中，GPT－6 Astra以58.18％领先，GPT－5.6 Sol为53.41％，Qwen3.8－Max、Claude Opus 5和Doubao－Seed－2.1－Pro分别为42.32％、36.75％和33.22％。表现最好的模型仍有四成以上页面无法做到全部判对，这一结果印证了真实、复杂的课堂场景给当前多模态模型带来的实质性挑战；SafetyUnitRecall进一步检验模型能否在内容缺失等条件下拒绝判分，当前最高召回率为41.04％，同样显示出模型能力仍有较大提升空间。

多项诊断任务拆解端到端判分难点

澳鹏ExamOCRBench设置结构解析、内容定位与手写文本识别三项独立诊断任务，分别检验模型能否理清题目与作答的层级关系、能否在整页中精准定位目标证据、能否忠实还原学生笔迹。诊断结果呈现明显分化：GPT－5.6 Sol整页判分排名第二，手写识别完全匹配率却最低；Qwen手写识别完全匹配率最高，判分准确率为42.32％。这说明判分能力与识别能力并不同步，答案推理与忠实转写是两种需要分开观察的能力。

另一项值得关注的发现是模型普遍缺乏弃权能力：五款模型的无依据批改率高达 58.96％－91.94％。在证据不足时识别并拒绝作答，是可靠模型应具备的重要能力。对教育场景而言，将错拼补全为正确单词、或将模糊笔迹替换为符合题意的答案，都可能掩盖真实错误。

为教育AI选型与模型迭代提供可信评测依据

澳鹏ExamOCRBench的价值在于将评测贴近一张真实试卷从识别到判分的完整过程。面向智能批改、作业数字化、错题整理与个性化学习反馈等应用，该基准为教育产品选型提供贴近学生真实作答的观察视角，并将最终判分表现与结构理解、内容定位、手写识别相联系，为模型研发提供有针对性的数据建设与能力训练方向。目前，澳鹏ExamOCRBench已在GitHub与Hugging Face平台全面开源。

澳鹏ExamOCRBench的发布是澳鹏在高质量教辅试题数据建设上的重要实践之一。目前，澳鹏已沉淀覆盖K12、大学研究生、竞赛等多学段、多类型的教辅试题数据集，可支撑大模型学科微调、解题评测与教育AI研发等应用场景。未来，澳鹏ExamOCRBench将持续扩展学科与年级覆盖，深化对涂改、多步推导、图文混合与开放式表达等复杂作答的理解，推动评测结果更好地服务智能批改与学习反馈等实际应用落地。