结论先行:手写公式批改的难点不在'看不看得见',而在'符号认得准不准、步骤判得对不对'。我们在一所 200 人规模的学校用版面分析加 Pix2Text 公式识别加 LLM 分步评分的组合,把单份理科作业的初评从教师 25 分钟压到约 6 分钟,且每一步都保留可复核的分步依据。下面把流程、代码和上线要点拆开讲。
为什么直接把图丢给大模型不行
通用多模态大模型看印刷体题目已经不错,但对手写公式有很多硬伤:手写符号歧义大,7 和 1、∫ 和 f、上下标、正负号经常认错;它对 LaTeX 这类结构化表达不敏感,容易把'形式对但符号错'判成正确;更关键的是,它通常只给一个总分或一段评语,给不出'第几步扣了分、为什么扣'的分步依据,教师没法直接采信。
所以我们把任务拆成三段各司其职:版面分析负责'找位置',公式识别负责'把符号读准',LLM 负责'按评分标准判分'。每一段都用各自擅长、且可验证的工具,而不是指望一个模型包办。
链路总览
整条链路是:扫描件或拍照 -> 版面分析切出题干区与手写作答区 -> 公式识别把作答区里的公式转成 LaTeX -> 题干文本加 LaTeX 拼接成结构化题目 -> LLM 按 rubric 给分步分 -> 教师复核。前两段追求'准',最后一段追求'可解释',教师始终保留最终裁量权。
版面分析怎么做
第一步是用版面检测模型(如基于 LayoutParser 或 DETR 的检测器)把一页纸切成'印刷题干'、'手写作答区'、'分数栏'等区块。这一步的目的不是 OCR,而是避免把印刷题干误当成学生答案去判,也避免把两道题的作答混到一起。
切分后要按题号分组,保证'题干 + 对应作答'成对进入后续流程。对作图题,要把图形区域单独标记,因为图形本身没有文字,需要另走图像理解或人工。
公式识别:Pix2Text 上手
Pix2Text 这类工具专门把数学公式图片转成 LaTeX,对手写符号的鲁棒性明显好于通用多模态。下面是一段最小可用代码:读图、调用模型、拿到 LaTeX 字符串。
from pix2text import Pix2Text
p2t = Pix2Text()
img = 'answer_region.png'
# 返回识别出的 LaTeX / 文本混合结果
res = p2t.recognize(img, return_text=True)
print(res)
实际部署时有两点要调:一是手写规范程度直接影响识别率,建议在采集端要求学生用深色笔、写在指定框内;二是识别结果要带置信度,低置信的公式必须转人工,不能让 LLM 拿一个错符号去推步骤。
分步评分:把 rubric 写成可判定项
LLM 这一段的输入是'题干 + 学生 LaTeX 作答 + 评分标准',输出必须是结构化 JSON:每个得分点是否命中、扣了多少、原因是什么、整体置信度。评分标准要提前拆成可判定的小项,而不是一句'过程完整给满分'。
import json
from openai import OpenAI
client = OpenAI()
prompt = f'''你是理科作业评分助手。根据评分标准对作答分步打分。
题干:{question}
学生作答(LaTeX):{latex}
评分标准:{rubric}
只输出 JSON:{{"points":[{{step, hit, delta, reason}}], "confidence":0-1}}'''
resp = client.chat.completions.create(model='gpt-4o', messages=[{'role':'user','content':prompt}])
score = json.loads(resp.choices[0].message.content)
if score['confidence'] < 0.7:
score['need_human'] = True
关键纪律是:置信度低于阈值的题一律转人工,系统只做'初评加标记',不做'终裁'。这样教师的工作量从'每题都看'变成'只看系统标红的',而且每一条扣分都有文本依据可查。
一致率怎么测
验收不能只看'快了多少',要看'判得对不对'。做法是抽一批教师已经判过的作业做金标准,让系统跑一遍,逐步比对:某一得分点系统判'命中'、教师也判'命中'才算一致。逐步一致率低于 85% 的题型,说明 rubric 没拆清楚或公式识别在拖后腿,先别上线。
那所学校的实际变化(脱敏)
这是一所约 200 人的学校,理科作业以计算与推导为主。原来教师单份初评平均 25 分钟,且分步反馈写得很简略。接入上述链路后,单份初评降到约 6 分钟,系统初评后教师复核率约 15%,也就是八成以上系统判分教师直接采信;上线前用了约两周和教研员一起把各科 rubric 校准到位。
需要说明:这些都是脱敏后的区间值,不同学科、不同年级差异很大,不能当作普适效果。真正可复制的是'版面切分加公式识别加分步 rubric'这条结构,以及'低置信必转人工'的纪律。
初期怎么落地才不翻车
技术上能跑通和教室里能用起来是两件事。我们建议学校第一学期只挑一个年级、一两门理科先试点,把识别率和分步一致率盯牢,再决定要不要扩。过早全年级铺开,一旦某类题型误判集中爆发,教师信任一旦掉下去,后面再推就难了。
另一个容易被低估的是'标准本身'。同一道题,不同老师给分步分的习惯不一样,rubric 必须由教研组长牵头定,且每学期复看一次。系统只是把定好的标准执行到位,标准本身的质量决定了输出的质量,这一点在验收时很容易被忽略。
① 选 1 个年级 1 到 2 门理科先试,不全校铺开;
② rubric 由教研组长牵头制定并每学期复看;
③ 识别率与分步一致率每周看板,低于阈值暂停该题型;
④ 所有原始作答与评分日志留校备查,不出行、不外流。
② rubric 由教研组长牵头制定并每学期复看;
③ 识别率与分步一致率每周看板,低于阈值暂停该题型;
④ 所有原始作答与评分日志留校备查,不出行、不外流。
成本与算力怎么算
整套链路对算力要求不高。公式识别与 LLM 评分可以走校内一台中端 GPU 服务器,batch 处理作业本,不必实时;如果学校暂时没有 GPU,识别与评分也可以仅在交作业后的非高峰时段跑批,成本更低。真正的投入大头是人——把 rubric 拆清楚、把错例复盘到位,这部分省不掉。
边界与合规
印刷清楚、手写规范的中学理科效果最好;连笔严重、大面积涂抹的仍要人工。学生作业属于敏感个人信息,整套识别与评分必须私有化部署,原始作答图片不能出校,识别日志要可审计。相关的校内知识沉淀也可以和我们私有 AI 知识库方案结合,把典型错解沉淀成教研素材;更系统的校本资源建设可参考企业知识库产品的思路做权限分级。
参考来源
Pix2Text 开源项目文档与示例 - GitHub 开源仓库;版面分析与公式识别方法综述 - 教育信息化领域公开论文;学校智能批改落地实践 - 行业公开案例报道(数据已脱敏,仅作方法说明)