欢迎访问上邦|专注企业 AI 数字化转型落地 · 咨询热线 400-667-6771
免费咨询
首页 / 资讯中心 / 技术干货 / 文章详情
技术干货

手写公式与作图题怎么让 AI 批改:版面分析加公式识别的工程落地

上邦 AI 工程团队2026-10-20阅读 约 10 分钟
作业和试卷里大量手写公式、作图题,通用大模型直接看图要么认错符号要么编步骤。本文给出一条可复现的批改链路:先版面分析切出题干与作答区,再用 Pix2Text 把公式转 LaTeX,最后交给 LLM 按评分标准给分步分,并附完整可运行代码与一所 200 人学校的脱敏成效数据。
结论先行:手写公式批改的难点不在'看不看得见',而在'符号认得准不准、步骤判得对不对'。我们在一所 200 人规模的学校用版面分析加 Pix2Text 公式识别加 LLM 分步评分的组合,把单份理科作业的初评从教师 25 分钟压到约 6 分钟,且每一步都保留可复核的分步依据。下面把流程、代码和上线要点拆开讲。

为什么直接把图丢给大模型不行

通用多模态大模型看印刷体题目已经不错,但对手写公式有很多硬伤:手写符号歧义大,7 和 1、∫ 和 f、上下标、正负号经常认错;它对 LaTeX 这类结构化表达不敏感,容易把'形式对但符号错'判成正确;更关键的是,它通常只给一个总分或一段评语,给不出'第几步扣了分、为什么扣'的分步依据,教师没法直接采信。
所以我们把任务拆成三段各司其职:版面分析负责'找位置',公式识别负责'把符号读准',LLM 负责'按评分标准判分'。每一段都用各自擅长、且可验证的工具,而不是指望一个模型包办。

链路总览

整条链路是:扫描件或拍照 -> 版面分析切出题干区与手写作答区 -> 公式识别把作答区里的公式转成 LaTeX -> 题干文本加 LaTeX 拼接成结构化题目 -> LLM 按 rubric 给分步分 -> 教师复核。前两段追求'准',最后一段追求'可解释',教师始终保留最终裁量权。

版面分析怎么做

第一步是用版面检测模型(如基于 LayoutParser 或 DETR 的检测器)把一页纸切成'印刷题干'、'手写作答区'、'分数栏'等区块。这一步的目的不是 OCR,而是避免把印刷题干误当成学生答案去判,也避免把两道题的作答混到一起。
切分后要按题号分组,保证'题干 + 对应作答'成对进入后续流程。对作图题,要把图形区域单独标记,因为图形本身没有文字,需要另走图像理解或人工。

公式识别:Pix2Text 上手

Pix2Text 这类工具专门把数学公式图片转成 LaTeX,对手写符号的鲁棒性明显好于通用多模态。下面是一段最小可用代码:读图、调用模型、拿到 LaTeX 字符串。
from pix2text import Pix2Text

p2t = Pix2Text()
img = 'answer_region.png'
# 返回识别出的 LaTeX / 文本混合结果
res = p2t.recognize(img, return_text=True)
print(res)
实际部署时有两点要调:一是手写规范程度直接影响识别率,建议在采集端要求学生用深色笔、写在指定框内;二是识别结果要带置信度,低置信的公式必须转人工,不能让 LLM 拿一个错符号去推步骤。

分步评分:把 rubric 写成可判定项

LLM 这一段的输入是'题干 + 学生 LaTeX 作答 + 评分标准',输出必须是结构化 JSON:每个得分点是否命中、扣了多少、原因是什么、整体置信度。评分标准要提前拆成可判定的小项,而不是一句'过程完整给满分'。
import json
from openai import OpenAI

client = OpenAI()
prompt = f'''你是理科作业评分助手。根据评分标准对作答分步打分。
题干:{question}
学生作答(LaTeX):{latex}
评分标准:{rubric}
只输出 JSON:{{"points":[{{step, hit, delta, reason}}], "confidence":0-1}}'''
resp = client.chat.completions.create(model='gpt-4o', messages=[{'role':'user','content':prompt}])
score = json.loads(resp.choices[0].message.content)
if score['confidence'] < 0.7:
    score['need_human'] = True
关键纪律是:置信度低于阈值的题一律转人工,系统只做'初评加标记',不做'终裁'。这样教师的工作量从'每题都看'变成'只看系统标红的',而且每一条扣分都有文本依据可查。

一致率怎么测

验收不能只看'快了多少',要看'判得对不对'。做法是抽一批教师已经判过的作业做金标准,让系统跑一遍,逐步比对:某一得分点系统判'命中'、教师也判'命中'才算一致。逐步一致率低于 85% 的题型,说明 rubric 没拆清楚或公式识别在拖后腿,先别上线。

那所学校的实际变化(脱敏)

这是一所约 200 人的学校,理科作业以计算与推导为主。原来教师单份初评平均 25 分钟,且分步反馈写得很简略。接入上述链路后,单份初评降到约 6 分钟,系统初评后教师复核率约 15%,也就是八成以上系统判分教师直接采信;上线前用了约两周和教研员一起把各科 rubric 校准到位。
需要说明:这些都是脱敏后的区间值,不同学科、不同年级差异很大,不能当作普适效果。真正可复制的是'版面切分加公式识别加分步 rubric'这条结构,以及'低置信必转人工'的纪律。

初期怎么落地才不翻车

技术上能跑通和教室里能用起来是两件事。我们建议学校第一学期只挑一个年级、一两门理科先试点,把识别率和分步一致率盯牢,再决定要不要扩。过早全年级铺开,一旦某类题型误判集中爆发,教师信任一旦掉下去,后面再推就难了。
另一个容易被低估的是'标准本身'。同一道题,不同老师给分步分的习惯不一样,rubric 必须由教研组长牵头定,且每学期复看一次。系统只是把定好的标准执行到位,标准本身的质量决定了输出的质量,这一点在验收时很容易被忽略。
① 选 1 个年级 1 到 2 门理科先试,不全校铺开;
② rubric 由教研组长牵头制定并每学期复看;
③ 识别率与分步一致率每周看板,低于阈值暂停该题型;
④ 所有原始作答与评分日志留校备查,不出行、不外流。

成本与算力怎么算

整套链路对算力要求不高。公式识别与 LLM 评分可以走校内一台中端 GPU 服务器,batch 处理作业本,不必实时;如果学校暂时没有 GPU,识别与评分也可以仅在交作业后的非高峰时段跑批,成本更低。真正的投入大头是人——把 rubric 拆清楚、把错例复盘到位,这部分省不掉。

边界与合规

印刷清楚、手写规范的中学理科效果最好;连笔严重、大面积涂抹的仍要人工。学生作业属于敏感个人信息,整套识别与评分必须私有化部署,原始作答图片不能出校,识别日志要可审计。相关的校内知识沉淀也可以和我们私有 AI 知识库方案结合,把典型错解沉淀成教研素材;更系统的校本资源建设可参考企业知识库产品的思路做权限分级。

参考来源

Pix2Text 开源项目文档与示例 - GitHub 开源仓库;版面分析与公式识别方法综述 - 教育信息化领域公开论文;学校智能批改落地实践 - 行业公开案例报道(数据已脱敏,仅作方法说明)
相关标签:教育AI公式识别Pix2Text版面分析智能批改

免费咨询上邦技术顾问

一对一上邦方案顾问对接 · 免费定制企业专属 AI 数字化转型方案

立即获取上邦方案