作文评阅工作重复性强、主观差异大。借助预训练语言模型,可以把评分任务拆成篇章表征加评分头两步:用BERT类编码器把整篇作文映射为稠密向量,再接一个回归头预测分数。本文给出可在公开数据集上复现的入门方案。
一、任务与数据
自动化作文评分常用ASAP公开数据集,包含八类命题、由专家给出分数。评估多采用二次加权卡帕(QWK)衡量机器与人工的一致程度。入门阶段可只取其中一类命题,按训练、验证、测试切分,先把基线跑通。
二、模型结构
编码:用BERT类模型对作文做子词切分,取[CLS]位置的向量作为篇章表征。
评分头:在表征后接全连接层与Sigmoid,将分数映射到目标区间,以均方误差训练。
加排序:参考R2BERT思路,联合回归损失与排序损失,让模型同时学习绝对分数与相对优劣。
三、可复现代码
from transformers import AutoTokenizer, AutoModel
import torch, torch.nn as nn
tok = AutoTokenizer.from_pretrained('bert-base-chinese')
enc = AutoModel.from_pretrained('bert-base-chinese')
class Scorer(nn.Module):
def __init__(self):
super().__init__()
self.head = nn.Linear(768, 1)
def forward(self, x):
v = enc(**x).last_hidden_state[:, 0, :]
return self.head(v).squeeze(-1)
def batch(texts, scores):
o = tok(texts, padding=True, truncation=True, max_length=512,
return_tensors='pt')
return o, torch.tensor(scores, dtype=torch.float32)
# 训练循环略:用 MSELoss 优化 Scorer,验证时计算 QWK
print('essay scoring head ready')机器评分只应作为辅助与初评,最终成绩须由教师确认。模型可能受训练数据偏见影响,对特定表达风格不公平,部署前应做公平性抽检,并向学生说明评分依据。
参考来源
Yang等(2020)R2BERT:联合回归与排序损失的自动化作文评分 - BEA Workshop 论文
ASAP 自动化作文评分公开数据集 - Kaggle / Hewlett Foundation
联合国教科文组织《生成式人工智能在教育和研究中的应用指南》 - UNESCO,2023