侧边栏壁纸
博主头像
小鱼吃猫博客博主等级

你所热爱的,便是你的生活。

  • 累计撰写 115 篇文章
  • 累计创建 47 个标签
  • 累计收到 14 条评论

目 录CONTENT

文章目录

预训练模型实战之文本摘要

小鱼吃猫
2023-08-30 / 0 评论 / 5 点赞 / 96 阅读 / 2338 字

任务描述

文本摘要是指通过各种技术,对文本或者是文本的集合,抽取、总结或是精炼其中的要点信息,用以概括和展示原始文本的主要内容或大意。作为文本生成任务的主要方向之一,从本质上而言,这是一种信息压缩技术。文本摘要技术是信息爆炸时代,提升人们获取有效信息效率的关键技术之一,如何从冗余、非结构化的长文本中提炼出关键信息,构成精简通顺的摘要,是文本摘要的核心问题。

实验概述

在之前的文章预训练模型实战中,介绍到了四种预训练语言模型,四种语言模型都可以做文本摘要任务,但像bert这种掩码语言模型效果就相对差一点儿。本文选取四种语言模型,在文本摘要任务上做对比试验。

实验配置

数据集

LCSTS_new中文短摘要生成数据集 2015年发布的生成式短摘要数据集,以微博原文为输入,1~2句话的短摘要为输出。

预训练模型

鉴于资源限制,本文选择的模型在一方面要支持中文,另一方面要模型体积尽可能小,所以本实验的结果并不能代表模型的性能。

评价标注

Rouge-Chinese库 (Python)

pip install rouge-chinese
  • 使用方法
from rouge_chinese import Rouge

true_data=['张三是个好学生',
		   '小鱼吃猫博客是个好网站',
		   '小鱼不吃香菜']
pred_data=['张三是个坏学生',
		   '小鱼吃猫博客确实是个好网站',
		   '小鱼不吃香菜,所以长不高']
true_list=[' '.join(true_data) for arg in dev_data]
pred_list=[' '.join(pred_data) for arg in dev_data]
rouge = Rouge()
scores = rouge.get_scores(pred_list, true_list, avg=True)
{
    "rouge-1": scores["rouge-1"]["f"],
    "rouge-2": scores["rouge-2"]["f"],
    "rouge-l": scores["rouge-l"]["f"],
}

代码实现

5

评论区