首页
个人作品
AI&大数据
AI
大数据
编程语言
Java
Python
生活&随笔
瞬间
友链
计算机基础
算法编程
关于
分类
标签
文章归档
关于作者
开往下一站
小鱼吃猫博客
你所热爱的,便是你的生活。
累计撰写
115
篇文章
累计创建
47
个标签
累计收到
14
条评论
栏目
首页
个人作品
AI&大数据
AI
大数据
编程语言
Java
Python
生活&随笔
瞬间
友链
计算机基础
算法编程
关于
分类
标签
文章归档
关于作者
开往下一站
目 录
CONTENT
以下是
AI
相关的文章
预训练模型实战之文本摘要
文本摘要是指通过各种技术,对文本或者是文本的集合,抽取、总结或是精炼其中的要点信息,用以概括和展示原始文本的主要内容或大意。作为文本生成任务的主要方向之一,从本质上而言,这是一种信息压缩技术。文本摘要技术是信息爆炸时代,提升人们获取有效信息效率的关键技术之一,如何从冗余、非结构化的长文本中提炼出关键信息,构成精简通顺的摘要,是文本摘要的核心问题。
2023-08-30
90
0
4
NLP
Python
预训练模型分类及其代码实战
本文是带你手把手对预训练模型进行继续训练。 预训练模型分类 对于什么预训练模型,以及预训练模型的由来,可以参考知乎上的“请问深度学习中预训练模型是指什么?如何得到?”,一个比一个好。本文主要是以代码的角度进行解析如何与对这些预训练模型进行继续训练。 目前预训练模型的分类以及适用任务: 序列到序列(T
2023-08-23
62
0
3
NLP
Python
基于BERT+LSTM+CRF的命名实体识别
定义参数 class CommonConfig: bert_dir = "hfl/chinese-macbert-base" output_dir = "./checkpoint/" data_dir = "./data" class NerConfig: def
2023-08-18
89
0
4
Python
NLP
基于BERT的命名实体识别
先配置一下模型路径 model_path="/data1/model/chinese-macbert-base" Step1 导入相关包 import evaluate from datasets import load_dataset from transformers import AutoT
2023-08-18
65
0
3
Python
NLP
Transformers框架实战——商品评价的情感分析实战
商品评价的情感分析实战 Transformers框架基础教程及更多实战内容 以商品评价数据集为例,使用bert进行情感分析。 数据集来源:https://github.com/SophonPlus/ChineseNlpCorpus Step1 导包 from transformers import
2023-08-07
83
0
4
NLP
Python
Transformers框架之Trainer组件
Transformers框架之Trainer组件 Trainer参数解读 在学习完Tokenizer、Datasets、Model、Evaluate组件后,Trainer组件是用来训练模型的,也是最简 单的。以下是一个最基础的Trainer的参数示例: trainer = Trainer(
2023-08-04
55
1
1
Python
NLP
Transformers学习之Evaluate组件
Transformers学习之Evaluate组件 这是一个评估函数,在模型训练与测试中,我们会根据一些指标来对模型进行评测,用起来也非常简单哈。 # 导包 import evaluate 支持的评估函数 支持的评估函数较多,这里只列出几个常见的,其余可以使用 evaluate.list_eval
2023-08-03
43
0
1
Python
NLP
Transformers框架之Datasets 组件
用途:Datesets 顾名思义就是用来加载和保存数据集的组件 加载Huggingface数据集,选择数据集,如下图,你可以在对应位置选择你想要的数据集,选择任务和语言后,右边会出现对应的数据集。小鱼吃猫
2023-08-03
72
0
0
NLP
Python
Transformers框架之Model学习
在Transformers快速入门中介绍了pipeline()方法的使用。Model是Transformers中重要组件之一,主要负责加载和使用模型。接下来,以翻译任务为例子,使用huggingface中的现有模型进行翻译。 一、快速使用 # pileline中指定从英文翻译到中文(只针对多语言,这
2023-08-02
49
0
1
NLP
Python
Transformers框架之分词器(Tokenizer)学习
Transformers框架之分词器(Tokenizer)学习 一、基础用法 导包 from transformers import AutoTokenizer 加载Tokenizer 从Huggingface官网加载 # 从HuggingFace加载Tokenizer tokenizer =
2023-08-02
212
0
2
NLP
Python
1
2
3