NLP-小鱼吃猫博客

小鱼吃猫博客

你所热爱的，便是你的生活。

累计撰写 115 篇文章
累计创建 47 个标签
累计收到 14 条评论

目录CONTENT

以下是 NLP 相关的文章

预训练模型分类及其代码实战本文是带你手把手对预训练模型进行继续训练。预训练模型分类对于什么预训练模型，以及预训练模型的由来，可以参考知乎上的“请问深度学习中预训练模型是指什么？如何得到？”，一个比一个好。本文主要是以代码的角度进行解析如何与对这些预训练模型进行继续训练。目前预训练模型的分类以及适用任务：序列到序列（T
- 2023-08-23
- 67
- 0
- 4
- NLP
- Python
基于BERT+LSTM+CRF的命名实体识别定义参数 class CommonConfig: bert_dir = "hfl/chinese-macbert-base" output_dir = "./checkpoint/" data_dir = "./data" class NerConfig: def
- 2023-08-18
- 94
- 0
- 4
- Python
- NLP
基于BERT的命名实体识别先配置一下模型路径 model_path="/data1/model/chinese-macbert-base" Step1 导入相关包 import evaluate from datasets import load_dataset from transformers import AutoT
- 2023-08-18
- 72
- 0
- 3
- NLP
- Python
Transformers框架实战——商品评价的情感分析实战商品评价的情感分析实战 Transformers框架基础教程及更多实战内容以商品评价数据集为例,使用bert进行情感分析。数据集来源：https://github.com/SophonPlus/ChineseNlpCorpus Step1 导包 from transformers import
- 2023-08-07
- 94
- 0
- 4
- Python
- NLP
ValueError: too many dimensions 'str' ValueError: too many dimensions 'str' 使用Bert进行训练时，报错如题。具体如下： ValueError: too many dimensions 'str' The above exception was the direct cause of the fo
- 2023-08-04
- 114
- 0
- 0
- NLP
- Python
Transformers框架之Trainer组件 Transformers框架之Trainer组件 Trainer参数解读在学习完Tokenizer、Datasets、Model、Evaluate组件后，Trainer组件是用来训练模型的，也是最简单的。以下是一个最基础的Trainer的参数示例: trainer = Trainer(
- 2023-08-04
- 63
- 1
- 1
- NLP
- Python
Transformers学习之Evaluate组件 Transformers学习之Evaluate组件这是一个评估函数，在模型训练与测试中，我们会根据一些指标来对模型进行评测，用起来也非常简单哈。 # 导包 import evaluate 支持的评估函数支持的评估函数较多，这里只列出几个常见的，其余可以使用 evaluate.list_eval
- 2023-08-03
- 47
- 0
- 1
- NLP
- Python
Transformers框架之Datasets 组件用途：Datesets 顾名思义就是用来加载和保存数据集的组件加载Huggingface数据集,选择数据集,如下图，你可以在对应位置选择你想要的数据集，选择任务和语言后，右边会出现对应的数据集。小鱼吃猫
- 2023-08-03
- 79
- 0
- 0
- Python
- NLP
Transformers框架之Model学习在Transformers快速入门中介绍了pipeline()方法的使用。Model是Transformers中重要组件之一，主要负责加载和使用模型。接下来，以翻译任务为例子，使用huggingface中的现有模型进行翻译。一、快速使用 # pileline中指定从英文翻译到中文（只针对多语言，这
- 2023-08-02
- 52
- 0
- 1
- NLP
- Python
Transformers框架之分词器（Tokenizer）学习 Transformers框架之分词器（Tokenizer）学习一、基础用法导包 from transformers import AutoTokenizer 加载Tokenizer 从Huggingface官网加载 # 从HuggingFace加载Tokenizer tokenizer =
- 2023-08-02
- 237
- 0
- 2
- Python
- NLP

1
2
3