NLP-小鱼吃猫博客

小鱼吃猫博客

你所热爱的，便是你的生活。

累计撰写 115 篇文章
累计创建 47 个标签
累计收到 14 条评论

目录CONTENT

以下是 NLP 相关的文章

置顶 Transformers 框架学习——持续更新 Transformers 框架学习一、概述官方文档 Transformers快速入门二、组件 Transformers框架之分词器（Tokenizer）学习 Transformers框架之Model学习 Transformers框架之Datasets 组件
- 2023-08-01
- 298
- 1
- 8
- Python
- NLP
Module ‘XXX‘ doesn‘t exist on the Hugging Face Hub Module 'accuracy' doesn't exist on the Hugging Face Hub either. 问题： Module 'accuracy' doesn't exist on the Hugging Face Hub either. Module 'f1' doesn'
- 2023-10-09
- 47
- 0
- 5
- NLP
常见向量数据库的安装与使用 vector-database
- 2023-09-11
- 45
- 0
- 2
- NLP
NLP之检索式问答综述这里只是一些知识的综述，实战内容查阅案例基于向量匹配的检索式问答实战一、概述检索式问答（Retrieval-based Question Answering）是一种问答系统，它通过从预定义的文本库中检索最相关的答案来回答用户的问题。简单来说，就是基于文本相似度来匹配答案，常见的相似度匹配算法有以
- 2023-09-11
- 50
- 0
- 2
- NLP
基于向量匹配的检索式问答实战可以先看一看检索式问答的综述，《检索式问答综述》,这篇是实战，直接上代码。准备工作数据集：wangrui6/Zhihu-KOL，包含10w条知乎通用问答数据，以下是两个示例： INSTRUCTION (string) RESPONSE (string) 从北大光华读完MBA的人都去了哪里工作？
- 2023-09-11
- 40
- 0
- 0
- NLP
NLP之文本相似度匹配问题计算两个文本之间的相似度，相似返回1，不相似返回0 从n个候选文本中选取出与当前文本最相似的文本解决方案问题1 问题：计算两个文本之是否相似，相似返回1，不相似返回0 数据集：shibing624/sts-sohu20212021搜狐校园文本匹配算法大赛数据集，数据来源https://ww
- 2023-09-11
- 81
- 0
- 1
- NLP
文本摘要之前缀语言模型-GLM 文本摘要相关内容查阅预训练模型实战之文本摘要 1 导入相关包 import os os.environ["CUDA_VISIBLE_DEVICES"] = "1" import torch from datasets import Dataset from transformers import
- 2023-08-30
- 95
- 0
- 1
- Python
- NLP
文本摘要之序列到序列模型-t5 文本摘要相关内容查阅预训练模型之文本摘要 1 导入相关包 import os os.environ["CUDA_VISIBLE_DEVICES"] = "1" import torch from datasets import Dataset from transformers import Au
- 2023-08-30
- 77
- 0
- 1
- NLP
- Python
预训练模型实战之文本摘要文本摘要是指通过各种技术，对文本或者是文本的集合，抽取、总结或是精炼其中的要点信息，用以概括和展示原始文本的主要内容或大意。作为文本生成任务的主要方向之一，从本质上而言，这是一种信息压缩技术。文本摘要技术是信息爆炸时代，提升人们获取有效信息效率的关键技术之一，如何从冗余、非结构化的长文本中提炼出关键信息，构成精简通顺的摘要，是文本摘要的核心问题。
- 2023-08-30
- 90
- 0
- 4
- NLP
- Python
预训练模型分类及其代码实战本文是带你手把手对预训练模型进行继续训练。预训练模型分类对于什么预训练模型，以及预训练模型的由来，可以参考知乎上的“请问深度学习中预训练模型是指什么？如何得到？”，一个比一个好。本文主要是以代码的角度进行解析如何与对这些预训练模型进行继续训练。目前预训练模型的分类以及适用任务：序列到序列（T
- 2023-08-23
- 62
- 0
- 3
- Python
- NLP

1
2