NLP
自然语言处理 Paddle NLP - 开放域对话系统-理论
常见的对话系统 - 个人助手 •Apple Siri, Amazon Alexa, Baidu Xiaodu - 客户服务•餐厅预定、商品咨询、债务催收 - 休闲娱乐 •Microsoft XiaoIce,Replika  是信息检索系统的一种高级形式，它能用准确、简洁的自然语言回答用户用自然语言提出的问题。其研究兴起的主要原因是人们对快速、准确地获取信息的需求。问答系统是人工智能. 抽取式阅读理解：它的答案一定是段落里的一个片段，所以在训练前，先要 ......
自然语言处理 Paddle NLP - 基于预训练模型完成实体关系抽取
[自然语言处理 Paddle NLP - 信息抽取技术及应用](https://www.cnblogs.com/vipsoft/p/17460173.html) 重点：SOP 图、BCEWithLogitsLoss # 基于预训练模型完成实体关系抽取 信息抽取旨在从非结构化自然语言文本中提取结构化知 ......
自然语言处理(NaturalLanguageProcessing,NLP)领域的100篇热门博客文章标题如下：
[toc] 文章标题：《自然语言处理(Natural Language Processing,NLP)领域的100篇热门博客文章标题如下》 背景介绍： 随着人工智能技术的不断发展和普及，自然语言处理(Natural Language Processing,NLP)作为其中一个重要的分支，受到了越来越 ......
自然语言处理 Paddle NLP - 情感分析技术及应用SKEP-实践
## Part A. 情感分析任务 众所周知，人类自然语言中包含了丰富的情感色彩：表达人的情绪（如悲伤、快乐）、表达人的心情（如倦怠、忧郁）、表达人的喜好（如喜欢、讨厌）、表达人的个性特征和表达人的立场等等。情感分析在商品喜好、消费决策、舆情分析等场景中均有应用。利用机器自动分析这些情感倾向，不但有 ......
自然语言处理 Paddle NLP - 情感分析技术及应用-理论
对带有感情色彩的主观性文本进行 分析、处理、归纳和推理的过程，输入文本 => (描述实体/entity，属性/aspect，情感/opinion ,观点持有者/holder，时间/time) ......
自然语言处理 Paddle NLP - 信息抽取技术及应用
1.什么是信息抽取 > 即自动从无结构或半结构的文本中抽取出结构化信息的任务(病历抽取) 2.实体抽取 3.关系抽取 4.事件抽取 信息抽取和知识图谱是一个上下游的关系。抽取的结果，可以组装成知识图谱（一种存储知识的结构） 
文档检索：需要把业务问题拆解成子任务。文本分类 -> 文本匹配 -> 等任务 -> Panddle API 完成子任务 -> 子任务再拼起来 ## 介绍 在2017年之前，工业界和学术界对文本处理依赖于序列模型[Recurrent Neural Network (RNN)](https://baik ......
自然语言处理(NaturalLanguageProcessing,NLP)领域的100篇热门博客文章标题如下：
[toc] 文章标题：《自然语言处理(Natural Language Processing,NLP)领域的100篇热门博客文章标题如下》 背景介绍： 随着人工智能技术的不断发展和普及，自然语言处理(Natural Language Processing,NLP)作为其中一个重要的分支，受到了越来越 ......
自然语言处理 Paddle NLP - 词法分析技术及其应用
词法分析就是利用计算机对自然语言的形态(morphology) 进行分析，判断词的结构和类别等。”简单而言，就是分词并对每个词进行分类，包括：分词、词性标注、实体识别三个任务 领域的100篇热门博客文章标题，以逻辑清晰、结构紧凑、简单易懂的
[toc] 好的，以下是我为您拟定的自然语言处理(NLP)领域的100篇热门博客文章标题，以逻辑清晰、结构紧凑、简单易懂的专业技术语言： 1.《自然语言处理(NLP)100问》: 常见问题与解答 2.《自然语言处理(NLP)入门指南》: 技术原理及概念 3.《NLP实现步骤与流程》: 准备工作：环境 ......
自然语言处理 Paddle NLP - 文本语义相似度计算（ERNIE-Gram）
基于预训练模型 ERNIE-Gram 实现语义匹配 ## 1. 背景介绍 文本语义匹配任务，简单来说就是给定两段文本，让模型来判断两段文本是不是语义相似。 在本案例中以权威的语义匹配数据集 [LCQMC](http://icrc.hitsz.edu.cn/Article/show/171.html) ......
自然语言处理 Paddle NLP - 词向量应用展示
词向量（Word embedding），即把词语表示成实数向量。“好”的词向量能体现词语直接的相近关系。词向量已经被证明可以提高NLP任务的性能，例如语法分析和情感分析。 PaddleNLP已预置多个公开的预训练Embedding，您可以通过使用paddlenlp.embeddings.TokenE ......
[人工智能-NLP]使用GPT-2预训练模型进行微调
下面是一个使用GPT-2进行微调的示例。以文本生成为例，我们将微调GPT-2来生成新闻标题。此外，我们将使用PyTorch作为深度学习框架，以便于构建和训练模型。 1. 安装PyTorch和Transformers 首先需要安装PyTorch和Transformers库。在终端中输入以下命令： `` ......
NLP自然语言处理—主题模型LDA案例：挖掘人民网留言板文本数据|附代码数据
全文链接：http://tecdat.cn/?p=2155 最近我们被客户要求撰写关于NLP自然语言处理的研究报告，包括一些图形和统计输出。 随着网民规模的不断扩大，互联网不仅是传统媒体和生活方式的补充，也是民意凸显的地带。领导干部参与网络问政的制度化正在成为一种发展趋势，这种趋势与互联网发展的时代 ......
NLP自然语言处理—主题模型LDA案例：挖掘人民网留言板文本数据|附代码数据
从上图可以看出不同地区留言板的情感倾向分布，总的来说，负面情感留言数目和积极情感相差不多，负面情感留言较多，占比46%，积极情感留言占比42%，中立情感的留言占比11%。 从地区来看，活跃在各大媒体的“朝阳区群众”留言数目也是最多的，其次是海淀区，昌平区。因此，从情感分布来看大部分留言还是在反应存在 ......
NLP知识和经验积累路径梳理
[TOC] # 版本说明 | 版本号 | 版本内容 | 日期 | | | | | | v1.0.1 | 版本初始化 | 2023-04-15 | | | | | # 1. NLP学习路径 ## 1.1 知识清单 ### 1.1.1 机器学习 ApacheCN. [AiLearning: 机器学习]( ......
【NLP】Bert下载
不区分大小写 [bert-base-uncased版本](https://huggingface.co/bert-base-uncased/tree/main "bert-base-uncased版本") 如果要下载其他版本点model card ![image](https://img2023.c ......
喜讯！天翼云斩获NLP国际顶会比赛两项荣誉
近日，NLP国际顶会ACL（The Association for Computational Linguistics）进行的国际赛事WASSA 2023（13th Workshop on Computational Approaches to Subjectivity, Sentiment & S ......
NLP 中 Embedding（词嵌入） 和 Tokenizer（分词器） 分别是什么？
NLP 中 Embedding（词嵌入） 和 Tokenizer（分词器） 分别是什么？ Embedding（词嵌入）和Tokenizer（分词器）是在自然语言处理中常用的两种技术，用于将文本转换为计算机可以处理的数字表示。 Tokenizer（分词器） 是将文本转换为单词或子词序列的过程。在自然语 ......
【NLP教程】用python调用百度AI开放平台进行情感倾向分析
一、背景 Hi，大家！我是 @马哥python说 ，一名10年程序猿。 今天我来演示一下：通过百度AI开放平台，利用python调用百度接口进行中文情感倾向分析，并得出情感极性分为积极、消极还是中性以及置信度结果。 二、操作步骤 首先，打开百度AI首页：百度AI开放平台-全球领先的人工智能服务平台 ......
劲（很）霸（不）酷（好）炫（用）的NLP可视化包：Dodorio 使用指北
朋友们，朋友们，事情是这样的。最近心血来潮，突然想起很久以前看过的一个NLP可视化包。它的效果是下面这个样子： 在此之前，已经有一些文章从论文的角度对这个包进行了介绍，详情请见 推荐一个可交互的 Attention 可视化工具！我的Transformer可解释性有救啦？ 当时我第一眼就被这个包的效果 ......
自然语言处理NLP
GPT： 声称是预训练模型，根据上文生成下一个字，单词接龙。 训练过程：问答范例。 跟搜索引擎不同，能学习材料中的通用规律，并泛化所学到的规律，面对没有遇到过的情况也能做出回答。ChatGPT3出现了理解力是因为训练的参数和学习材料很大，叫大语言模型，人类技术大更新的导火索。 回答的不对是因为学习到 ......
nlp推理后处理中的一些技术细节
前言： 在一些序列生成任务中，比如 seq2seq 的机器翻译模型，或者是验证码识别的 CTC 算法中，输出的每一个时间步都会有一个分布。最终的序列会使用 BeamSearch或者 Viterbi等算法搜索 Top-K 概率的序列。这类方法介于逐时间步 argmax 的完全贪心策略和全局动态规划的优 ......
NLP新范式（Prompt/Instruct）
NLP的四范式 NLP发展到今天已经进入到了LLM的时代，随着模型越来越大，在zero-shot/few-shot的情形下也表现的越来越好，NLP也进入到了新的研究范式里面。学术界按发展时间线将NLP归纳到四个范式： 1），传统的基础学习范式。 2），基于word2vec，cnn，rnn的全监督深度 ......