自然语言
自然语言处理 期末复习
一、概述1. 基于深度学习的命名实体识别系统一般由哪三个层次组成？嵌入层，编码层，解码层2. 三种词义消歧的方法？简单最近邻，基于特征的词义消歧，Lesk算法3. 语篇的局部连贯性表现在哪三个方面？关系连贯，实体连贯，主题连贯4. 信息抽取有哪几个主要任务？命名实体识别，关系抽取，事件抽取5.自然语 ......
python自然语言处理
# 使用 NLTK 进行文本处理 import nltk from nltk.tokenize import word_tokenize path = r"E:\Code\Python\录制\python-crawler\作业\test" nltk.data.path.append(path) # ......
自然语言处理：通过API调用各大公司的机器翻译开放平台
国内大公司做机器翻译做的比较好的有讯飞和百度，这里给出这两个公司机器翻译的开放平台API的介绍： 讯飞开放平台： 链接：https://www.xfyun.cn/doc/nlp/xftrans_new/API.html#%E6%8E%A5%E5%8F%A3%E8%AF%B4%E6%98%8E 百度翻 ......
Studio 3T 2023.9 (macOS, Linux, Windows) - MongoDB 的专业 GUI、IDE 和 客户端，支持自然语言查询
Studio 3T 2023.9 (macOS, Linux, Windows) - MongoDB 的专业 GUI、IDE 和 客户端，支持自然语言查询 The professional GUI, IDE and client for MongoDB 请访问原文链接：https://sysin.o ......
PubMedBERT:生物医学自然语言处理领域的特定预训练模型
今年大语言模型的快速发展导致像BERT这样的模型都可以称作“小”模型了。Kaggle LLM比赛LLM Science Exam 的第四名就只用了deberta，这可以说是一个非常好的成绩了。所以说在特定的领域或者需求中，大语言模型并不一定就是最优的解决方案，“小”模型也有一定的用武之地，所以今天我 ......
基于langchain使用百度Wenxin自然语言处理MySQL
昨天下午同事刚好发来langchain使用OPENAI 来自然语言处理sqlite https://youtu.be/Tubl4scsXc4?si=Y_zOIrbkZVtndNoP 刚好有时间可以测一测玩玩 博主github:https://github.com/clairelovesgravy/l ......
NLP自然语言处理—主题模型LDA案例：挖掘人民网留言板文本数据|附代码数据
全文链接：http://tecdat.cn/?p=2155 最近我们被客户要求撰写关于NLP自然语言处理的研究报告，包括一些图形和统计输出。 随着网民规模的不断扩大，互联网不仅是传统媒体和生活方式的补充，也是民意凸显的地带。领导干部参与网络问政的制度化正在成为一种发展趋势，这种趋势与互联网发展的时代 ......
自然语言处理预训练——预训练BERT
原始的BERT有两个版本，其中基本模型有1.1亿个参数，大模型有3.4亿个参数。 在预训练BERT之后，我们可以用它来表示单个文本、文本对或其中的任何词元。 在实验中，同一个词元在不同的上下文中具有不同的BERT表示。这支持BERT表示是上下文敏感的。 ......
自然语言处理预训练——用于预训练BERT的数据集
为了预训练 14.8节中实现的BERT模型，我们需要以理想的格式生成数据集，以便于两个预训练任务：遮蔽语言模型和下一句预测。一方面，最初的BERT模型是在两个庞大的图书语料库和英语维基百科（参见 14.8.5节）的合集上预训练的，但它很难吸引这本书的大多数读者。另一方面，现成的预训练BERT模型可能 ......
自然语言处理预训练—— 来自Transformers的双向编码器表示（BERT）
我们已经介绍了几种用于自然语言理解的词嵌入模型。在预训练之后，输出可以被认为是一个矩阵，其中每一行都是一个表示预定义词表中词的向量。事实上，这些词嵌入模型都是与上下文无关的。让我们先来说明这个性质。 从上下文无关到上下文敏感 ELMo（Embeddings from Language Models） ......
自然语言处理预训练——词的相似性和类比任务
在 14.4节中，我们在一个小的数据集上训练了一个word2vec模型，并使用它为一个输入词寻找语义相似的词。实际上，在大型语料库上预先训练的词向量可以应用于下游的自然语言处理任务，这将在后面的 15节中讨论。为了直观地演示大型语料库中预训练词向量的语义，让我们将预训练词向量应用到词的相似性和类比任 ......
自然语言处理预训练——子词嵌入
在英语中，“helps”“helped”和“helping”等单词都是同一个词“help”的变形形式。“dog”和“dogs”之间的关系与“cat”和“cats”之间的关系相同，“boy”和“boyfriend”之间的关系与“girl”和“girlfriend”之间的关系相同。在法语和西班牙语等其他 ......
c5w2_自然语言处理与词嵌入
自然语言处理与词嵌入 词嵌入 one-hot向量表示了每个词在词汇表中的位置，但是每个one-hot向量的内积为0，不能表示出每个词之间的相互关系。 I want a glass of orange juice. I want a glass of apple __. 例如，对于上述的这样一句话，通 ......
自然语言处理预训练——全局向量的词嵌入
带全局语料统计的跳元模型 GloVe模型 从条件概率比值理解GloVe模型 总结 诸如词-词共现计数的全局语料库统计可以来解释跳元模型。 交叉熵损失可能不是衡量两种概率分布差异的好选择，特别是对于大型语料库。GloVe使用平方损失来拟合预先计算的全局语料库统计数据。 对于GloVe中的任意词，中心词 ......
自然语言处理预训练——用于预训练词嵌入的数据集
读取数据集 下采样 提取中心词和上下文词 下面的get_centers_and_contexts函数从corpus中提取所有中心词及其上下文词。它随机采样1到max_window_size之间的整数作为上下文窗口。对于任一中心词，与其距离不超过采样上下文窗口大小的词为其上下文词。 #@save de ......
自然语言处理预训练——近似训练
近似训练是一种用于加速训练过程的技术。 负采样 负采样是在训练过程中对目标函数进行简化的一种方法。在传统的训练中，需要计算整个词汇表的概率分布，这在大规模任务中会非常耗时。负采样的思想是通过随机采样一小部分负例来近似计算全局的目标函数。具体来说，对于每个正例（例如一个正确的词对应的上下文），从词汇表 ......
自然语言处理预训练——词嵌入(word2vec)
自然语言是用来表达人脑思维的复杂系统。 在这个系统中，词是意义的基本单元。顾名思义， 词向量是用于表示单词意义的向量， 并且还可以被认为是单词的特征向量或表示。 将单词映射到实向量的技术称为词嵌入。 近年来，词嵌入逐渐成为自然语言处理的基础知识。 为何独热向量是一个糟糕的选择？ 自监督的word2v ......
自然语言处理（NLP）的研究方向
自然语言处理（NLP）的研究方向包括但不限于以下方面： 词法分析：对文本进行分词、词性标注等基本处理，是后续处理的基础。 句法分析：研究句子的语法结构，对句子进行解析，如依存句法分析。 语义理解：分析文本的语义，理解文本表达的含义和情感，是自然语言处理的核心问题。 信息抽取：从大量非结构化文本中抽取 ......
深度解析自然语言处理之篇章分析
在本文中，我们深入探讨了篇章分析的概念及其在自然语言处理（NLP）领域中的研究主题，以及两种先进的话语分割方法：基于词汇句法树的统计模型和基于BiLSTM-CRF的神经网络模型。 关注TechLead，分享AI全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验、团队管理经验，同济本复旦硕， ......
自然语言处理概述
自然语言处理概述 以前的自然语言大多数停留在去根据业务来编写相应的规则来解决实际的问题，但是仅仅靠手工编写的规则是无法覆盖全部的内容，而且不同的规则之间也具有一定的矛盾，随着统计学的发展，人们逐渐的用统计的思想去解决一些实际的问题，例如马尔可夫假设，即一个词语出现的概率取决于它前面出现的所有词，但是 ......
词！自然语言处理之词全解和Python实战！
本文全面探讨了词在自然语言处理（NLP）中的多维角色。从词的基础概念、形态和词性，到词语处理技术如规范化、切分和词性还原，文章深入解析了每一个环节的技术细节和应用背景。特别关注了词在多语言环境和具体NLP任务，如文本分类和机器翻译中的应用。文章通过Python和PyTorch代码示例，展示了如何在实 ......
自然语言处理历史史诗：NLP的范式演变与Python全实现
本文全面回顾了自然语言处理（NLP）从20世纪50年代至今的历史发展。从初创期的符号学派和随机学派，到理性主义时代的逻辑和规则范式，再到经验主义和深度学习时代的数据驱动方法，以及最近的大模型时代，NLP经历了多次技术革新和范式转换。文章不仅详细介绍了每个阶段的核心概念和技术，还提供了丰富的Pytho ......
R语言自然语言处理NLP:情感分析上市公司文本信息知识发现可视化|附代码数据
全文链接：http://tecdat.cn/?p=31702 原文出处：拓端数据部落公众号 情感分析，就是根据一段文本，分析其表达情感的技术。比较简单的情感分析，能够辨别文本内容是积极的还是消极的（褒义/贬义）；比较复杂的情感分析，能够知道这些文字是否流露出恐惧、生气、狂喜等细致入微的情感。此外，情 ......
自然语言处理中的分词问题总结 原创
众所周知，英文是以词为单位的，词和词之间是靠空格隔开，而中文是以字为单位，句子中所有的字连起来才能描述一个意思。把中文的汉字序列切分成有意义的词，就是中文分词，有些人也称为切词。本文转载自明略研究院的技术经理牟小峰老师讲授的语言处理中的分词问题。 如何界定分词 中文分词指的是将一个汉字序列切分成一个 ......
【Cucumber】关于BDD自然语言自动化测试的语法总结
1、关键字 - Feature 每一个.feature文件必须以关键字Feature开始，Feature关键字之后可以添加该feature的描述，其作用类似于注释，仅仅为了便于理解沟通交流，描述内容中不可以包含Gherkin关键字，描述部分将不会被执行。 2、关键字 - Scenario 一个fea ......
自然语言处理的词法分析、句法分析、语义分析
现在我们使用计算机时，用的大多数都是计算机的高级语言，编制程序来告诉计算机“做什么”，怎么做的。对计算机的利用带来了诸多不便，也严重影响了计算机应用的进一步推广。理解自然语言，也可以称为自然语言的处理，语言虽然表示成一连串文字符号或一连串声音流，但内部其实是一个层次化的结构，从语言的构成中就可以清楚 ......
[自然语言处理] 基于pycorrector实现文本纠错
文本纠错（Text Error Correction）技术旨在自动修正输入文本中的拼写、语法、标点符号等错误，以提高文本的准确性、通顺性和规范性。该技术可以通过自然语言处理技术实现，基于上下文和语言规则对文本进行分析和推断，发现其中的错误，并给出正确的替换或修改建议。 pycorrector是一个开 ......
关于自然语言处理（NLP）
结巴分词 https://github.com/fxsjy/jieba keywords = jieba.analyse.textrank( TEXT_CONTENT, topK=20, withWeight=True, allowPOS=('ns','n','vn','v') ) ......
自然语言的处理 nlp
分词 得到语言首先使用分词机器进行分词 首先使用正则表达式过滤标点 空格，一般使用NLTK进行首次分词 n-gram 相邻的词组成短语，更有意义。 停用词的过滤 a an the of之类 大小写转换 词干还原house houses houseing 还原成house ,nltk.stem.por ......