BERT
Bert PyTorch 源码分析：一、嵌入层
```py # 标记嵌入就是最普通的嵌入层 # 接受单词ID输出单词向量 # 直接转发给了`nn.Embedding` class TokenEmbedding(nn.Embedding): def __init__(self, vocab_size, embed_size=512): super( ......
简洁优美的深度学习包-bert4keras
新手友好bert4keras https://spaces.ac.cn/ 在鹅厂实习阶段，follow苏神（科学空间）的博客，启发了idea，成功改进了线上的一款模型。想法产出和实验进展很大一部分得益于苏神设计的bert4keras，清晰轻量、基于keras，可以很简洁的实现bert，同时附上了很多 ......
Transformer结构及其应用详解——GPT、BERT、MT-DNN、GPT-2
前言 本文首先详细介绍Transformer的基本结构，然后再通过GPT、BERT、MT-DNN以及GPT-2等基于Transformer的知名应用工作的介绍并附上GitHub链接，看看Transformer是如何在各个著名的模型中大显神威的。 本文转载自新智元 仅用于学术分享，若侵权请联系删除 欢 ......
BERT (2)
BERT -- Bidirectional Encoder Representations from Transformers 使用 LSTM，数据只能在一个方向以顺序方式读取。虽然双向 LSTM 通过向前和向后读取数据解决了这个问题，但文本仍然是顺序处理而不是并行处理。这就是Transformer ......
BERT模型
https://blog.csdn.net/qq_41898761/article/details/125017287 BERT一层层深究下去的路径是这样的：【BERT】<==【Transformer】<==【self-attention】<==【attention机制】<==【seq2seq】 B ......
【NLP】Bert下载
不区分大小写 [bert-base-uncased版本](https://huggingface.co/bert-base-uncased/tree/main "bert-base-uncased版本") 如果要下载其他版本点model card  模型在自然语言处理 (NLP) 领域取得了重大进展。一个关键的突破是引入了“自注意力”和用于序列处理 ......
bert中mask
bert中n(seq_len)默认是512,通过padding，head_size = 64 hidden_size = 768 默认计算方式是hidden_size / heads(12) = 64,输入为seq_len(句子长度)*batch(句子个数)*embedingsize (44条消息) ......
gpt bert
Transformer 的结构 标准的 Transformer 模型主要由两个模块构成： Encoder（左边）：负责理解输入文本，为每个输入构造对应的语义表示（语义特征），； Decoder（右边）：负责生成输出，使用 Encoder 输出的语义表示结合其他输入来生成目标序列。 这两个模块可以根据 ......
李宏毅BERT笔记
Self-supervised是LeCun提出的 常用于NLP，一段文字分成两部分，用第一部分来预测第二部分 BERT有两种训练的方式， 第一种是Masking Input，可以用特殊的MASK token或是Random token来替换原有的，经过BERT模型后，输出为原先的token 第二组是 ......
[笔记] ELMO, BERT, GPT 简单讲解 - 李宏毅
国内视频地址：https://www.bilibili.com/video/BV17441137fa/?spm_id_from=333.880.my_history.page.click&vd_source=bda72e785d42f592b8a2dc6c2aad2409 1 NLP 基础 1.1 ......
【833】BERT相关（Hugging Face）
参考：BERT入门——tensorflow 参考：李宏毅-ELMO, BERT, GPT讲解 个人理解：BERT是一个语言模型，把它作为一个抽取Feature的东西，因此它已经把文本进行的加工，最终只需要把BERT接入具体的任务，来训练下游任务的参数即可！ Case 1:input: single ......
Bert变体--Roberta
Roberta 论文地址：https://arxiv.org/pdf/1907.11692.pdf Static vs. Dynamic Masking Roberta使用动态Mask。 Bert在预处理训练数据时，每个样本会进行一次随机的mask，后续的每个训练步都采用这次mask，实际上就是每个 ......
预训练模型-从BERT原理到BERT调包和微调
一、BERT原理 BERT取名来自 Bidirectional Encoder Representations from Transformers。架构为：预训练 + fine-tuning（对于特定的任务只需要添加一个输出层)。 1、引言 通过预训练语言模型可显著提高NLP下游任务。限制模型潜力的 ......
每日学习记录20230321_Bert
20230321:Bert Bert 词嵌入(word embedding): 词嵌入是词的表示. 是一种词的类型表示，具有相似意义的词具有相似的表示，是将词汇映射到实数向量的方法总称。 之所以希望把每个单词都变成一个向量，目的还是为了方便计算，比如“猫”，“狗”，“爱情”三个词。对于我们人而言，我 ......
每日学习记录20230410_Bert
20230410:Bert Huggingface 今天运行python -c 'from transformers import TFBertForTokenClassification'的时候有一个报错: Could not load dynamic library 'libcudart.so. ......
每日学习记录20230323_Bert视频学习
20230323:Bert视频学习 B站视频 RNN 这个东西不能并行运算,所以翻译的时候需要用Transformer,这样输出结果是同时被计算出来的.并且Transformer有注意力机制进行并行计算 Transformer 输入如何编码? 输出结果是什么? Attention的目的? 怎样组合在 ......
每日学习记录20230322_Bert安装和使用
20230322:Bert安装与使用 Bert安装与使用 安装教程:地址 需要python版本大于等于3.5, tensorflow版本大于等于1.10.1,但是我经过测试发现,3.7.6版本不行,报错说缺少glib23,只能是使用这个教程的方法. R的一个function: file.path,用 ......
每日学习记录20230406_bert_and_torch
20230407:tensorflow transformer tf.name_scope: 这个函数会规定对象和操作属于那个范围,但是不会对“对象”的“作用域”产生任何影响,也就是不是全局变和局部变量的概念. 这个东西有很多种用法: with tf.name_scope("loss"): #这个名 ......
基于OCR进行Bert独立语义纠错实践
摘要：本案例我们利用视频字幕识别中的文字检测与识别模型，增加预训练Bert进行纠错 本文分享自华为云社区《Bert特调OCR》，作者：杜甫盖房子。 做这个项目的初衷是发现图比较糊/检测框比较长的时候，OCR会有一些错误识别，所以想对识别结果进行纠错。一个很自然的想法是利用语义信息进行纠错，其实在OC ......
BERT-文本分类demo
title: Bert文本分类 一.模型准备 首先在huggingface上下载对应的模型，也可以通过安装transformer，来将tensorflow版模型改为pytorch版。 最后得到：config.json、pytorch_model.bin 和 vocab.txt。 1.config.j ......
TensorFlow2.6和bert4keras0.11.4在Ubuntu22.04中使用
如题，基本环境和版本信息如下 ubuntu==22.04 tensorflow==2.6.0 bert4keras==0.11.4 python==3.9.13 在使用中，需要指定TensorFlow为2.0，即Keras使用tf.keras import os os.environ['TF_KER ......
【NLP 系列】Bert 词向量的空间分布
我们知道Bert 预训练模型针对分词、ner、文本分类等下游任务取得了很好的效果，但在语义相似度任务上，表现相较于 Word2Vec、Glove 等并没有明显的提升。 ......