transformers handwriting论文
论文阅读笔记：Parallel Iterative Solvers for Real-time Elastic Deformations (迭代法求解方程组 / 弹性形变仿真)
材料来源于 Siggraph Asia 2018 的 course note Parallel iterative solvers for real-time elastic deformations, SIGGRAPH Asia 2018 Courses, 2018. 0. 概述 在形变仿真中，许 ......
【手搓模型】亲手实现 Vision Transformer
🚩前言 🐳博客主页：😚睡晚不猿序程😚 ⌚首发时间：2023.3.17，首发于博客园 ⏰最近更新时间：2023.3.17 🙆本文由 睡晚不猿序程 原创 🤡作者是蒻蒟本蒟，如果文章里有任何错误或者表述不清，请 tt 我，万分感谢！orz 相关文章目录 ：无 目录 1. 内容简介 最近在准备使 ......
王树森Transformer学习笔记
Transformer Transformer是完全由Attention和Self-Attention结构搭建的深度神经网络结构。 其中最为重要的就是Attention和Self-Attention结构。 Attention结构 Attention Layer接收两个输入$X = [x_1, x_2 ......
Debiased Contrastive Learning of Unsupervised Sentence Representations 论文精读
ACL2022-long paper 原文地址 1. 介绍(Introduction) 问题: 由PLM编码得到的句子表示在方向上分布不均匀, 在向量空间中占据一个狭窄的锥形区域, 这在很大程度上限制了它们的表达能力. 已有的解决办法: 对比学习. 对于一个原句, 构造他的正例(语义相似的句子)和负 ......
使用 DeepSpeed 和 Hugging Face 🤗 Transformer 微调 FLAN-T5 XL/XXL
Scaling Instruction-Finetuned Language Models 论文发布了 FLAN-T5 模型，它是 T5 模型的增强版。FLAN-T5 由很多各种各样的任务微调而得，因此，简单来讲，它就是个方方面面都更优的 T5 模型。相同参数量的条件下，FLAN-T5 的性能相比 ......
论文翻译：2023_THLNet: two-stage heterogeneous lightweight network for monaural speech enhancement
论文地址：THLNet: 用于单耳语音增强的两级异构轻量级网络 代码：https://github.com/dangf15/THLNet 引用格式：Dang F, Hu Q, Zhang P. THLNet: two-stage heterogeneous lightweight network f ......
14.AQS的前世，从1990年的论文说起
大家好，我是王有志。在正式开始学习AbstractQueuedSynchronizer前，先来了解下基于队列思想的自旋锁在设计上的演进。 ......
R-Drop论文复现与理论讲解
摘要：基于 Dropout 的这种特殊方式对网络带来的随机性，研究员们提出了 R-Drop 来进一步对（子模型）网络的输出预测进行了正则约束。 本文分享自华为云社区《R-Drop论文复现与理论讲解》，作者： 李长安。 R-Drop: Regularized Dropout for Neural Ne ......
图解 paxos 论文《The Part-Time Parliament》
本文以图文并茂的方式重新演绎 Paxos 开山之作 《The Part-Time Parliament》[1]，并尝试解释原论文中语焉不详的地方。 背景 在 Paxos 小岛上，施行着一种 Parliament(议会) 政治。小岛上执行的所有 decree(法令) 都需要先由 Parliament ......
ViT简述【Transformer】
Transformer在NLP任务中表现很好，但是在CV任务中应用还很有限，基本都是作为CNN的一个辅助，Vit尝试使用纯Transformer结构解决CV的任务，并成功将其应用到了CV的基本任务--图像分类中。 因此，简单而言，这篇论文的主旨就是，用Transformer结构完成图像分类任务。 图 ......
下篇 | 使用 🤗 Transformers 进行概率时间序列预测
在《使用 🤗 Transformers 进行概率时间序列预测》的第一部分里，我们为大家介绍了传统时间序列预测和基于 Transformers 的方法，也一步步准备好了训练所需的数据集并定义了环境、模型、转换和 InstanceSplitter。本篇内容将包含从数据加载器，到前向传播、训练、推理和展 ......
基于 Hugging Face Datasets 和 Transformers 的图像相似性搜索
基于 HuggingFace Datasets 和 Transformers 的图像相似性搜索 通过本文，你将学习使用 🤗 Transformers 构建图像相似性搜索系统。找出查询图像和潜在候选图像之间的相似性是信息检索系统的一个重要用例，例如反向图像搜索 (即找出查询图像的原图)。此类系统试图 ......
一文详解ATK Loss论文复现与代码实战
摘要：该方法的主要思想是使用数值较大的排在前面的梯度进行反向传播，可以认为是一种在线难例挖掘方法，该方法使模型讲注意力放在较难学习的样本上，以此让模型产生更好的效果。 本文分享自华为云社区《ATK Loss论文复现与代码实战》，作者：李长安。 损失是一种非常通用的聚合损失，其可以和很多现有的定义在单 ......
DIVFusion_ Darkness-free infrared and visible image fusion 论文解读
研究 背景： 当前图像融合方法都是针对正常照明的红外与可见光图像设计的，无法有效处理夜景下的情况。 而针对夜景下的融合可以分为以下两个步骤，1 可见光图像增强，2 可见光图像与红外图像融合。但是现存的弱光增强算法与融合算 法存在严重不兼容，简单的组合会导致一系列问题。如何建模消除两种算法的不 ......
Backbone 网络-ResNet 论文解读
残差网络(ResNet)的提出是为了解决深度神经网络的“退化”（优化）问题。ResNet 通过设计残差块结构，调整模型结构，让更深的模型能够有效训练更训练。 ......
【论文笔记】UNet
【深度学习】总目录 语义分割的U-Net网络是2015年诞生的模型，它几乎是当前segmentation项目中应用最广的模型。Unet能从更少的训练图像中进行学习，当它在少于40张图的生物医学数据集上训练时，IOU值仍能达到92%。Unet网络非常简单，前半部分作用是特征提取，后半部分是上采样。在一 ......
【论文笔记】FCN全卷积网络
全卷积网络（FCN）是用于图片语义分割的一种卷积神经网络（CNN），由Jonathan Long，Evan Shelhamer 和Trevor Darrell提出，由此开启了深度学习在语义分割中的应用。语义分割是计算机视觉领域很重要的一个分支，在自动驾驶、地面检测等方面都起到很重要作用。与简单区分前 ......
了解 Transformers 是如何“思考”的
Transformer 模型是 AI 系统的基础。已经有了数不清的关于 "Transformer 如何工作" 的核心结构图表。 但是这些图表没有提供任何直观的计算该模型的框架表示。当研究者对于 Transformer 如何工作抱有兴趣时，直观的获取他运行的机制变得十分有用。 Thinking Lik ......
论文翻译：2020：ECAPA-TDNN: Emphasized Channel Attention, Propagation and Aggregation in TDNN Based Speaker Verification
论文地址：ECAPA-TDNN：在基于TDNN的说话人验证中强调通道注意、传播和聚集 论文代码：https://github.com/TaoRuijie/ECAPA-TDNN 引用格式：Desplanques B, Thienpondt J, Demuynck K. Ecapa-tdnn: Emph ......
论文翻译：2022_Phase-Aware Deep Speech Enhancement: It's All About The Frame Length
论文地址：相位感知深度语音增强:这完全取决于帧长 引用格式：Peer T, Gerkmann T. Phase-aware deep speech enhancement: It's all about the frame length[J]. JASA Express Letters, 2022, ......
论文翻译：2022_Time-Shift Modeling-Based Hear-Through System for In-Ear Headphones
论文地址：基于时移建模的入耳式耳机透听系统 引用格式： 摘要 透传(hear-through，HT)技术是通过增强耳机佩戴者对环境声音的感知来主动补偿被动隔离的。耳机中的材料会减少声音 500Hz以上的高频成分。HT算法利用麦克风和用户耳朵之间的相对传递函数(RTF)产生人造声音，从而弥补环境声音的 ......
论文翻译：2022_2022_TEA-PSE 2.0：Sub-Band Network For Real-Time Personalized Speech Enhancement
论文地址：TEA-PSE 2.0：用于实时个性化语音增强的子带网络 论文代码： 引用： 摘要 个性化语音增强(Personalized speech enhancement，PSE)利用额外的线索，如说话人embeddings来去除背景噪声和干扰语音，并从目标说话人提取语音。此前，Tencent - ......
论文翻译：2022_腾讯DNS 1th TEA-PSE: Tencent-ethereal-audio-lab personalized speech enhancement system for ICASSP 2022 DNS CHALLENGE
论文地址：TEA-PSE: 用于ICASSP 2022 DNS挑战赛的Tencent-ethereal-audio-lab 个性化语音增强系统 论文代码： 引用格式：Ju Y, Rao W, Yan X, et al. TEA-PSE: Tencent-ethereal-audio-lab pers ......
论文翻译：2022_PercepNet+: A Phase and SNR Aware PercepNet for Real-Time Speech Enhancement
博客地址：凌逆战 (转载请注明出处) 论文地址：PercepNet+: 用于实时语音增强的相位和信噪比感知 PercepNet 引用格式： Ge X, Han J, Long Y, et al. PercepNet+: A Phase and SNR Aware PercepNet for Real ......
基于ERNIELayout&pdfplumber-UIE的多方案学术论文信息抽取
基于ERNIELayout&pdfplumber-UIE的多方案学术论文信息抽取，小样本能力强悍，OCR、版面分析、信息抽取一应俱全。 ......
深度学习之Transformer网络
【博主使用的python版本：3.6.8】 本次没有额外的资料下载 Packages import tensorflow as tf import pandas as pd import time import numpy as np import matplotlib.pyplot as plt ......
transforms模块—PyTorch图像处理与数据增强方法
计算机视觉任务中，对图像的变换（Image Transform）往往是必不可少的操作，例如在迁移学习中，需要对图像尺寸进行变换以使用预训练网络的输入层，又如对数据进行增强以丰富训练数据。
作为深度学习领域的主流框架，pytorch中提供了丰富的图像变换API。本文将对pytorch中torchvi... ......
Raft一致性共识算法论文学习
论文地址：https://pdos.csail.mit.edu/6.824/papers/raft-extended.pdf 看完raft共识算法，脑袋非常懵，所以写一篇学习笔记，记录一下。 raft算法主要解决三个模块的问题：领导人选举、日志复制和安全性。当然除了这三个方面，论文对于raft的安全 ......
Google分布式文件系统GFS论文学习
GFS作为最著名的分布式文件系统，首先具备了大规模、可扩展、适配大文件、自动运维等高级特性。虽然是比较早期的分布式文件系统，但是它里面的设计思想还是值得现代分布式系统设计参考的，并且还有很多后期著名的分布式文件系统就是根据 GFS 来的。 一、设计预期 在论文前面，列举了设计预期，也就是 GFS 是 ......
Ventoy制作启动盘和使用VMware测试启动盘（论文版）
Ventoy是可用于制作启动U盘的开源工具，在占用少量引导分区容量后，其他空间依旧可以正常当一般的U盘读写文件。它的最大特点是只要将iso、win、img、efi等之类的镜像文件和引导文件移动到U盘中。比如导出微PE、杏雨梨云的可启动iso镜像文件，移动到U盘中，在启动时选择微PE、杏雨梨云任意一个... ......