transformation线性
三十分钟理解：线性插值，双线性插值Bilinear Interpolation算法
https://blog.csdn.net/xbinworld/article/details/65660665 ......
论文解读（Moco v3）《An Empirical Study of Training Self-Supervised Vision Transformers》
论文信息 论文标题：Improved Baselines with Momentum Contrastive Learning论文作者：Xinlei Chen, Saining Xie, Kaiming He论文来源：2021 ICCV论文地址：download 论文代码：download引用次数： ......
【手搓模型】亲手实现 Vision Transformer
🚩前言 🐳博客主页：😚睡晚不猿序程😚 ⌚首发时间：2023.3.17，首发于博客园 ⏰最近更新时间：2023.3.17 🙆本文由 睡晚不猿序程 原创 🤡作者是蒻蒟本蒟，如果文章里有任何错误或者表述不清，请 tt 我，万分感谢！orz 相关文章目录 ：无 目录 1. 内容简介 最近在准备使 ......
王树森Transformer学习笔记
Transformer Transformer是完全由Attention和Self-Attention结构搭建的深度神经网络结构。 其中最为重要的就是Attention和Self-Attention结构。 Attention结构 Attention Layer接收两个输入$X = [x_1, x_2 ......
使用 DeepSpeed 和 Hugging Face 🤗 Transformer 微调 FLAN-T5 XL/XXL
Scaling Instruction-Finetuned Language Models 论文发布了 FLAN-T5 模型，它是 T5 模型的增强版。FLAN-T5 由很多各种各样的任务微调而得，因此，简单来讲，它就是个方方面面都更优的 T5 模型。相同参数量的条件下，FLAN-T5 的性能相比 ......
非线性优化问题基本形式概述
非线性优化问题以及在视觉SLAM中的应用 1.0 最小二乘基础概念 定义 $\quad$ 找到一个 n 维的变量 $\mathbf{x}^{*} \in \mathbb{R}^{n}$ , 使得损失函数 $F(\mathbf{x})$ 取局部最小值： $$ F(\mathbf{x})=\frac{1 ......
【数据结构与算法学习】线性表（顺序表、单链表、双向链表、循环链表）
实现语言：C++ 1. 线性表相关概念 线性表（Linear List） 是由n(n≥0)个具有相同特性（数据类型）的数据元素（结点）a1，a2，...，ai-1，ai，ai+1，...，an组成的有限序列。 其中，a1为线性起点（起始结点），an为线性终点（终端结点）。对于每一个数据元素ai，我们 ......
线性表的顺序存储C++代码
我学习顺序表时找不到相关的代码，以及我不清楚写一个线性表需要的知识，当我写出来可以使用的线性表我就把这些内容贴了出来。 前置知识点：结构体，常量指针，new和delete 顺序表的特点： 需要一片连续的存储空间 逻辑上相连的数据的存储位置也是相邻的。 所以如果我们想要创建一个顺序表我们需要做两件 ......
ViT简述【Transformer】
Transformer在NLP任务中表现很好，但是在CV任务中应用还很有限，基本都是作为CNN的一个辅助，Vit尝试使用纯Transformer结构解决CV的任务，并成功将其应用到了CV的基本任务--图像分类中。 因此，简单而言，这篇论文的主旨就是，用Transformer结构完成图像分类任务。 图 ......
下篇 | 使用 🤗 Transformers 进行概率时间序列预测
在《使用 🤗 Transformers 进行概率时间序列预测》的第一部分里，我们为大家介绍了传统时间序列预测和基于 Transformers 的方法，也一步步准备好了训练所需的数据集并定义了环境、模型、转换和 InstanceSplitter。本篇内容将包含从数据加载器，到前向传播、训练、推理和展 ......
基于 Hugging Face Datasets 和 Transformers 的图像相似性搜索
基于 HuggingFace Datasets 和 Transformers 的图像相似性搜索 通过本文，你将学习使用 🤗 Transformers 构建图像相似性搜索系统。找出查询图像和潜在候选图像之间的相似性是信息检索系统的一个重要用例，例如反向图像搜索 (即找出查询图像的原图)。此类系统试图 ......
多特征线性回归
多特征线性回归 在单特征线性回归模型中，我们通过一个特征对目标变量进行预测，例如通过房子的大小来预测房价。但实际现实生活中，影响房价的因素往往不止面积一个，例如还有房间数、楼层、位置等等，所以我们需要用到多特征的模型来对房价进行预测。 一、规定符号 xj：第j个特征 n：特征的数量 x(i)：第i个 ......
动态规划 线性DP
动态规划程序设计是对解最优化问题的一种途径、一种方法，而不是一种特殊算法。不像前面所述的那些搜索或数值计算那样，具有一个标准的数学表达式和明确清晰的解题方法。动态规划程序设计往往是针对一种最优化问题，由于各种问题的性质不同，确定最优解的条件也互不相同，因而动态规划的设计方法对不同的问题，有各具特色的 ......
了解 Transformers 是如何“思考”的
Transformer 模型是 AI 系统的基础。已经有了数不清的关于 "Transformer 如何工作" 的核心结构图表。 但是这些图表没有提供任何直观的计算该模型的框架表示。当研究者对于 Transformer 如何工作抱有兴趣时，直观的获取他运行的机制变得十分有用。 Thinking Lik ......
线性方程组的直接解法——Gauss消去法
考虑线性方程组 $$\mathrm{A}x=\mathrm{b}$$ 其中，$\mathrm{A}=(a_{ij}){n\times n}$，$\mathrm{b}=[b_1,b_2,\cdots,b_n]^{\mathrm{T}}$。在线性代数的课程中，我们已经学习过Gauss消元法，具体操作是将 ......
深度学习之Transformer网络
【博主使用的python版本：3.6.8】 本次没有额外的资料下载 Packages import tensorflow as tf import pandas as pd import time import numpy as np import matplotlib.pyplot as plt ......
transforms模块—PyTorch图像处理与数据增强方法
计算机视觉任务中，对图像的变换（Image Transform）往往是必不可少的操作，例如在迁移学习中，需要对图像尺寸进行变换以使用预训练网络的输入层，又如对数据进行增强以丰富训练数据。
作为深度学习领域的主流框架，pytorch中提供了丰富的图像变换API。本文将对pytorch中torchvi... ......
Huggingface之transformers零基础使用指南
前几篇博文中介绍了Transformer，由于其优越的性能表现，在工业界使用的越来越广泛，同时，配合迁移学习理论，越来越多的Transformer预训练模型和源码库逐渐开源，Huggingface就是其中做的最为出色的一家机构。Huggingface是一家在NLP社区做出杰出贡献的纽约创业公司，其所... ......
【机器学习】李宏毅——Transformer
本文详细地介绍了Transformer算法，介绍了其内部重要的Encoder和Decoder，以及具体的实现过程和原理，还介绍了其训练过程以及训练过程中应该注意的种种问题。 ......
【机器学习】李宏毅——线性降维
降维，可以用下面这张图来很简单的描述，就是将不同的、复杂的多种树都抽象成最简单的树的描述，也就是我们不关心这棵树长什么样子有什么特别的特征，我们只需要降维，知道它是一棵树即可。 维度下降实际上就是找到一个function，使得输入x得到输出z，而输出z的维度要比输入x的维度小。具体有几种方面，下面就 ......
动态规划篇——线性DP
动态规划篇——线性DP 本次我们介绍动态规划篇的线性DP，我们会从下面几个角度来介绍： 数字三角形 最长上升子序列I 最长上升子序列II 最长公共子序列 最短编辑距离 数字三角形 我们首先介绍一下题目： /*题目概述*/ 给定一个如下图所示的数字三角形，从顶部出发，在每一结点可以选择移动至其左下方的 ......
flutter系列之:flutter中的变形金刚Transform
简介 虽然我们在开发APP的过程中是以功能为主，但是有时候为了美观或者其他的特殊的需求，需要对组件进行一些变换。在Flutter中这种变换就叫做Transform。 flutter的强大之处在于，可以对所有的widget进行Transform，因此可以做出非常酷炫的效果。 Transform简介 在 ......
线性时间选择(含平均O(n)和最坏O(n)算法)
#前言 本篇文章我将介绍 期望为线性时间 的选择算法和 最坏情况为线性时间 的选择算法，即分别为 平均情况下时间复杂度为O(n) 和 最坏情况下时间复杂度为O(n) 的线性时间选择。以下包含了我自己的全部思考和学习过程，参考书籍为 算法导论(第三版)。😊 (本文作者： Amαdeus，未经允许不得 ......