transformer时代rwkv rnn
CF1506D - Epic Transformation
思路 用优先队列模拟 ac代码 #include <bits/stdc++.h> using namespace std; using i64 = long long; const i64 inf = 8e18; typedef pair<int, int> pii; const int N = 5 ......
14-与世界相交, 与时代相通
“给定资料 5” 中提到 “我们与世界相交, 与时代相通, 才能让一切保值增值, 更添赋流通的美”, 请结合你对这句话的理解, 自选角度, 联系实际, 写一篇文章。 (40分)要求: (1) 立意明确, 结构完整; (2) 思路清晰, 语言流畅; (3) 参考 “给定资料”, 但不拘泥于 “给定资料 ......
人工智能应用的“繁花时代”，各大企业何以破局AI模型挑战
AI技术的崛起，为各行业发展带来巨大变革和超强的创新潜力。然而，各大企业在拥抱AI的进程中并非一路坦途，“繁花盛开”的背后隐藏着AI模型生产与管理环节的诸多痛点。 先来看看部分金融企业在人工智能技术的应用现状：工商银行运用超过2200个智能模型，通过OCR技术实现支票、业务委托书等业务凭证要素的 ......
LLM series: Transformer
🥥 Homepage Dataset, DataLoader, and Transforms Model Traning Model 🥑 Get Started! Import libraries: import torch import torch.nn as nn import torch. ......
走进3D时代：小区楼盘的视觉盛宴
随着科技的飞速发展，我们的生活正经历着前所未有的变革。曾经，我们只能通过文字和二维图片来了解楼盘的布局和设计；而今，3D技术的引入，让这一切变得栩栩如生。 ......
Learning Dynamic Query Combinations for Transformer-based Object** Detection and Segmentation论文阅读笔记
Motivation & Intro 基于DETR的目标检测范式（语义分割的Maskformer也与之相似）通常会用到一系列固定的query，这些query是图像中目标对象位置和语义的全局先验。如果能够根据图像的语义信息调整query，就可以捕捉特定场景中物体位置和类别的分布。例如，当高级语义显示图 ......
[NLP复习笔记] Transformer
1. Transformer 概述 1.1 整体结构 \(\text{Transformer}\) 主要由 \(\text{Encoder}\) 和 \(\text{Decoder}\) 两个部分组成。\(\text{Encoder}\) 部分有 \(N = 6\) 个相同的层，每层包含 一个 \( ......
CHATGPT官网正式上线：智能对话体验新时代
CHATGPT官网的正式上线标志着智能对话技术的新时代。该平台运用先进的人工智能算法，提供了一个高度互动的对话环境，用户可以与AI进行自然流畅的交流。CHATGPT强调其对话系统不仅能够理解和回应用户的输入，还能够根据上下文进行学习和适应，使得每次对话都更加个性化和有针对性。 随着CHATGPT的推 ......
RNN 和 Transformer 复杂度比较
这里假设BatchSize为 1，就是单样本的情况。 原始 RNN 块： （1）单步计算 H，包含两个矩阵向量乘法，和一个激活，复杂度HidSize² （2）一共有SeqLen步，所以整体复杂度SeqLen * HidSize² LSTM 块： （1）单步计算 F I C_hat O，包含八个矩阵向 ......
数字化时代下的数字化资产及其治理 |京东云技术团队
1 什么是数字化资产 维克托·迈尔·舍恩伯格在《大数据时代》中提到：“虽然数据还没有被列入企业的资产负债表，但这只是一个时间问题。”数据资源将和土地、人力、资金等生产要素一样，成为企业的资产。业界对于数据资产的定义是企业或组织拥有或控制的，能在未来带来经济利益的数据资源。 数字化资产是指由企业拥有或 ......
挑战Transformer的新架构Mamba解析以及Pytorch复现
今天我们来详细研究这篇论文“Mamba:具有选择性状态空间的线性时间序列建模” Mamba一直在人工智能界掀起波澜，被吹捧为Transformer的潜在竞争对手。到底是什么让Mamba在拥挤的序列建中脱颖而出? 在介绍之前先简要回顾一下现有的模型 Transformer:以其注意力机制而闻名，其中序 ......
《Span-Based Joint Entity and Relation Extraction with Transformer Pre-Training》阅读笔记
代码 原文地址 预备知识： 1.什么是束搜索算法（beam search）? beam search是一种用于许多自然语言处理和语音识别模型的算法，作为最终决策层，用于在给定目标变量(如最大概率或下一个输出字符)的情况下选择最佳输出。 2.什么是条件随机场（Conditional Random Fi ......
徐扬生：GPT时代，如何为未来教育做加减法？
一：人工智能时代带来的几大变化 人工智能时代的来临，为世界各领域带来的诸多剧变。 1.大量白领工作和社会中层的消失 在我们这个时代如何培养一流的人才，也就是创新型人才？我认为，真正的人工智能不是来代替体力劳动的，而是来代替白领的，代替社会中层的那部分人。做了一辈子老师，我们一直在培养什么样的后代呢？ ......
[NLP复习笔记] RNN、LSTM
1. RNN 1.1 RNN 简介 循环神经网络（\(\text{Recurrent Neural Network}\)，简称 \(\text{RNN}\)）是一种用于处理序列数据的神经网络。其核心思想是使用循环结构来保持一个内部状态，这个状态理论上可以捕获到目前为止的全部信息流。\(\text{R ......
从RNN到Transformmer
下面是整理的一个思维导图 2010年Mikolov提出了RNN网络，RNN网络存在长距离依赖(梯度消失)，计算效率(RNN 难以并行)两个问题 2017年Transformmer网络结构问世，Transformer 网络架构架构由 Ashish Vaswani 等人在 Attention Is Al ......
ICLR 2022: Anomaly Transformer论文阅读笔记+代码复现
本论文全名为Anomaly Transformer: Time Series Anomaly Detection with Association Descrepancy（通过关联差异进行时序异常检测），主要提出了一种无监督的异常点检测算法，并在6个benchmarks上测试，获取良好结果。 论文链 ......
CES 2024前瞻：PC迈入AI时代
备受瞩目的2024年消费电子展(CES)将于美国西部时间1月9日在拉斯维加斯开幕，即将登场的大量突破性技术进步令人期待不已。 尤其是在今年，AI人工智能当仁不让地成为焦点，由AI赋能的各类产品将覆盖人们生活的方方面面。 根据已有消息，包括华硕、戴尔、NVIDIA、三星、英特尔、AMD、海信、联想等在 ......
数据可视化在大数据时代对我们来说意味着什么？
数据可视化在大数据时代对我们来说意味着一场信息的革命，是一扇通向数据世界的透明之窗。它不仅仅是一种技术工具，更是一种改变我们对信息理解方式的思想变革。那么，数据可视化究竟在大数据时代对我们有着怎样深远的意义呢？下面我就以可视化从业者的角度来简单聊聊这个话题。 在这个信息爆炸的时代，大数据如潮水般汹涌 ......
概率霍夫变换（Progressive Probabilistic Hough Transform）原理详解
概率霍夫变换（Progressive Probabilistic Hough Transform）的原理很简单，如下所述： 1.随机获取边缘图像上的前景点，映射到极坐标系画曲线； 2.当极坐标系里面有交点达到最小投票数，将该点对应x-y坐标系的直线L找出来； 3.搜索边缘图像上前景点，在直线L上的点 ......
转载：量子计算时代下隐私计算面临的新挑战
文章：量子计算时代下隐私计算面临的新挑战 量子计算带来的威胁 安全多方计算和联邦学习作为隐私计算的两条重要实现路径，其协议的安全性主要取决于底层密码算法的安全性。以广泛应用的隐私集合求交（Private Set Intersection，PSI）和联邦学习 XGBoost 算法为例，当前的 PSI ......
开源协助平台工程灵活应对多云时代的挑战
平台工程通过标准化控制和灵活性保障了开发实践。但是，随着平台工程的兴起，开源战略又该如何融入其中呢？ 虽然平台工程没有一刀切的方法，但越来越明显的是，开源软件和技术对平台工程的成功绝对至关重要——这一点我将在本文稍后部分详细阐述。首先，让我们迅速深入探讨一下为什么关于平台工程的宣传是合理的。 平台工 ......
5、flink任务中可以使用哪些转换算子（Transformation）
5、flink任务中可以使用哪些转换算子（Transformation） <div id="content_views" class="htmledit_views"> <h1>1、什么是Flink中的转换算子</h1> 在使用 Flink DataStream API 开发流式计算任务时，可以将一 ......
大数据时代下数据可视化的火热给了我们什么启发？
大数据时代下，数据可视化以其直观、生动的方式吸引了众多关注，这不仅是一场技术的革新，更是一场信息传递方式的变革。这场火热的数据可视化潮流给了我们诸多启发，让我们不得不重新审视信息的表达与沟通的本质。下面我就从可视化从业者的角度，来简单讨论一下这个话题。 首先，信息传递需要更直观的语言。在大数据时代， ......
AI电商时代开始：阿里能否反杀拼多多
“AI电商时代刚刚开始，对谁都是机会，也是挑战。” 针对阿里员工对于拼多多财报和电商等的讨论，马云在阿里内网罕见地参与了谈论并发言。 阿里巴巴一向雷厉风行，已打响了AI电商的“第一炮”。 淘宝将举集团科技和数据能力，升级所有现有商家工具，并创造AI时代全新的用户产品和服务，同时对内发布了淘天自己的大 ......
Visual Transformer 与归纳偏置
开端 ViT（Visual Transformer）是 2020 年 Google 团队提出的将 Transformer 应用在图像分类的模型，但是当训练数据集不够大的时候，ViT 的表现通常比同等大小的 ResNets 要差一些。 为什么呢？寻找答案的过程中，发现了 归纳偏置 这个概念。 在阅读 ......
transformers 系列
Attention 注意力机制【1】-入门篇 注意力机制【2】- CV中的注意力机制 注意力机制【3】-Self Attention 注意力机制【4】-多头注意力机制 注意力机制【5】Scaled Dot-Product Attention 和 mask attention 注意力机制【6】-tra ......
Pandas - apply、agg、transform 函数
apply：行或列的操作。 agg：聚合，可以传递字典，对多个列使用不同的函数。最终结果可能会合并，与原 DataFrame 列长度不保持一致。 transform：转换，也可以对多个列使用不同的函数。但是最终结果与原 DataFrame 列长度保持一致，不会聚合。 ......
Swin Transformer
Swin Transformer 目录Swin Transformer简介VIT的缺陷核心创新总体结构和运作网络细节Patch partitionLinear EmbeddingPatch MergingSwin Block模块W-MSASW-MSAAttention Mask计算成本分析主要优势S ......
VIT Vision Transformer
VIT Vision Transformer 目录VIT Vision TransformerViT模型结构图像划分PatchLinear Projection of Flatted PatchesPatch+Position Embedding分类向量和位置向量EncoderMLP Head（全连 ......
DETR基于Transformer目标检测
DETR基于Transformer目标检测 目录DETR基于Transformer目标检测DETR网络结构和NLP Transformer对比Object QueryFFN为什么DETR不需要NMS优缺点参考资料 DETR首次将Transformer应用到了目标检测任务中。图像会先经过一个传统的CN ......