transformer年度 网友 论文
2023年度总结
知识学习建设方面 今年年初最主要的任务是将复刻了一个智能旋钮的项目，并且抽空将我去年毕业设计给升级了一下，在升级过程中更加深入学习了ESP32部分功能如：[[ESP32-两种有趣的wifi连接方式]]。 后续由于工作的重心，所以后大半年都在深入理解学习嵌入式的相关知识，并且提高自己的代码质量。提高自 ......
SHARPNESS-AWARE MINIMIZATION FOR EFFICIENTLY IMPROVING GENERALIZATION论文阅读笔记
Intro 在训练集上最小化损失很可能导致泛化性低，因为当今模型的过参数化会导致training loss的landscape异常复杂且非凸，包含很多local/global minima，因此优化器的选择至关重要。loss landscape的几何性质（特别是minima的flatness）与泛化 ......
CF1506D - Epic Transformation
思路 用优先队列模拟 ac代码 #include <bits/stdc++.h> using namespace std; using i64 = long long; const i64 inf = 8e18; typedef pair<int, int> pii; const int N = 5 ......
持续构建行业影响力|HarmonyOS SDK荣膺年度“技术卓越”奖项
自2023年9月华为宣布鸿蒙原生应用全面启动以来，HarmonyOS SDK通过将HarmonyOS系统级能力对外开放，支撑开发者高效打造更纯净、更智能、更精致、更易用的鸿蒙原生应用，和开发者共同成长。 通过在开发者社区和HarmonyOS开发者持续的内容共创与技术交流互动，HarmonyOS SD ......
持续构建行业影响力|HarmonyOS SDK荣膺年度“技术卓越”奖项
自 2023 年 9 月华为宣布鸿蒙原生应用全面启动以来，HarmonyOS SDK 通过将 HarmonyOS 系统级能力对外开放，支撑开发者高效打造更纯净、更智能、更精致、更易用的鸿蒙原生应用，和开发者共同成长。 通过在开发者社区和 HarmonyOS 开发者持续的内容共创与技术交流互动，Har ......
LLM series: Transformer
🥥 Homepage Dataset, DataLoader, and Transforms Model Traning Model 🥑 Get Started! Import libraries: import torch import torch.nn as nn import torch. ......
美国财团是如何控制美国教育界的 —— 哈佛史上最短任期！53岁女校长宣布辞职，博士论文被指抄袭
相关： 哈佛史上最短任期！53岁女校长宣布辞职，博士论文被指抄袭 ......
[论文阅读] Self-conditioned Image Generation via Generating Representations
Pre title: Self-conditioned Image Generation via Generating Representations accepted: arXiv 2023 paper: https://arxiv.org/abs/2312.03701 code: https:/ ......
Learning Dynamic Query Combinations for Transformer-based Object** Detection and Segmentation论文阅读笔记
Motivation & Intro 基于DETR的目标检测范式（语义分割的Maskformer也与之相似）通常会用到一系列固定的query，这些query是图像中目标对象位置和语义的全局先验。如果能够根据图像的语义信息调整query，就可以捕捉特定场景中物体位置和类别的分布。例如，当高级语义显示图 ......
[NLP复习笔记] Transformer
1. Transformer 概述 1.1 整体结构 \(\text{Transformer}\) 主要由 \(\text{Encoder}\) 和 \(\text{Decoder}\) 两个部分组成。\(\text{Encoder}\) 部分有 \(N = 6\) 个相同的层，每层包含 一个 \( ......
C#创历史成为2023年度编程语言！！！
大家好，我是沙漠尽头的狼。在朋友圈看到桂素伟大佬发的喜讯截图，站长赶紧翻译向大家报喜，确定了-C#是2023年度的编程语言！ 在TIOBE指数的历史上，C#首次获得了年度编程语言的奖项。祝贺！二十多年来，C#一直是前10名的选手，现在它正在追赶四大语言，它以一年内最大的涨幅（+1.43%）赢得了这一 ......
C# 成为2023年度编程语言之王
原文发表在公众号 腾讯云开发者：https://mp.weixin.qq.com/s/5owE5hmJVkwOLJrKMXfR6Q导读2023 TIOBE 年度编程语言正式揭晓，C# 在陪跑多年后首次斩获这一殊荣。TIOBE表示，C#在 Web 应用后端和游戏等领域变得持续流行，并开始蚕食 Java ......
论文写作方法
公式居中编号靠右 https://www.bilibili.com/video/BV1Xd4y1Z7Xi/?spm_id_from=333.337.search-card.all.click&vd_source=f0c0211a242fdec2b56aa48b9d63c70e 公式编辑器：matht ......
RNN 和 Transformer 复杂度比较
这里假设BatchSize为 1，就是单样本的情况。 原始 RNN 块： （1）单步计算 H，包含两个矩阵向量乘法，和一个激活，复杂度HidSize² （2）一共有SeqLen步，所以整体复杂度SeqLen * HidSize² LSTM 块： （1）单步计算 F I C_hat O，包含八个矩阵向 ......
挑战Transformer的新架构Mamba解析以及Pytorch复现
今天我们来详细研究这篇论文“Mamba:具有选择性状态空间的线性时间序列建模” Mamba一直在人工智能界掀起波澜，被吹捧为Transformer的潜在竞争对手。到底是什么让Mamba在拥挤的序列建中脱颖而出? 在介绍之前先简要回顾一下现有的模型 Transformer:以其注意力机制而闻名，其中序 ......
【略读论文|大模型相关】Zero-Shot Relational Learning on Temporal Knowledge Graphs with Large Language Models
时间：2023 学校：慕尼黑大学 创新点： 1.据我们所知，这是第一个试图在TKGF背景下研究零射击关系学习的工作。 2.我们设计了一种基于llm的方法zrLLM，并设法在零射击关系推理中增强各种基于嵌入的TKGF模型。 3.实验结果表明，zrLLM有助于大大提高所有考虑的TKGF模型对包含未见零射 ......
《Span-Based Joint Entity and Relation Extraction with Transformer Pre-Training》阅读笔记
代码 原文地址 预备知识： 1.什么是束搜索算法（beam search）? beam search是一种用于许多自然语言处理和语音识别模型的算法，作为最终决策层，用于在给定目标变量(如最大概率或下一个输出字符)的情况下选择最佳输出。 2.什么是条件随机场（Conditional Random Fi ......
2023 北京国炬软件年度总结—JeecgBoot与敲敲云
2023年对于北京国炬软件公司来说是一个充满成就和创新的一年。 我们成功推出了APass零代码平台—敲敲云，一款能够在5分钟内搭建应用的新一代零代码平台。自2023年1月1号正式上线以来，敲敲云已经突破了10万注册用户，并与数百家战略合作伙伴达成合作。这标志着我们在零代码领域取得了重大突破，为客户提 ......
机器学习周刊 第4期：动手实战人工智能、计算机科学热门论文、免费的基于ChatGPT API的安卓端语音助手、每日数学、检索增强 (RAG) 生成技术综述
LLM开发者必读论文：检索增强（RAG）生成技术综述！ 目录： 1、动手实战人工智能 Hands-on Al 2、huggingface的NLP、深度强化学习、语音课 3、Awesome Jupyter 4、计算机科学热门论文 5、LLM开发者必读论文:检索增强 (RAG) 生成技术综述 6、App ......
机器学习周刊03:如何学习深度学习？2024 年学习生成式 AI 路线图、如何构建高效的RAG系统、苹果 腾讯最新论文、阿里DreaMoving
腾讯推出的 AppAgent，是一个多模态智能体，通过识别当前手机的界面和用户指令直接操作手机界面，能像真实用户一样操作手机！ 机器学习周刊：关注Python、机器学习、深度学习、大模型等硬核技术 1、如何学习深度学习？ 最近X上有推友重提这篇文章，是网友看过 Jeremy 教授的 fast.ai ......
确定了-C#是2023年度的编程语言！
大家好，我是沙漠尽头的狼。在朋友圈看到桂素伟大佬发的喜讯截图，站长赶紧翻译向大家报喜，确定了-C#是2023年度的编程语言！ 在TIOBE指数的历史上，C#首次获得了年度编程语言的奖项。祝贺！二十多年来，C#一直是前10名的选手，现在它正在追赶四大语言，它以一年内最大的涨幅（+1.43%）赢得了这一 ......
2023年度总结
这一年可以说是这么多年来，我第一次花时间去细细回顾过往，这是被裁员意外带来的机会，过去的我好像过得总是那么的漫不经心，偶尔去思考一些事，也是想想就过去了，没有去深究过什么。比如说，过去失败的面试经历，我总是死磕在技术方面，总觉得说自己要在技术方面多精进一点，当然这也没什么错，只是说我忽视了其他一些同 ......
ICLR 2022: Anomaly Transformer论文阅读笔记+代码复现
本论文全名为Anomaly Transformer: Time Series Anomaly Detection with Association Descrepancy（通过关联差异进行时序异常检测），主要提出了一种无监督的异常点检测算法，并在6个benchmarks上测试，获取良好结果。 论文链 ......
NeurIPS 2023 | 腾讯 AI Lab 18 篇入选论文解读
前言 NeurIPS 2023（Neural Information Processing Systems）神经信息处理系统大会是当前全球最负盛名的 AI 学术会议之一，将于 12 月 10 日在美国新奥尔良召开。官方信息显示，本届会议共有 12343 篇有效论文投稿，接收率为 26.1％，略高于 ......
re | 植物大战僵尸年度版gdi僵尸位置画框
re | 植物大战僵尸年度版gdi僵尸位置画框 最近写的东西，随便练练手，绘制的部分上一个博客中有精简版本。 程序使用的是僵尸结构体线性数组，取僵尸的部分写的非常优雅，感兴趣的可以去逆一下看看。 效果： 代码如下： #include <Windows.h> WCHAR szTitle[] = L"m ......
2023年 年度总结
2024 年度目标 ：项目，算法 就是做项目，我要完成那个平台跳跃游戏，我不管什么面试基本的需知什么的，我就做东西。 算法，排序，图论等等是重点。 现在2024年1月4日 和南京数字元信息科技有限公司的事情还没结束，甚至是还没正式开始。申请了仲裁，还在等待立案通知和回执。工作了近四个月，社保是一毛没 ......
年度总结
dw的年度总结 一月 在家收到了学校“cidp”比赛的奖励。在家过年，记得这时候还在学linux系统编程和网络编程（一堆api），对于select、poll、epoll看的有点懵。过完年，准备把小病处理一下。这时候好像入手了三国杀，当时被大宝的各种梗吸引，先是在云游戏体验了一下，发现还不错，后面 ......
关于2023 年度总结
关于2023 年度总结 前言 看到大家在近期都在忙着写年度总结报告，晚上睡不着，所以心血来潮也想着写下一篇年度总结，来预示着2023悄悄地的落下帷幕。 感想 今年经历了太多的变故，以至于无法言表。 相比于这一年里接触了不少以前从未接触过的事物，虽然部分事情可能是被动式接触，无可厚非的是在经历这么多事 ......
概率霍夫变换（Progressive Probabilistic Hough Transform）原理详解
概率霍夫变换（Progressive Probabilistic Hough Transform）的原理很简单，如下所述： 1.随机获取边缘图像上的前景点，映射到极坐标系画曲线； 2.当极坐标系里面有交点达到最小投票数，将该点对应x-y坐标系的直线L找出来； 3.搜索边缘图像上前景点，在直线L上的点 ......
5、flink任务中可以使用哪些转换算子（Transformation）
5、flink任务中可以使用哪些转换算子（Transformation） <div id="content_views" class="htmledit_views"> <h1>1、什么是Flink中的转换算子</h1> 在使用 Flink DataStream API 开发流式计算任务时，可以将一 ......