deepspeed-moe deepspeed笔记 论文
使用 DeepSpeed 和 Hugging Face 🤗 Transformer 微调 FLAN-T5 XL/XXL
Scaling Instruction-Finetuned Language Models 论文发布了 FLAN-T5 模型，它是 T5 模型的增强版。FLAN-T5 由很多各种各样的任务微调而得，因此，简单来讲，它就是个方方面面都更优的 T5 模型。相同参数量的条件下，FLAN-T5 的性能相比 ......
Django笔记三之使用model对数据库进行增删改查
本篇笔记目录索引如下： model 准备 增 查 删 改 1、model 准备 在上一篇笔记中，我们新建了一个 application，增加了几个model 同步到了数据库，这次我们新建一个名为 blog 的application，同步数据结构。 大概分为以下几步： python3 manage.p ......
Django笔记二之连接数据库、执行migrate数据结构更改操作
本篇笔记目录索引如下： Django 连接mysql，执行数据库表结构迁移步骤介绍 操作数据库，对数据进行简单操作 接下来几篇笔记都会介绍和数据库相关，包括数据库的连接、操作（包括增删改查）、对应的字段类型、model 里Meta 相关参数和 QueryAPI 的详解等。 这一篇先介绍数据库的连接和 ......
TypeScript 学习笔记 — 类型兼容 （十）
TS 是结构类型系统（structural type system），基于结构/形状检查类型，而非类型的名字。 TS 中的兼容性，主要看**结构是否兼容**。(核心是考虑安全性),结构化的类型系统(又称鸭子类型检查),如两个类型名字不一样但是无法区分 类型兼容性是基于结构子类型的。 结构类型是一种只 ......
《操作系统导论》读书笔记1——CPU虚拟化，进程
系列文章目录和关于我 一丶CPU的虚拟化 一个桃子，我们称之为物理（physical）桃子。但有很多想吃这个桃子的 人，我们希望向每个想吃的人提供一个属于他的桃子，这样才能皆大欢喜。我们把给每个 人的桃子称为虚拟（virtual）桃子。我们通过某种方式，从这个物理桃子创造出许多虚拟桃子。重要的是，在 ......
Asp-Net-Core开发笔记：使用RateLimit中间件实现接口限流
前言 最近一直在忙（2月份沉迷steam，3月开始工作各种忙），好久没更新博客了，不过也积累了一些，忙里偷闲记录一下。 这个需求是这样的，我之前做了个工单系统，现在要对登录、注册、发起工单这些功能做限流，不能让用户请求太频繁。 从 .Net7 开始，已经有内置的限流功能了，但目前我们的项目还在使用 ......
JUC源码学习笔记8——ConcurrentHashMap源码分析1 如何实现低粒度锁的插入，如何实现统计元素个数，如何实现并发扩容迁移
源码基于jdk1.8 这一片主要讲述ConcurrentHashMap如何实现低粒度锁的插入，如何实现统计元素个数，如何实现并发扩容迁移 系列文章目录和关于我 一丶ConcurrentHashMap概述 支持高并发读写的哈希表，ConcurrentHashMap中每一个方法都是线程安全的，并且读数据 ......
论文翻译：2023_THLNet: two-stage heterogeneous lightweight network for monaural speech enhancement
论文地址：THLNet: 用于单耳语音增强的两级异构轻量级网络 代码：https://github.com/dangf15/THLNet 引用格式：Dang F, Hu Q, Zhang P. THLNet: two-stage heterogeneous lightweight network f ......
「学习笔记」平衡树基础：Splay 和 Treap
「学习笔记」平衡树基础：Splay 和 Treap 点击查看目录 知识点 平衡树概述 二叉搜索树（BST）的简单定义： 根节点的左子树权值 $<$ 根节点权值 $<$ 根节点的右子树权值； 左子树和右子树均为二叉搜索树。 这样的数据结构可以维护一个集合的以下操作： 查找最小/最大值； 插入一个元素； ......
几种类型神经网络学习笔记
跟随【导师不教？我来教！】同济计算机博士半小时就教会了我五大深度神经网络，CNN/RNN/GAN/transformer/LSTM一次学会，简直不要太强！_哔哩哔哩_bilibili了解的五大神经网络，整理笔记如下： 视频是唐宇迪博士讲解的，但是这个up主发的有一种东拼西凑的感觉，给人感觉不是很完整 ......
14.AQS的前世，从1990年的论文说起
大家好，我是王有志。在正式开始学习AbstractQueuedSynchronizer前，先来了解下基于队列思想的自旋锁在设计上的演进。 ......
Qt开发技术：Q3D图表开发笔记（一）：Q3DScatter三维散点图介绍、Demo以及代码详解
前言 qt提供了q3d进行三维开发，虽然这个框架没有得到大量运用也不是那么成功，性能上也有很大的欠缺，但是普通的点到为止的应用展示还是可以的。 其中就包括华丽绚烂的三维图表，数据量不大的时候是可以使用的。 Demo：Q3DScatter散点图演示效果 Q3D提供的三维图表 依赖QtDataVisua ......
算法学习笔记(18): 平衡树（一）
平衡树 建议在清楚二叉搜索树的所有操作之后食用本文。本文将略过部分基础知识 本文主要会讲到4中较常用的平衡树： Treap FHQ-Treap（无旋Treap） Splay WBLT 其实WBLT不怎么常用，但是我个人最喜欢用 我将会在另一篇文章中讲述其他的平衡树，如AVL，红黑树，替罪羊树等。 可 ......
R-Drop论文复现与理论讲解
摘要：基于 Dropout 的这种特殊方式对网络带来的随机性，研究员们提出了 R-Drop 来进一步对（子模型）网络的输出预测进行了正则约束。 本文分享自华为云社区《R-Drop论文复现与理论讲解》，作者： 李长安。 R-Drop: Regularized Dropout for Neural Ne ......
计网学习笔记三 MAC与LAN
在上一讲中，我们学习了链路层可以提供的服务😶：framing，link access，reliable delivery，error detection&correction。这一讲我们从link access中的broadcast接入方式深入，学习这种接入方式下的协议，以及衍生出的MAC地址，最 ......
计网学习笔记二 Link Layer Service
在上一周的计网学习了network和Internet的总论。在这一周开始的未来几讲将集中在链路层link layer，并且会有相应的计网lab完成。在这一讲中，我们主要关注链路层提供的服务。 课程资料地址：https://cs.nju.edu.cn/lwz/networks/CH2-Direct%2 ......
Qt 学习笔记 - 第二章 - 添加图片、布局、界面切换
Qt 学习笔记全系列传送门： Qt 学习笔记 - 第一章 - 快速开始、信号与槽 【本章】Qt 学习笔记 - 第二章 - 添加图片、布局、界面切换 Qt 学习笔记 - 第三章 - Qt的三驾马车之一 - 串口编程 + 程序打包成Windows软件 Qt 学习笔记 - 第四章 - Qt的三驾马车之二 ......
组合数学笔记-排列与组合
排列与组合 排列 排列的定义与基本性质 定义 设一个集合 $S$ 中有 $n$ 个元素，从中有序地取出 $m(0\leq m \leq n)$ 个元素排成一列， 称为 $S$ 的一个 $m$ 排列。两个排列相同，当且仅当元素相同且顺序相同。我们记 $\text{P}_n^m$ 、 $\text{A} ......
组合数学笔记-特殊计数数列
特殊计数数列 斐波那契数列 斐波那契数列的定义与基本性质 历史背景 斐波那契数列（Fibonacci sequence），又称黄金分割数列，因数学家莱昂纳多·斐波那契（Leonardo Fibonacci）以兔子繁殖为例子而引入，故又称为“兔子数列”。 定义 斐波那契数列 $F_n$ 有递推定义 $ ......
图解 paxos 论文《The Part-Time Parliament》
本文以图文并茂的方式重新演绎 Paxos 开山之作 《The Part-Time Parliament》[1]，并尝试解释原论文中语焉不详的地方。 背景 在 Paxos 小岛上，施行着一种 Parliament(议会) 政治。小岛上执行的所有 decree(法令) 都需要先由 Parliament ......
VisionPro学习笔记（1）——软件介绍和基本使用
前言 自己使用visionPro已经有段时间了，最近也一直在研究其算子的理论，为了加深印象，计划将自己的学习笔记整理在博客园，当然其官方文档对如何使用及其各种算子都有详细的介绍，所以这里的笔记仅仅为个人加深理解而做，就当是个个人日记，日后也好查找。 ！！！ 为了方便，大部分图片来自网络，所以如有侵权 ......
Ansible 多机自动化工具 初学笔记
此文档仅张聪明同学个人笔记；新负责KTH-RPL Cluster GPU的漫漫学习长路 English Docs: official https://docs.ansible.com/ansible/latest/index.html 中文相关文档： https://ansible.leops.cn ......
[学习笔记]SQL server完全备份指南
@ 本文将介绍如何在日常项目中，对SQL server数据库做备份和还原工作，SQL server的备份/还原机制，详情参见官方文档：备份和还原 Linux 上的 SQL Server 数据库 方式一，使用SQL Server Management Studio 准备工作 连接目标数据库服务器 在目 ......
一文详解ATK Loss论文复现与代码实战
摘要：该方法的主要思想是使用数值较大的排在前面的梯度进行反向传播，可以认为是一种在线难例挖掘方法，该方法使模型讲注意力放在较难学习的样本上，以此让模型产生更好的效果。 本文分享自华为云社区《ATK Loss论文复现与代码实战》，作者：李长安。 损失是一种非常通用的聚合损失，其可以和很多现有的定义在单 ......
计网学习笔记一 Networking && Internet
参考书籍： James F. Kurose, Keith W. Ross. 计算机网络—自顶向下方法 (7th). 机械工业出版社，2018. William Stallings. 数据与计算机 通信 (8th). 电子工业出版社 **课程网站地址：**https://cs.nju.edu.cn/l ......
《深入理解java虚拟机》第七章读书笔记——虚拟机类加载机制
系列文章目录和关于我 一丶虚拟机类加载机制是什么 java虚拟机将描述类的数据从class文件加载到内存,并对数据进行校验，转换解析和初始化，最终形成可用被虚拟机直接使用的java类型。 二丶类加载时机 1.什么时候会触发虚拟机的类类加载昵？ 遇到new（使用new关键字实例化对象），getstat ......
SpringCloud 源码学习笔记2——Feign声明式http客户端源码分析
系列文章目录和关于我 一丶Feign是什么 Feign是一种声明式、 模板化的HTTP客户端。在Spring Cloud中使用Feign,可以做到使用HTTP请求访问远程服务，就像调用本地方法一一样的， 开发者完全感知不到这是在调用远程方法，更感知不到在访问HTTP请求。接下来介绍一下Feign的特 ......
DIVFusion_ Darkness-free infrared and visible image fusion 论文解读
研究 背景： 当前图像融合方法都是针对正常照明的红外与可见光图像设计的，无法有效处理夜景下的情况。 而针对夜景下的融合可以分为以下两个步骤，1 可见光图像增强，2 可见光图像与红外图像融合。但是现存的弱光增强算法与融合算 法存在严重不兼容，简单的组合会导致一系列问题。如何建模消除两种算法的不 ......
Backbone 网络-ResNet 论文解读
残差网络(ResNet)的提出是为了解决深度神经网络的“退化”（优化）问题。ResNet 通过设计残差块结构，调整模型结构，让更深的模型能够有效训练更训练。 ......