底层transformer结构llama
php栈的数据结构
<?php class Stack{ const MAXSIZE = 4;// 栈最大容量 private $top = -1; private $stack = array();// 利用数组存储数据 public function __construct(){ $this->stack = ar ......
go 常用设计模式-结构型模式
本次分享结构型模式，主要包括： 代理模式 装饰器模式 适配器模式 享元模式 1.代理模式 package proxy import "fmt" /* 结构型模式 代理，代表打理，以他人的名义代表委托人打理其本职工作之外或不所能及的事务，达成合作关系并更高效地促成事务完成的目的。 强调的是对被代理对象 ......
将数据转换为树形结构格式
addarrdata (data) { if (!Array.isArray(data)) {//验证data是不是数组类型 return [] } data.forEach(item => { item.parentId = item.fid item.label = item.typeName ......
论文解读（Moco v3）《An Empirical Study of Training Self-Supervised Vision Transformers》
论文信息 论文标题：Improved Baselines with Momentum Contrastive Learning论文作者：Xinlei Chen, Saining Xie, Kaiming He论文来源：2021 ICCV论文地址：download 论文代码：download引用次数： ......
GLM数据结构输出到控制台
#include <iomanip> #include <iostream> #include <string> #include <sstream> #include <locale> #include <codecvt> #include <limits> // #include <glm/gl ......
Closure Table如何将树形结构存储在数据库中
今天介绍将树形结构存储在数据库中的第三种方法——闭包表Closure Table 继续用上一篇的栗子，下面是要存储的结构图： 需要回答的问题依旧是这样几个： 1.查询小天的直接上司。 2.查询老宋管理下的直属员工。 3.查询小天的所有上司。 4.查询老王管理的所有员工。 方案三、Closure Ta ......
【手搓模型】亲手实现 Vision Transformer
🚩前言 🐳博客主页：😚睡晚不猿序程😚 ⌚首发时间：2023.3.17，首发于博客园 ⏰最近更新时间：2023.3.17 🙆本文由 睡晚不猿序程 原创 🤡作者是蒻蒟本蒟，如果文章里有任何错误或者表述不清，请 tt 我，万分感谢！orz 相关文章目录 ：无 目录 1. 内容简介 最近在准备使 ......
初学后端，如何做好表结构设计？
这篇文章介绍了设计数据库表结构应该考虑的4个方面，还有优雅设计的6个原则，举了一个例子分享了我的设计思路，为了提高性能我们也要从多方面考虑缓存问题。 ......
王树森Transformer学习笔记
Transformer Transformer是完全由Attention和Self-Attention结构搭建的深度神经网络结构。 其中最为重要的就是Attention和Self-Attention结构。 Attention结构 Attention Layer接收两个输入$X = [x_1, x_2 ......
C | 结构体字节对齐
01.字节对齐现象 #include<stdio.h> struct st1{ char a; short b; int c; }; struct st2{ char a; int c; short b; }; int main(){ printf("sizeof st1 = %u\n", size ......
结构型-装饰器模式
定义 如果希望动态给某个类添加一些属性或者方法，但是你又不希望这个类派生的对象受到影响，那么装饰器模式就可以给你带来这样的体验。 它的定义就是在不改变原对象的基础上，通过对其进行包装拓展，使得原有对象可以动态具有更多功能，从而满足用户的更复杂需求。 举个例子，一部手机，你可以买各种花里胡哨的手机壳等 ......
使用 DeepSpeed 和 Hugging Face 🤗 Transformer 微调 FLAN-T5 XL/XXL
Scaling Instruction-Finetuned Language Models 论文发布了 FLAN-T5 模型，它是 T5 模型的增强版。FLAN-T5 由很多各种各样的任务微调而得，因此，简单来讲，它就是个方方面面都更优的 T5 模型。相同参数量的条件下，FLAN-T5 的性能相比 ......
Django笔记二之连接数据库、执行migrate数据结构更改操作
本篇笔记目录索引如下： Django 连接mysql，执行数据库表结构迁移步骤介绍 操作数据库，对数据进行简单操作 接下来几篇笔记都会介绍和数据库相关，包括数据库的连接、操作（包括增删改查）、对应的字段类型、model 里Meta 相关参数和 QueryAPI 的详解等。 这一篇先介绍数据库的连接和 ......
测试的底层逻辑
写这篇文章，是希望把我的一些我认为是非常有价值的经验总结出来，能够帮助刚做测试不久的新同事，或者是测试经验丰富的老同事以共享。希望我们可爱的新同事，准备要在测试领域耕耘的伙伴，能够通过我的文章了解到测试的底层逻辑，也就是我们测试工作中可能看不到隐藏较深的点，而不只是日常所见的写用例、提bug、开发自... ......
红黑树的由来及其底层原理
title: 红黑树 date: 2022-03-31 10:41:30 sidebar: auto categories: 数据结构 二叉树 tags: 红黑树 一、树 1.1 树的定义 树是由n（n>=0）个有限结点组成一个具有层次关系的集合。把它叫做“树”是因为它看起来像一棵倒挂的树，也就是说 ......
精准测试之分布式调用链底层逻辑
作者：京东工业 宛煜昕 概要： 1. 调⽤链系统概述； 2. 调⽤链系统的演进； 3. 调⽤链的底层实现逻辑； 4. Span内容组成。 ⼀、分布式调⽤链系统概述 客户打电话给客服说：“优惠券使⽤不了”。 -客服告诉运营⼈员 --运营打电话给技术负责⼈ 技术负责⼈通知会员系统开发⼈员 会员找到营销系 ......
设计模式(十五)----结构型模式之外观模式
1 概述 有些人可能炒过股票，但其实大部分人都不太懂，这种没有足够了解证券知识的情况下做股票是很容易亏钱的，刚开始炒股肯定都会想，如果有个懂行的帮帮手就好，其实基金就是个好帮手，支付宝里就有许多的基金，它将投资者分散的资金集中起来，交由专业的经理人进行管理，投资于股票、债券、外汇等领域，而基金投资的 ......
设计模式(十四)----结构型模式之组合模式
1 概述 对于这个图片肯定会非常熟悉，上图我们可以看做是一个文件系统，对于这样的结构我们称之为树形结构。在树形结构中可以通过调用某个方法来遍历整个树，当我们找到某个叶子节点后，就可以对叶子节点进行相关的操作。可以将这颗树理解成一个大的容器，容器里面包含很多的成员对象，这些成员对象即可是容器对象也可以 ......
设计模式(十六)----结构型模式之代理享元模式
1 概述 定义： 运用共享技术来有效地支持大量细粒度对象的复用。它通过共享已经存在的对象来大幅度减少需要创建的对象数量、避免大量相似对象的开销，从而提高系统资源的利用率。 2 结构 享元（Flyweight ）模式中存在以下两种状态： 内部状态，即不会随着环境的改变而改变的可共享部分。 外部状态，指 ......
C++重载底层原理
好吧，承认是自己浅薄了 当被问起C++重载时，嘴角不自觉的微微上扬，然后脱口而出，C++重载的原则： 函数名相同，函数参数列表不同(类型、个数、顺序) 匹配原则1：严格匹配，找到再调用 匹配原则2：通过隐式类型转换寻求一个匹配，找到则调用 注：返回类型不构成重载条件 C++编译时多态也是由重载函数来 ......
面试官：请说一下如何优化结构体的性能？
使用内存对齐机制优化结构体性能，妙啊！
可以简单理解为：将对齐系数小的字段，尽可能放在一起，尽量减少空白填充。
掌握了内存对齐机制后，结构体Struct的优化，调整下字段顺序，效果立竿见影。内存对齐其实就是典型的空间换时间的方式，来达到优化的目的。牢记对齐原则，对实际场景进行分析，减少空白填充。 ......
【数据结构与算法学习】线性表（顺序表、单链表、双向链表、循环链表）
实现语言：C++ 1. 线性表相关概念 线性表（Linear List） 是由n(n≥0)个具有相同特性（数据类型）的数据元素（结点）a1，a2，...，ai-1，ai，ai+1，...，an组成的有限序列。 其中，a1为线性起点（起始结点），an为线性终点（终端结点）。对于每一个数据元素ai，我们 ......
重构SeleniumeDownloader底层浏览器驱动
一、解决bug：Selenium with PhantomJS，重构SeleniumeDownloader底层浏览器驱动 0、小背景： 想爬取外网steam的数据，但是steam官网在海外，加上steam处于反爬考虑，对于异步数据-json数据进行处理，导致如果直接去拿人家的ajax接口作为请求ur ......
【数据结构与算法学习】散列表（Hash Table，哈希表）
实现语言：C++ 1. 散列表 散列表，英文名称为Hash Table，又称哈希表、杂凑表等。 线性表和树表的查找是通过比较关键字的方法，查找的效率取决于关键字的比较次数。 而散列表是根据关键字直接访问的数据结构。散列表通过散列函数将关键字映射到存储地址，建立了关键字和存储地址之间的一种直接映射关系 ......
ABP微服务系列学习-搭建自己的微服务结构（一）
在原本的结构里面，由于默认服务引用的都是ABP原生的模块，所以结构目录里面没有包含modules目录，这里我们添加一个modules目录，用于存放我们的自定义模块。在shared里面，我们再抽一个EventData的模块，用于消息队列共用数据实体。修改后结构如下图所示： 开始搭建 由于我们没有商业版 ......
ABP微服务系列学习-搭建自己的微服务结构（三）
上一篇我们基础服务初步搭建完毕，接下来我们整一下认证和网关。 搭建认证服务 认证服务的话，ABP CLI生成的所有模板都包括了一个AuthServer。我们直接生成模板然后微调一下就可以直接用了。 abp new FunShow -t app --tiered 使用命令创建模板后，我们可以找到一个A ......
设计模式(十三)----结构型模式之桥接模式
1 概述 现在有一个需求，需要创建不同的图形，并且每个图形都有可能会有不同的颜色。我们可以利用继承的方式来设计类的关系： 我们可以发现有很多的类，假如我们再增加一个形状或再增加一种颜色，就需要创建更多的类。 试想，在一个有多种可能会变化的维度的系统中，用继承方式会造成类爆炸，扩展起来不灵活。每次在一 ......
设计模式(十一)----结构型模式之装饰者模式
1、概述 我们先来看一个快餐店的例子。 快餐店有炒面、炒饭这些快餐，可以额外附加鸡蛋、火腿、培根这些配菜，当然加配菜需要额外加钱，每个配菜的价钱通常不太一样，那么计算总价就会显得比较麻烦。 使用继承的方式存在的问题： 扩展性不好 如果要再加一种配料（火腿肠），我们就会发现需要给FriedRice和F ......