石子 模型 区间 算法
我的语言模型应该有多大？
本文发表于 2020 年 6 月 8 日，虽然时间较久远，但现在看起来仍然是非常有价值的一篇文章。 在这个全民 LLM 的狂欢里，想测测你拿到的预算够训一个多大的模型吗？本文会给你一个答案，至少给你一个计算公式。 在自然语言处理领域，有时候我们恍惚觉得大家是为了搏头条而在模型尺寸上不断进行军备竞赛。 ......
Optimum + ONNX Runtime: 更容易、更快地训练你的 Hugging Face 模型
介绍 基于语言、视觉和语音的 Transformer 模型越来越大，以支持终端用户复杂的多模态用例。增加模型大小直接影响训练这些模型所需的资源，并随着模型大小的增加而扩展它们。Hugging Face 和微软的 ONNX Runtime 团队正在一起努力，在微调大型语言、语音和视觉模型方面取得进步。 ......
ATC：一个能将主流开源框架模型转换为昇腾模型的神奇工具
摘要：本文介绍了昇腾CANN提供的模型转换工具ATC，介绍了其功能、架构，并以具体样例介绍了该工具的基本使用方法以及常用设置。 本文分享自华为云社区《使用ATC工具将主流开源框架模型转换为昇腾模型》，作者： 昇腾CANN。 什么是ATC，它能做什么？ 昇腾张量编译器（Ascend Tensor Co ......
深入了解视觉语言模型
人类学习本质上是多模态 (multi-modal) 的，因为联合利用多种感官有助于我们更好地理解和分析新信息。理所当然地，多模态学习的最新进展即是从这一人类学习过程的有效性中汲取灵感，创建可以利用图像、视频、文本、音频、肢体语言、面部表情和生理信号等各种模态信息来处理和链接信息的模型。 自 2021 ......
在线文本翻译能力新增14个直译模型，打造以中文为轴心语言的翻译系统
经济全球化的今天，人们在工作和生活中经常会与外语打交道。相较传播性较广的英语而言，其他语种的识别和阅读对大多数人来说是一件难事，此时就需要借助语言翻译软件来帮助理解。 华为 HMS Core 机器学习服务（ML Kit）翻译功能提供了多种翻译模式，不仅可以满足应用出行购物、网络社交等日常场景，还提供 ......
从宏观上理解计算机网络模型-坐在直升机上看网络
大家好，我是风筝 今天是轻解计算机网络系列第一解，从宏观上了解网络。主要介绍网络分成模型、基本传输过程。 学习任何一种新技术都应该是这样的顺序，先从宏观上了解这门技术的基本原理和作用。这就好像生物学家研究一种生物，不能上来就解刨吧，一定是从整体上观察了这种生物的体貌和形态。这里的宏观就像是一具动物骨 ......
深度学习模型压缩方法概述
我们知道，一定程度上，网络越深，参数越多，模型也会越复杂，但其最终效果也越好，而模型压缩算法是旨在将一个庞大而复杂的大模型转化为一个精简的小模型。之所以必须做模型压缩，是因为嵌入式设备的算力和内存有限，经过压缩后的模型方才能部署到嵌入式设备上。工业界的模型压缩方法有：知识蒸馏、轻量化模型架构、剪枝、... ......
EF7创建模型入门篇
在EF7中，创建一个模型是非常重要的步骤。本文将使用微软官方文档中的指南，来学习EF7中的创建模型篇，外加一点点个人理解。 实体类型 在 EF7 中，你需要使用 modelBuilder.Entity() 方法来告诉 EF7 你要包含哪些类型。默认情况下，EF7 会将实体类型的名称设置为表的名称。但 ......
EF7创建模型继承映射篇
Entity Framework 7 (EF7)中的继承映射允许您将类层次结构映射到数据库中的表层次结构。具体而言，这意味着您可以创建一个基类，然后从该基类派生多个子类，并将这些子类映射到不同的数据库表。这使得在数据库中存储不同类型的数据变得更加方便，同时还能保持面向对象编程的优雅性。 EF7提供了 ......
EF7创建模型值生成篇
在 EF7 中，生成的值是非常重要的，因为它们决定了数据库表中的数据。在本文中，我们将以人员为例，使用 Fluent API 展示所有 EF7 生成值的功能。 我们先来看一下人员表的属性： public class Person { public Guid Id { get; set; } publ ......
取出预训练模型中间层的输出(pytorch)
1 遍历子模块直接提取 对于简单的模型，可以采用直接遍历子模块的方法，取出相应name模块的输出，不对模型做任何改动。该方法的缺点在于，只能得到其子模块的输出，而对于使用nn.Sequensial()中包含很多层的模型，无法获得其指定层的输出。 示例 resnet18取出layer1的输出 from ......
【LeetCode回溯算法#08】递增子序列，巩固回溯算法中的去重问题
递增子序列 力扣题目链接(opens new window) 给定一个整型数组, 你的任务是找到所有该数组的递增子序列，递增子序列的长度至少是2。 示例 1： 输入：nums = [4,6,7,7] 输出：[[4,6],[4,6,7],[4,6,7,7],[4,7],[4,7,7],[6,7],[6 ......
【LeetCode回溯算法#07】子集问题I+II，巩固解题模板并详解回溯算法中的去重问题
子集 力扣题目链接 给你一个整数数组 nums ，数组中的元素 互不相同 。返回该数组所有可能的子集（幂集）。 解集 不能 包含重复的子集。你可以按 任意顺序 返回解集。 示例 1： 输入：nums = [1,2,3] 输出：[[],[1],[2],[1,2],[3],[1,3],[2,3],[1, ......
【LeetCode回溯算法#06】复原IP地址详解（练习如何处理边界条件，判断IP合法性）
复原IP地址 力扣题目链接(opens new window) 给定一个只包含数字的字符串，复原它并返回所有可能的 IP 地址格式。 有效的 IP 地址 正好由四个整数（每个整数位于 0 到 255 之间组成，且不能含有前导 0），整数之间用 '.' 分隔。 例如："0.1.2.201" 和 "19 ......
装箱算法的性能测试
笔者第一次对算法做性能测试，记录本次测试的过程，方便以后复盘。 项目的背景是新提交了一个需求，在每个b2c出库订单入库时，给订单一个合适的推荐箱型。订单的sku属性中有长宽高，包材管理的表中也有各包材的长宽高。需要推荐一个能装下的最小包材，并且体积占比低于90%，剩余大于等于10%空间留给冷媒和充气 ......
搭个ChatGPT算法模型，离Java程序员有多远？
这一篇文章先给我自己以及大家对 ChatGPT 开个门，让对此感兴趣的编程爱好者可以参与进去学习。在我感觉 ChatGPT 的出现会打破某些平衡，对一些事项进行秩序重置。因此也让更多的人获得了大量的机会。 ......
推荐系统[八]算法实践总结V1：淘宝逛逛and阿里飞猪个性化推荐：召回算法实践总结【冷启动召回、复购召回、用户行为召回等算法实战】
推荐系统[八]算法实践总结V1：淘宝逛逛and阿里飞猪个性化推荐：召回算法实践总结【冷启动召回、复购召回、用户行为召回等算法实战】 ......
深度优先搜索算法-dfs讲解
迷宫问题 有一个迷宫： S**. .... ***T （其中字符S表示起点，字符T表示终点，字符*表示墙壁，字符.表示平地。你需要从S出发走到T，每次只能向上下左右相邻的位置移动，不能走出地图，也不能穿过墙壁，每个点只能通过一次。） 现在需要你求出是否可以走出这个迷宫 我们将这个走迷宫过程称为dfs ......
推荐系统[八]算法实践总结V0：腾讯音乐全民K歌推荐系统架构及粗排设计
推荐可分为以下四个流程，分别是召回、粗排、精排以及重排：
1. 召回是源头，在某种意义上决定着整个推荐的天花板；
2. 粗排是初筛，一般不会上复杂模型；
3. 精排是整个推荐环节的重中之重，在特征和模型上都会做的比较复杂；
4. 重排，一般是做打散或满足业务运营的特定强插需求，同样不会使用复杂模型... ......
加密,各种加密,耙梳加密算法(Encryption)种类以及开发场景中的运用(Python3.10)
不用说火爆一时，全网热议的Web3.0区块链技术，也不必说诸如微信支付、支付宝支付等人们几乎每天都要使用的线上支付业务，单是一个简简单单的注册/登录功能，也和加密技术脱不了干系，本次我们耙梳各种经典的加密算法，试图描摹加密算法在开发场景中的运用技巧。 可逆加密算法(对称加密) 加密算法是一种将原始数 ......
国内“谁”能实现chatgpt，短期穷出的类ChatGPT简评（算法侧角度为主），以及对MOSS、ChatYuan给出简评，一文带你深入了解宏观技术路线。
国内“谁”能实现chatgpt，短期穷出的类ChatGPT简评（算法侧角度为主），以及对MOSS、ChatYuan给出简评，一文带你深入了解宏观技术路线。 ......
算法基础模板
时空复杂度分析 一般ACM或者笔试题的时间限制是1秒或2秒。在这种情况下，C++代码中的操作次数控制在10^7^～10^8^为最佳。下面给出在不同数据范围下，代码的时间复杂度和算法该如何选择: n ≤ 30，指数级别，dfs+剪枝，状态压缩dp n ≤ 100 => O(n^3^)，floyd，dp ......
C4模型，架构设计图的脚手架，你值得拥有
hi，我是熵减，见字如面。 对于软件开发团队来说，写软件设计文档，花架构图，是日常工作中的关键一项。 而其中，如何画好系统设计的架构图呢？ Simon Brown 就 提出 C4 模型，来解决这个问题。 基于C4模型的脚手架，架构师们就可以统一团队内的不同层级的视角，交付一个成体系的架构设计。 下面 ......
分布式机器学习：异步SGD和Hogwild!算法（Pytorch）
同步算法的共性是所有的节点会以一定的频率进行全局同步。然而，当工作节点的计算性能存在差异，或者某些工作节点无法正常工作（比如死机）的时候，分布式系统的整体运行效率不好，甚至无法完成训练任务。为了解决此问题，人们提出了异步的并行算法。在异步的通信模式下，各个工作节点不需要互相等待，而是以一个或多个全局... ......
模型预处理层介绍（1） - Discretization
预处理的作用主要在于将难以表达的string或者数组转换成模型容易训练的向量表示，其中转化过程大多是形成一张查询表用来查询。 常见的预处理方式包括： class Discretization: Buckets data into discrete ranges. class Hashing: Imp ......
衡量算法的性能-时空复杂度分析
算法 即存在输入输出,由有限步骤结束的程序. 因此,显而易见,算法并不是指一个单一的标准答案,而是一切能够完成要求的程序都可以称之为算法.但是算法之间根据性能的不同存在差异,评判这个差异的指标就是本篇分享的重点. 评判算法优劣的指标 1.时间复杂度 时间复杂度用O()表示,它的实质是算法的计算次数 ......
精华推荐 |【算法数据结构专题】「延时队列算法」史上非常详细分析和介绍如何通过时间轮（TimingWheel）实现延时队列的原理指南
时间轮的介绍 时间轮（TimeWheel）是一种实现延迟功能（定时器）的精妙的高级算法，其算法应用范围非常广泛，在Java开发过程中常用的Dubbo、Netty、Akka、Quartz、ZooKeeper 、Kafka等各种框架中，各种操作系统的定时任务crontab调度都有用到，甚至Linux内核 ......
Java 调用 PaddleDetection 模型
文章地址 介绍 训练好的模型要给业务调用，deepjavalibrary/djl：Java 中与引擎无关的深度学习框架 (github.com) 可以完成这件事，它支持使用 Java 调用 PyTorch、TensorFlow、MXNet、ONNX、PaddlePaddle 等引擎的模型（也支持部分 ......
slate源码解析（二）- 基本框架与数据模型
源码架构 首先来看下最核心的slate包下的目录： 可以看到，作为一个开源富文本库，其源码是相当之少。在第一篇文章中说过，Slate没有任何开箱即用的功能，只提供给开发者用于构建富文本所需的最基本的一套schema及操作API。因此源码的体量自然就要少许多。 我们来预览上图中各个目录下文件所负责的功 ......