评估指标 模型 性能 指标
MySQL多表联查和COUNT的性能问题解析
引言 在开发中,我们经常需要使用多表联查(Join)来获取数据。而如果在查询中还需要使用COUNT函数来统计满足条件的行数,有时会遇到性能较差的情况。 本文将分析这个问题,并提供一些解决方案。 问题描述 假设我们有两个表:users和orders。users表存储用户信息,而orders表存储用户的 ......
Web性能优化——基础篇
引言 软件需求可分为功能性需求和质量需求两部分,其中性能是质量需求中很重要的一部分,其关乎留存、关乎口碑、关乎金钱,本文梳理介绍一下性能优化方面的基础知识。 什么是Web性能? MDN:Web performance is the objective measurements and the per ......
Generative AI 新世界 | Falcon 40B 开源大模型的部署方式分析
在上期文章,我们探讨了如何在自定义数据集上来微调(fine-tuned)模型。本期文章,我们将重新回到文本生成的大模型部署场景,探讨如何在 Amazon SageMaker 上部署具有 400 亿参数的 Falcon 40B 开源大模型。 ......
C++内存分区模型随笔
代码段:存放函数的二进制代码,由操作系统进行管理 数据段:存放全局变量和静态变量以及常量 堆:由程序员分配和释放,若不释放,程序结束时由操作系统回收(向上增长) 栈:由编译器自动分配释放,存放函数的参数值、局部变量等(向下增长) 代码段向下地址由低到高 堆和栈的主要区别: 管理方式不同:栈是系统自动 ......
Dubbo 路由及负载均衡性能优化
本文主要介绍在vivo内部针对Dubbo路由模块及负载均衡的一些优化手段,主要是异步化+缓存,可减少在RPC调用过程中路由及负载均衡的CPU消耗,极大提升调用效率。 ......
机器学习篇-指标:AUC
AUC是什么东西?AUC是一个模型评价指标,只能够用于二分类模型的评价,对于二分类模型来说还有很多其他的评价指标:比如:logloss,accuracy,precision在上述的评价指标当中,数据挖掘类比赛中,AUC和logloss是比较常见的模型评价指标那么问题来了||ヽ( ̄▽ ̄)ノミ|Ю为啥是 ......
DeepSpeed: 大模型训练框架
目前,大模型的发展已经非常火热,关于大模型的训练、微调也是各个公司重点关注方向。但是大模型训练的痛点是模型参数过大,动辄上百亿,如果单靠单个GPU来完成训练基本不可能。所以需要多卡或者分布式训练来完成这项工作。 ......
多模态大模型的grounding能力
数据集 a)QW-VL:Visual Genome, RefCOCO, RefCOCO+, RefCOCOg, b)CogVLM:Visual7W,Flickr30K-Entities c)Kosmos2:GRIT OFA Unifying Architectures, Tasks, and Mod ......
建立性能基线的实践方法
前几天语雀服务宕机了,我写了一篇关于服务稳定性保障的文章,分享到知识星球内部群后,群里很多同学分享了各自公司关于线上服务稳定性保障的实践案例,其中有个词提到的频率很高,那就是:性能基线。 相比于性能测试中的其他名词比如并发、TPS等,性能基线很少被提及到,在能搜到的资料里,性能基线也往往被解读为基准 ......
ATGM336H-5N一款高性能BDS/GNSS全星座定位导航模块
功能 概述 ATGM336H-5N系列模块是9.7X10.1尺寸的高性能BDS/GNSS全星座定位导航模块系列的总称。该系列模块产品都是基于中科微第四代低功耗GNSS SOC单芯片- -AT6558, 支持多种卫星导航系统,包括中国的BDS (北斗卫星导航系统),美国的GPS,俄罗斯的GLONASS ......
Table-GPT:让大语言模型理解表格数据
llm对文本指令非常有用,但是如果我们尝试向模型提供某种文本格式的表格数据和该表格上的问题,LLM更有可能产生不准确的响应。 在这篇文章中,我们将介绍微软发表的一篇研究论文,“Table-GPT: Table- tuning GPT for Diverse Table Tasks”,研究人员介绍了T ......
TCP Socket性能优化秘籍
一、引言 1.1、TCP Socket在网络通信中的重要性 TCP Socket在网络通信中的重要性体现在其提供了可靠的数据传输、连接性、多路复用等特性,是实现各种网络应用的基础,同时具有广泛的兼容性。它的存在使得网络通信更加可靠、高效和方便。其重要性如下: 可靠性:TCP(传输控制协议)是一种可靠 ......
双指针模型
#include<iostream> #include<cstdio> #include<cstring> #include<algorithm> using namespace std; const int N = 1e6 + 10, M = 2010; int n, m; int a[N]; i ......
倾斜摄影三维模型根节点合并效率提升的技术方法分析
三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作,从而实现三维模型轻量化。轻量化压缩比大,模型轻量化效率高,自动化处理能力高;采用多种算法对三维模型进行几何精纠正处理,精度高,... ......
读高性能MySQL(第4版)笔记20_Performance Schema和其他
1. 线程 1.1. MySQL服务端是多线程软件。它的每个组件都使用线程 1.2. 每个线程至少有两个唯一标识符 1.2.1. 操作系统线程ID 1.2.2. MySQL内部线程ID 2. 对象类型 2.1. OBJECT_TYPE列 2.2. EVENT 2.3. FUNCTION 2.4. P ......
R语言使用ARIMA模型预测股票收益时间序列|附代码数据
原文链接:http://tecdat.cn/?p=2831 原文出处:拓端数据部落公众号 最近我们被客户要求撰写关于ARIMA的研究报告,包括一些图形和统计输出。 “预测非常困难,特别是关于未来”。丹麦物理学家尼尔斯·波尔(Neils Bohr) 很多人都会看到这句名言。预测是这篇博文的主题。在这篇 ......
R语言估计时变VAR模型时间序列的实证研究分析案例|附代码数据
原文链接: http://tecdat.cn/?p=3364 原文出处:拓端数据部落公众号 最近我们被客户要求撰写关于时变VAR模型的研究报告,包括一些图形和统计输出。 加载R包和数据集 加载包后,我们将此数据集中包含的12个心情变量进行子集化: mood_data <- as.matrix(sym ......
超大场景的倾斜摄影三维模型的顶层合并构建的必要性分析
三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作,从而实现三维模型轻量化。轻量化压缩比大,模型轻量化效率高,自动化处理能力高;采用多种算法对三维模型进行几何精纠正处理,精度高,... ......
大模型增量预训练
增量预训练也叫领域自适应预训练(domain-adapter pretraining),即在所属领域数据上继续预训练。 主要问题是在增量预训练后可能发生灾难性遗忘。 避免灾难性遗忘主要从以下几个方面入手: 1 领域相关性 增量数据与所选基座模型的原始训练数据尽量一定的相关性。 2 新数据分布与原始数 ......
数据库系列:使用高区分度索引列提升性能
数据库系列:MySQL慢查询分析和性能优化 数据库系列:MySQL索引优化总结(综合版) 数据库系列:高并发下的数据字段变更 1 背景 我们常常在创建组合索引的时候,会纠结一个问题,组合索引包含多个索引字段,它的顺序应该怎么放,怎样能达到更大的性能利用。 正确的索引字段顺序应该取决于使用该索引的查询 ......
大模型的幻觉问题
一 什么是幻觉问题 大模型的幻觉问题是指大模型生成的答案不基于任何事实数据,简单来说就是杜撰、一本正经的胡说八道。 幻觉问题也是影响大模型落地的重要原因之一 幻觉问题分类 1 和用户输入冲突的幻觉 2 和上下文冲突的幻觉 3 和事实知识冲突的幻觉(目前重点)例如,大模型在生成医疗建议时可能会捏造错误 ......
【项目】使用VGG16 ResNet50预训练模型为backbone进行FCN网络训练 完成分割任务
代码以及数据集后面会在我的ai studio主页公开 拿到这个题目的思路 1.VOC2007,VOC2012怎么统一到一起? 参考:基于PaddlePaddle框架的YOLOv1复现 - 飞桨AI Studio星河社区 (baidu.com) 本地:基于PaddlePaddle框架的YOLOv1复现 ......
通义大模型使用指南之通义听悟
一、注册 我们可以打开以下网站,用手机号注册一个账号即可。 https://tongyi.aliyun.com/ 二、使用介绍 如图,我们可以看到有三个大项功能,通义千问、通义万相、通义听悟。下来我们体验一下通义听悟的功能。 1、通义听悟 1、1基本功能 当我们点击上面的通义听悟功能的时候,会出现下 ......
Python贝叶斯MCMC:Metropolis-Hastings、Gibbs抽样、分层模型、收敛性评估
全文链接:https://tecdat.cn/?p=33961 原文出处:拓端数据部落公众号 在常规的马尔可夫链模型中,我们通常感兴趣的是找到一个平衡分布。 MCMC则是反过来思考——我们将平衡分布固定为后验分布: 并寻找一种转移核,使其收敛到该平衡分布。 岛屿示例 首先提供一个示例,以具体展示Me ......
大语言模型基础-Transformer模型详解和训练
一、Transformer概述 Transformer是由谷歌在17年提出并应用于神经机器翻译的seq2seq模型,其结构完全通过自注意力机制完成对源语言序列和目标语言序列的全局依赖建模。 Transformer由编码器和解码器构成。图2.1展示了该结构,其左侧和右侧分别对应着编码器(Encoder ......
MLP代码模型--NLP方向
训练 对于二分类任务,通常使用一个包含两个输出单元的输出层,而不是一个单一的输出单元。这是因为在二分类任务中,每个类别通常对应一个输出单元,一个用于表示类别1(例如正类别),另一个用于表示类别2(例如负类别) 预测 是 ......
模型推理batch inference速度无明显提升、耗时线性增长问题排查
模型推理batch inference速度无明显提升、耗时线性增长问题排查 现象描述 当模型在推理阶段使用batch inference时,推理速度并无明显提升,相比单帧多次推理收益不大。如笔者在Xavier上测试某模型结果 batch size 推理时间ms 折算耗时 ms/img 1 11.23 ......
Java基础 缓冲流为什么能提高性能?
缓冲流为什么能提高性能? 知识点:1 个字节 = 1B 缓冲流自带长度为 8192 的缓冲区,字节缓冲流的缓冲区是 byte 类型的,是长度为 8192 的字节数组,为 8K;而字符缓冲流的缓冲区是 char 类型的,是长度为 8192 的字符数组,为 16K,因为 Java 中一个字符占两个字节 ......
基于AidLux的互联网图片安全风控实战-相似度对比模型训练以及在AidLux中部署引用
在当今数字化世界中,随着互联网的快速发展,图片信息的交换与共享变得日益普遍。然而,与此同时,由于互联网图片的高度自由性和匿名性,不良信息的传播也日益增多,给用户带来了安全风险。在这样的背景下,基于AidLux的互联网图片安全风控实战方案应运而生。本文将重点介绍基于AidLux平台的相似度对比模型训练 ......
关于 React 性能优化和数栈产品中的实践
我们是袋鼠云数栈 UED 团队,致力于打造优秀的一站式数据中台产品。我们始终保持工匠精神,探索前端道路,为社区积累并传播经验价值。 本文作者:的卢 引入 在日常开发过程中,我们会使用很多性能优化的 API,比如像使用 memo、useMemo优化组件或者值,再比如使用 shouldComponent ......