加速
【LLMOps】vllm加速机制及推理不一致根因剖析
介绍 当前大模型主流推理方式包括：vllm、tgi、原生transformer 回顾 目前主流大模型都是由transformer演变过来，transformer核心是attention，参考《Attention is All You Need》 ，attention核心则是3个矩阵：Query、Ke ......
RLHF · PbRL | 选择 near on-policy query，加速 policy learning 收敛速度
Query-Policy Misalignment：选择的看似 informative 的 query，实际上可能与 RL agent 的兴趣不一致，因此对 policy learning 几乎没有帮助，最终导致 feedback-efficiency 低下。 ......
点燃数字引擎，天翼云助力汽车行业云上加速跑！
近日，由中国电信主办的汽车行业数字化转型大会，以及中国电信和中汽中心联合主办的“汽车产业数字化培训班”在海南举行。中国电信领导、众多行业头部客户与生态伙伴出席本次会议，聚焦车路云一体化、智能网联汽车、汽车SaaS云服务等热点，共谋汽车产业数字化发展。 ......
美国乔治亚大学李增禄教授最新报告《基因组预测加速遗传增益》
目录 这是美国乔治亚大学（University of Georgia）李增禄教授在山东农业大学做的一场最新报告。李教授主要从事大豆高产、优质、抗病虫育种，大豆遗传资源鉴定、利用及创新，目标性状基因定位，分子育种方法的开发和利用、基因组选择等研究工作。 关于李教授：https://cropsoil.u ......
Gradle-加速Gradle下载
Gradle-加速Gradle下载 1. 安装包国内下载 但是很多开源项目都是通过Gradle构建的，在编译项目时需要先下载对应的 Gradle 安装包，对于下载默认访问的地址是 ，这个域名解析到了美国，鉴于国内网络问题，访问境外网络很慢 国内是否有开放 gradle 的安装包镜像呢？经过一番网上搜 ......
解密C#预处理指令：优化代码，加速开发的利器
文章目录 预处理指令 常用指令 定义符号#define、#undef 条件指令#if、#else、#elif、#endif 折叠代码#region、#endregion 预处理指令 预处理指令可以用于干预编译，可实现部分编译（条件编译），使用场景如下： 部分编译：可将后台功能部分编译，使编译结果不包 ......
github代理加速
终端命令行 支持终端命令行 git clone , wget , curl 等工具下载.支持 raw.githubusercontent.com , gist.github.com , gist.githubusercontent.com 文件下载.注意： 不支持 SSH Key 方式 git cl ......
用了阿里云的CDN全站加速，后台登录不了
fastadmin框架，用了阿里云的CDN全站加速，后台登录不进去了，输入用户名密码，提示登录成功，然后就跳出请登录的页面，接着又跳转到你已经登录的页面，就这样不断重复跳，因为不断跳，调试模式也没办法看。loginip_check也已经设置成了false，cdn设置了php文件不缓存。请问一下是哪里 ......
PyTorch造大模型“加速包”，不到1000行代码提速10倍！英伟达科学家：minGPT以来最好的教程式repo之一
前言 PyTorch团队让大模型推理速度加快了10倍。且只用了不到1000行的纯原生PyTorch代码！ 本文转载自量子位 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 ......
使用 PyTorch 完全分片数据并行技术加速大模型训练
本文，我们将了解如何基于 PyTorch 最新的 完全分片数据并行 (Fully Sharded Data Parallel，FSDP) 功能用 Accelerate 库来训练大模型。 动机 🤗 随着机器学习 (ML) 模型的规模、大小和参数量的不断增加，ML 从业者发现在自己的硬件上训练甚至加载 ......
天翼云网络创新与实践，加速云网融合纵深发展！
11月25日，由中国通信学会指导，中国通信学会信息通信网络技术委员会、江苏省未来网络创新研究院主办的2023第六届SD-WAN & SASE大会暨云网络大会在北京召开。大会邀请了金融、能源、游戏、零售等业界代表带来实践分享，共同探寻技术融合的更多可能。会上，《天翼云组播，助力券商获取第一手行情》斩获... ......
四叉树加速碰撞检测
1) 加速原理：排除掉那些不可能发生的碰撞检测，通过减少碰撞检测次数来加速。 2) 如何排除不可能发生的碰撞检测？ 就是将一块大区域分割成四个更小的区域，那当只可能第1个区域发生碰撞时，其余3个区域的里的物体就可以排除掉不参与碰撞检测了。 比如，待检测的物体在左上的区域时，那我只需要检测是否和左上那 ......
三大核心成长驱动力，Ｃ海光：国产CPU领军，加速突破高端市场
1.3 “数字经济”及“东数西算”推动核心行业市场服务器国产替代 数字经济是近年来提出的全新的国家战略，随着各行业数字化转型进程的加快，所产生的数据呈现指数式爆发增长，算力已成为数字经济发展的核心因素，而数据的传输、存储与计算都与服务器息息相关。 2022 年 1 月，国务院发布的“十四五”数字经济 ......
上海数交所与合合信息发布产业数据行业创新中心，政产学研合力为“数据航母”加速
上海数交所与合合信息发布产业数据行业创新中心，政产学研合力为“数据航母”加速 大数据产业是数字经济创新发展、加速发展的重要方向。11月25日，2023全球数商大会在上海盛大开幕。大会以“数联全球、商通未来”为主题，聚焦数字经济时代下，数据要素推动实体经济发展的规划与成果，是数据交易领域的行业级峰会和 ......
用AABBTree加速碰撞检测
AABBTree加速碰撞检测的原理？ 减少碰撞检测的执行次数。怎么减少呢？排除那些不可能发生碰撞的形状间的检测。 最简单粗暴的碰撞检测就是两个for循环嵌套 void ForLoopCheckIntersect() { for (int i = 0; i < m_RectList.Count; ++ ......
jsdelivr加速Github文件
title: jsdelivr加速Github文件 banner_img: https://cdn.jsdelivr.net/gh//StudyingLover/anything/f057ee81b5a9141d222fe12f55b7dfc.jpg date: 2023-1-20 10:00:00 ......
直击云转型挑战，SAP联合工博科技助推企业加速上云
在今年9月举办的2023 SAP 大中华区合作伙伴峰会上，SAP 大中华区合作伙伴生态体系宣布将联合生态合作伙伴在第四季度加速推动企业拥抱 ERP公有云，快速开启云上之旅。 11月10日，工博科技作为SAP ERP公有云核心合作伙伴之一受邀参加了“2023 SAP 精英荟高端研讨会”。本次大会在江苏 ......
三大基础方案和AI出海计划重磅发布！加速盘古大模型生态发展
本文分享自华为云社区《三大基础方案和AI出海计划重磅发布！加速盘古大模型生态发展》，作者： 华为云头条。 近日，以“开放同飞，共赢行业AI新时代”为主题的华为云盘古大模型主题论坛·深圳站成功举办。华为云与多位不同行业的客户和伙伴围绕AI大模型、技术创新应用和产业发展新机遇等话题展开深入交流分享。同时 ......
【教程】cpp转python Nanobind 实践 加速轻量版 pythonbind11
主要是尝试一下把c++这边的函数封装打包给python用，选择nanobind的原因是：1. 优化速度快，2. 生成二进制包小，不过pythonbind11是更为广泛知道的，nanobind也是pythonbind11作者后续做的，可以查看作者写的 why another binding libar ......
Ubuntu中使用apt-fast加速apt的执行速度
安装 /bin/bash -c "$(curl -sL https://gitee.com/nanakura/apt-fast-mirror/raw/main/install.sh)" 使用 sudo apt-fast install git build-essential gdb-multiarc ......
docker 常用命令、安装、镜像加速配置
docker 笔记 ， 请参考。 常用命令 官方学习网站，生涩。网上资料千奇百怪，建议到官网验证。 可以用AI学习一点，但经常有错，像文心一言、通义千问。 https://docs.docker.com/engine/reference/run/ 以ubantu为例，你可以在docker安装一个ub ......
Windows rustup update 速度慢，使用字节跳动Rust镜像加速
不设置镜像加速rustup 更新升级会非常慢 RsProxy 字节跳动的Rust 镜像 Windows想要使用这个镜像需要按照官方提示去设置两个系统变量 分别为 RUSTUP_DIST_SERVER RUSTUP_UPDATE_ROOT 之后来到当前用户文件夹下修改cargo的配置文件(没有就创建一 ......
使用FP8加速PyTorch训练
现代的人工智能硬件架构(例如，Nvidia Hopper, Nvidia Ada Lovelace和Habana Gaudi2)中，FP8张量内核能够显著提高每秒浮点运算(FLOPS)，以及为人工智能训练和推理工作负载提供内存优化和节能的机会。 在这篇文章中，我们将介绍如何修改PyTorch训练脚本 ......
加速python运行的骚操作！
一、代码优化原则 1.原则一：不要过早优化 很多人一开始写代码就奔着性能优化的目标，“让正确的程序更快要比让快速的程序正确容易得多”。因此，优化的前提是代码能正常工作。过早地进行优化可能会忽视对总体性能指标的把握，在得到全局结果前不要主次颠倒。 2.原则二：权衡优化代价 优化是有代价的，想解决所有性 ......
GitHub、Google等镜像加速地址收集
摘要 本文用于收集GitHub、Google等镜像/加速地址。 GitHub GitHub加速地址一览 fastgithub Https://www.fastgithub.com/（推荐） 站源 地址 缓存 github.com www.fastgithub.com 无 raw.githubuser ......
最高加速9倍！字节跳动开源8比特混合精度Transformer引擎
前言 近年来，Transformer 已经成为了 NLP 和 CV 等领域的主流模型，但庞大的模型参数限制了它的高效训练和推理。于是字节跳动在 2019 年 12 月和 2021 年 6 月分别推出了高效推理和训练引擎 LightSeq，大大加速了 Transformer 系列模型的训练和推理，也打 ......
【行行AI公开课】当AI遇到跨境电商：抓住机会-加速跨境电商业务飞跃
随着AI技术的迅猛发展，AI工具对于跨境电商行业而言，已成为“最强辅助”。不仅帮助商家提升了运营效率，而且还释放了更多的生产力。我们已经看到在跨境电商领域，从公司到个人都积极拥抱和探索 AI 工具的落地使用，更进阶的技术与应用也在不断涌现。 AI，或将成为破解出口难题，实现跨境电商市场成功转型升级的 ......
昇腾CANN DVPP硬件加速训练数据预处理，友好解决Host CPU预处理瓶
数据加载预处理由host CPU处理，而模型训练计算是在NPU或GPU上处理的，两者一般并行执行，因此训练一次迭代的时间通常是两个处理时间的最大值。 ......
企业数字化：组装式应用助力加速变革
“组装式应用”在一定程度上让大家认为是微服务架构后的又一个跨时代的技术趋势，很多技术专家也从单体应用、SOA架构、微服务架构等架构发展的角度给大家分析了“组装式应用”所解决的问题和重要的意义，可组合架构是一种新的思维方式，即认清变革是获得新业务价值的驱动力，模块化+快速组装是加速变革的工具和手段。 ......