大规模

基于VictoriaMetrics的大规模监控实战

victoriametrics原生支持水平扩展,并且大部分兼容Prometheus语法,官方文档地址:https://docs.victoriametrics.com/ 这个是victoriametrics官方的集群架构 我公司用到的集群架构 目前用到3台机器 IP部署的服务 10.200.4.74 ......
VictoriaMetrics 实战 大规模

大规模 Transformer 模型 8 比特矩阵乘简介 - 基于 Hugging Face Transformers、Accelerate 以及 bitsandbytes

引言 语言模型一直在变大。截至撰写本文时,PaLM 有 5400 亿参数,OPT、GPT-3 和 BLOOM 有大约 1760 亿参数,而且我们仍在继续朝着更大的模型发展。下图总结了最近的一些语言模型的尺寸。 由于这些模型很大,因此它们很难在一般的设备上运行。举个例子,仅推理 BLOOM-176B ......

k8s大规模集群优化

大规模集群优化2022-11-24 13:11Kubernetes ⾃ v1.6 以来,官⽅就宣称单集群最⼤⽀持 5000 个节点。不过这只是理论上,在具体实践中从 0 到 500 0,还是有很⻓的路要⾛,需要⻅招拆招。官⽅标准如下:不超过 5000 个节点 不超过 150000 个 pod不超过 ......
集群 大规模 k8s k8 8s

Scrum of Scrums(SOS)大规模敏捷研发管理流程

​ Scrum of Scrums是轻量化的规模化敏捷管理模式,Leangoo领歌可以完美支持Scrum of Scrums多团队敏捷管理。 ......
研发管理 大规模 流程 Scrums Scrum

研究了在大规模风、光、火电联合外送体系下的协调调度及利润分配问题

[1]关键词:合作博弈;核仁法;混合能源;联合外送;经济运行;利润分配;matlab程序 [2]参考文献:《大规模多源联合外送协调调度中基于核仁理论的利润分配》 [3]主要内容:研究了在大规模风、光、火电联合外送体系下的协调调度及利润分配问题。 基于传统的机组组合优化模型,以利润最大化为目标构建以火 ......
大规模 利润 体系 问题

MATLAB代码:基于局部优化的大规模电动汽车随机充放电策略优化

MATLAB代码:基于局部优化的大规模电动汽车随机充放电策略优化 关键词:电动汽车充放电优化 电动汽车 局部优化 充放电策略 参考文档:《Optimal Scheduling for Charging and Discharging of Electric Vehicles》完全复现 仿真平台:MA ......
电动汽车 局部 大规模 策略 代码

考虑大规模电动汽车接入电网的双层优化调度策略

考虑大规模电动汽车接入电网的双层优化调度策略 软件:Matlab;cplex 介绍:摘要:随着经济发展和化石燃料短缺、环境污染严重的矛盾日益尖锐,电动汽车( Electric Vehicle,EV)的发展和普及将成为必然趋势。 大规模无序充电的电动汽车接入电网充电将给电网带来强大的冲击,并可能导致电 ......
电动汽车 电网 双层 大规模 策略

基于时间和空间的大规模电动汽车入网网损调度 建立MISOCP模型,分时段优化,并行计算(实时优化)。

基于时间和空间的大规模电动汽车入网网损调度 建立MISOCP模型,分时段优化,并行计算(实时优化)。 并对比了优化和未优化结果,验证了调度的有效性。 考虑到电动汽车的机动性,市区可分为三类功能区:住宅区,商业区和办公区。 白天,大多数电动汽车都停在办公室区域。 到了晚上,几乎所有的电动汽车都停在居民 ......
电动汽车 时段 实时 大规模 模型

谷歌云案例 | 零售商如何通过大规模的客户个性化来增加收入

让我们看看 Ocado retail 如何与 Google Cloud 和合作伙伴合作开发一个新的数据平台,从头开始推动其个性化工作。 ......
零售商 大规模 收入 案例 客户

Thinkphp3.2如何处理大规模并发写入问题

1.大规模并发写入,出现数据库锁死,数据写入失败,数据表损坏等问题 2.锁表需要配合事务使用 3.具体代码如下 M()->startTrans(); $lot_check = M()->table('order')->lock(true)->where(['id' => $id])->field(' ......
Thinkphp3 大规模 Thinkphp 问题

Cesium中加载大规模数据稳定流畅之性能优化思路

1. 使用数据流技术:Cesium支持使用数据流技术,即按需加载和卸载数据,以最小化数据传输量和加载时间。 实现原理大致如下: Cesium 会根据相机位置和高度动态调整 3D Tiles 的细节级别,并将需要渲染的 Tiles 加入渲染队列。 当队列中的 Tiles 的内存使用量超过 maximu ......
大规模 思路 性能 数据 Cesium

活字格性能优化技巧(2)-如何在大规模数据量的场景下提升数据访问效率

在上节内容中我们介绍了如何利用数据库主键提升访问性能,本节内容我们继续为大家介绍如何在大规模数据量的场景下提升数据访问效率。 在开始之前先做个小小的实验: 1. 准备一张数据表,内置1000W行记录。 2. 直观感受一下这个表的规模。使用MSSQL对其进行查询,足足花了8秒钟的时间才获取到表的总行数 ......
活字 数据 大规模 场景 效率

OpenKruise 成为 CNCF 孵化项目:为大规模采用 Kubernetes 打开大门

近期,CNCF Technical Oversight Committee(TOC)根据 OpenKruise 的发展以及社区的接受程度,通过投票决定将 OpenKruise 升级为 CNCF 孵化项目。 ......

BugBuilder: 高质量大规模缺陷库自动构建方法

摘要:本文提出并开发了高质量大规模缺陷库全自动构建方法BugBuilder,自动从版本控制系统中的人为编写的补丁中提取完整且精准的缺陷修复补丁。 本文分享自华为云社区《BugBuilder: 高质量大规模缺陷库自动构建方法》,作者:华为云软件分析Lab 。 1. 问题场景 由于各种原因,例如错误定位 ......
高质量 BugBuilder 大规模 缺陷 方法

大规模 IoT 边缘容器集群管理的几种架构-3-Portainer

前文回顾 大规模 IoT 边缘容器集群管理的几种架构-0-边缘容器及架构简介 大规模 IoT 边缘容器集群管理的几种架构-1-Rancher+K3s 大规模 IoT 边缘容器集群管理的几种架构-2-HashiCorp 解决方案 Nomad 大规模 IoT 边缘容器集群管理的几种架构-3-Portai ......
集群 容器 架构 Portainer 大规模

大规模 IoT 边缘容器集群管理的几种架构-4-Kubeedge

前文回顾 大规模 IoT 边缘容器集群管理的几种架构-0-边缘容器及架构简介 大规模 IoT 边缘容器集群管理的几种架构-1-Rancher+K3s 大规模 IoT 边缘容器集群管理的几种架构-2-HashiCorp 解决方案 Nomad 大规模 IoT 边缘容器集群管理的几种架构-3-Portai ......
集群 容器 架构 大规模 Kubeedge

大规模 IoT 边缘容器集群管理的几种架构-0-边缘容器及架构简介

📚️Reference: IoT 边缘计算系列文章 什么是边缘容器? 边缘容器的概念 边缘容器是分散的计算资源,尽可能靠近最终用户或设备,以减少延迟、节省带宽并增强整体数字体验。 可以访问互联网的设备数量每天都在增加。有包括但不限于: 智能电视 智能家居 智能手机 智能汽车 物联网 IoT 创造的 ......
容器 架构 边缘 集群 大规模

大规模 IoT 边缘容器集群管理的几种架构-1-Rancher+K3s

前文回顾 大规模 IoT 边缘容器集群管理的几种架构-0-边缘容器及架构简介 📚️Reference: IoT 边缘计算系列文章 Rancher + K3s 简介 Rancher: Kubernetes 统一管理平台, Rancher 是为采用容器的团队提供的一个完整的软件栈。它解决了管理多个 K ......
集群 容器 架构 大规模 边缘

大规模 IoT 边缘容器集群管理的几种架构-2-HashiCorp 解决方案 Nomad

前文回顾 大规模 IoT 边缘容器集群管理的几种架构-0-边缘容器及架构简介 大规模 IoT 边缘容器集群管理的几种架构-1-Rancher+K3s 📚️Reference: IoT 边缘计算系列文章 HashiCorp 解决方案 - Nomad + Docker 简介 Nomad: 一个简单而灵 ......
集群 容器 架构 HashiCorp 大规模

面向大规模队列,百万并发的多优先级消费系统设计

大规模队列的核心诉求,不仅需要「快」,还需要兼顾「公平」。 01 引言 HTTP是一种常用的通信协议,除了常见网站访问、上传下载,HTTP协议还经常被用在消息推送场景上。 设想你搭建了一个电商平台,有很多大型商家入驻了该电商平台并售卖各类商品,在消费者购买某个商品后,平台会通过HTTP协议将消费者购 ......