大规模
Day1 - 大规模Elasticsearch集群管理心得（转）
转自：https://elasticsearch.cn/article/110 【携程旅行网 吴晓刚】 ElasticSearch目前在互联网公司主要用于两种应用场景，其一是用于构建业务的搜索功能模块且多是垂直领域的搜索，数据量级一般在千万至数十亿这个级别；其二用于大规模数据的实时OLAP，经典的如 ......
权威SAFe大规模敏捷企业级实训
课程简介 SAFe – Scaled Agile Framework是目前全球运用最广泛的大规模敏捷框架，也是成长最快、最被认可、最有价值的规模化敏捷框架，目前全球SAFe认证专业人士已达80万人，福布斯100强的70%都在实施SAFe。本课程是一个2天的 SAFe权威培训课程，在课程中，学员将 ......
领导大规模敏捷 - Leading SAFe认证班SAFe认证Leading SAFe官方认证班
课程简介 SAFe – Scaled Agile Framework是目前全球运用最广泛的大规模敏捷框架，也是全球敏捷相关认证成长最快、最被认可、最有价值的规模化敏捷认证，目前全球SAFe认证专业人士已达120万人。 据官方统计，获得新证书的IT专业人士的平均工资增长 13,000 美元，其中 ......
阿里云 ACK 云上大规模 Kubernetes 集群高可靠性保障实战
本文基于 ACK 稳定性保障实践经验，帮助用户全面理解 ACK 稳定性理论和优化策略，并了解如何使用相应的工具和服务进行稳定性保障。 ......
深入了解：5G技术将如何大规模影响安防视频监控领域
LiteCVR视频平台均具有实时视频监控、云端录像、视频回看和存储等功能，在多个实际项目场景中都有落地应用。除了安防领域，我们还在智慧教育、智慧物流、智慧工地、智慧消防、交通、水利、园区、金融、电力、石化、能源与环保等行业中也有深度的应用。（litemedia/cn，成都来特科技，专注音视频算法平台... ......
关于GPT4给我的GATK joint calling（多项目不同批次大规模合并）建议
目录问答1问答2问答3问答4问答5问答6问答7问答8问答9问答10 关于生物信息的专业回答与建议，GPT4刷新了我对它的认知。 详见如下对话： 问答1 问答2 问答3 问答4 问答5 反过来又测试它一下。 问答6 会通过Bing联网进行检索。 问答7 问答8 问答9 会联网进行检索。 问答10 不得 ......
软件开发：组织大规模逻辑的技艺
技艺永恒，生命短暂，机会易逝，实验莫测，抉择艰难。 程序员是吃“逻辑”这碗饭的。那么，怎么才能安心地吃这碗饭呢？你需要掌握组织大规模逻辑的技艺。 要掌握这门技艺，需要有一些思想方法论来指导。本文谈谈，软件业界是如何应对组织大规模逻辑的。 思想 结构化抽象 软件，本质上是一种可动态而弹性变化的逻辑装置 ......
医学顶刊Nature Medicine！达摩院提出：CT首次实现大规模胰腺癌筛查
前言 胰腺癌，素有“癌症之王”的称号，平均五年生存率不到10%，是中国乃至全球生存率最低的恶性肿瘤。80%的胰腺癌一旦发现就是晚期，发病凶猛，极难治愈；目前临床指南缺乏有效筛查手段，因为容易出现漏诊或误诊。体检及医院常用的平扫CT图像对比度低，很难识别早期胰腺病变。11月21日，国际顶级医学期刊《N ......
大规模神经网络优化：神经网络损失空间“长”什么样？
前言 如何刻画网络的优化性质呢？在优化相关的论文中，通常通过分析 Hessian 矩阵及其特征值，或者将损失函数进行一维或二维的可视化来分析网络的优化性质。我们希望这些指标能够帮助我们更好的理解网络损失的 landscape，优化器优化轨迹的性质等等。我们希望将这些指标刻画的性质与优化器的设计关联起 ......
基于大规模MIMO通信系统的半盲信道估计算法matlab性能仿真
1.算法运行效果图预览 2.算法运行软件版本 matlab2022a 3.算法理论概述 基于大规模MIMO通信系统的半盲信道估计算法涉及多个步骤，其原理和数学公式概括如下： 首先，MIMO系统需要发送已知的训练序列，在接收端进行初始的信道估计。当发送有用的信息数据时，接收端会利用初始的信道估计结果进 ......
某全球领先的晶圆代工企业：替代FTP实现大规模文件的高效传输
全球领先的集成电路晶圆代工企业之一 该企业不仅是全球领先的集成电路晶圆代工企业之一，也是中国内地技术最先进、配套最完善、规模最大、跨国经营的集成电路制造企业集团。主要业务是根据客户本身或第三者的集成电路设计，为客户制造集成电路芯片，是纯商业性集成电路代工厂。 需求和挑战 该晶圆代工企业已经在内部环境 ......
大规模集群的注意事项
简介 一提到大规模这三个字，就联想到数据中心机房中一排排的物理服务器，在早期还是购买物理机找托管机房的年代，很多时间都在机房中维护服务器，那声音吵得耳朵疼，现在的运维工程师幸福多了。 注意事项 集群峰值 k8s1.28版本单个集群支持5000个工作节点，每个节点Pod数量不超过110，pod总数不超 ......
大规模语言LLaVA：多模态GPT-4智能助手，融合语言与视觉，满足用户复杂需求
大规模语言LLaVA：多模态GPT-4智能助手，融合语言与视觉，满足用户复杂需求 一个面向多模式GPT-4级别能力构建的助手。它结合了自然语言处理和计算机视觉，为用户提供了强大的多模式交互和理解。LLaVA旨在更深入地理解和处理语言和视觉信息，从而实现更复杂的任务和对话。这个项目代表了下一代智能助手 ......
SAFe框架下的大规模敏捷工具一览
Leangoo领歌是国产的永久免费的敏捷项目管理软件，随着SAFe的越来越普及，提供了完整的SAFe框架功能，包括：Program Backlog，PI规划，迭代规划，迭代执行，迭代统计等。这是SAFe使用场景：规模化敏捷SAFe，更支持小型团队敏捷开发，Scrum of Scrums大规模敏捷等敏... ......
modin pandas 大规模数据处理方案
modin 是一个可以快速替换原生pandas 的方案，我们只需要替换一个简单的引用，就可以将pandas 的数据处理速度有很大的提升modin 支持与不少框架的集成（ray, dask,unidisk）,目前modin 对于常用read 操作都有很不错的支持，参考图 参考架构 如下图，可以看出mo ......
论文研读_通过具有可扩展的小子种群的协方差矩阵适应性进化策略解决大规模多目标优化问题S3-CMA-ES(未完成)
论文研读_通过具有可扩展的小子种群的协方差矩阵适应性进化策略解决大规模多目标优化问题 创新点 随着目标或决策变量的数量增加，收敛性和多样性之间的冲突变得更为严重，因此在它们之间取得平衡变得越来越困难。此时S 3 -CMA-ES，它使用一系列子种群来近似LSMOPs的PFs，并强调不同子种群间的多样性 ......
2023华为杯数模C题——大规模创新类竞赛评审方案研究
B题——大规模创新类竞赛评审方案研究 思路：采用数据分析等手段改进评分算法性能 完成情况 资料获取 问题一 在每个评审阶段，作品通常都是随机分发的，每份作品需要多位评委独立评审。为了增加不同评审专家所给成绩之间的可比性，不同专家评审的作品集合之间应有一些交集。但有的交集大了，则必然有交集小了，则可比 ......
Cplex求解教程（基于OPL语言，可作为大规模运算输入参考）
最近导导让牛牛改篇论文，牛牛在她的指导下把非线性问题化成了线性。然鹅，化成线性后的模型决策变量和约束条件均达到上百甚至上千个，这让牛牛犯了难，以下方法或许能为这样大规模模型的变量和约束输入提供思路(๑•́₃ •̀๑) 一、问题描述及模型建立 指派问题： 分配\(n\)人去做\(n\)项工作；每人做且 ......
论文研读_大规模多目标优化问题的两阶段多任务转换框架
本文的创新点在哪里 采用两阶段框架的方式来处理大规模多目标优化问题 第一阶段，采用多任务优化策略和双向搜索策略，它将多目标问题改编为决策空间中的多任务问题，以增强收敛性 利用双向搜索策略与 MFEA 相结合，将多目标问题转化为多任务问题 第二阶段，提出的算法将多任务优化应用到基于目标空间中的参考点的 ......
ANN（大规模向量检索方法）
向量检索 这篇文章主要介绍一些向量检索的常用方法 向量检索主要分为两种情况，分别为NN和ANN 首先是最近邻NN，时间复杂度为\(O(ND)\) 其中N为向量的个数，D为向量的维度，运算速度较慢 ANN通过牺牲一部分的内存和内存占用等，换来更快的检索速度（不一定是最近似的，比较近似的即可） NN和A ......
大规模分布式训练并行模式
大规模分布式训练并行模式 数据并行 Data Parallelism 模型在不同GPU上具有完全一致的副本，包括模型参数、模型梯度、模型优化器状态，这些都是完全相同的。唯一不同的是不同GPU上处理的数据是不同的，在每次梯度更新时，对所有数据产生梯度之和求平均，然后更新。 管道并行 Pipeline ......
论文研读_基于决策变量聚类的大规模多目标优化进化算法
多样性和收敛性是什么？ 多样性：多样性是指在一个系统、模型或者群体中存在的不同类型的元素的数量和种类。在生物学中，多样性可能指的是一个生态系统中的物种多样性；在社会学中，多样性可能指的是一个社区或者组织中的文化、种族、性别等方面的多样性；在计算机科学中，多样性可能指的是解决一个问题的不同方法或者策略 ......
SplitMask:大规模数据集是自我监督预训练的必要条件吗?
自监督预训练需要大规模数据集吗?这是2021年发布的一篇论文，它在自监督预训练场景中使用小数据集，如Stanford Cars, Sketch或COCO，它们比ImageNet小几个数量级。并提出了一种类似于BEiT的去噪自编码器的变体SplitMask，它对预训练数据的类型和大小具有更强的鲁棒性。 ......
大规模并行系统编程（一）Introduction
概述 本课程将讨论如何编写可以在大量处理器上并行运行的计算机程序，主要目标是减少执行的时间并解决无法适应单个节点的大型问题。我们将学习如何设计此类并行算法以最大限度减少通信开销和负载不平衡，如何如何使用不同的并行计算模型来实现它们，以及如何分析生成的代码和底层硬件的性能。在可用于高性能计算（HPC） ......
SAFe权威认证-领导大规模敏捷Leading SAFe认证课程介绍
Leangoo领歌是Scrum中文网旗下的一款永久免费的敏捷研发管理工具。
Leangoo领歌覆盖了敏捷研发全流程，包括小型团队敏捷开发，Scrum of Scrums大规模敏捷以及SAFe大规模敏捷框架等，提供端到端敏捷研发管理解决方案，涵盖敏捷需求管理、任务协同、缺陷管理、测试管理、进展跟踪、... ......
三维模型OBJ格式轻量化压缩在大规模场景的加载和渲染的作用分析
三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作，从而实现三维模型轻量化。轻量化压缩比大，模型轻量化效率高，自动化处理能力高；采用多种算法对三维模型进行几何精纠正处理，精度高，... ......
m基于毫米波大规模MIMO系统的的混合GMD波束形成算法matlab误码率仿真
1.算法仿真效果 matlab2022a仿真结果如下： 2.算法涉及理论知识概要 毫米波通信作为第五代移动通信（5G）和未来通信系统的重要技术，能够提供更高的数据传输速率和更大的系统容量。然而，毫米波通信在传输过程中容易受到路径损耗和大气衰减的影响，因此需要采用有效的波束形成算法来提高信号质量。混合 ......
解密Hadoop生态系统的工作原理 - 大规模数据处理与分析
在当今的数字时代，大规模数据处理和分析已经成为了企业和组织中不可或缺的一部分。为了有效地处理和分析海量的数据，Hadoop生态系统应运而生。本文将深入探讨Hadoop生态系统的工作原理，介绍其关键组件以及如何使用它来处理和分析大规模数据。 ## 什么是Hadoop？ Hadoop是一个开源的分布式计 ......
PHP调优策略和性能测试工具的详细解析 - 大规模网站性能优化
当面临大规模网站性能优化时，对PHP进行调优是至关重要的。这涉及到评估现有系统的性能瓶颈，并采取适当的策略来提高网站的响应速度和吞吐量。本文将深入探讨PHP调优的策略，以及可用于性能测试的工具。 ## 1. PHP调优策略 ### a. 代码优化 - **使用缓存**：合理使用缓存可以减少数据库查询 ......