性能分析
聊聊性能测试的左移右移
前面的文章《测试左移右移，到底是什么》中，分享过我对于测试左移右移的一些思考和实践方法。有同学在后台留言问我： 常规的性能测试一般都是在测试阶段集成测试时候才开始介入，很容易测试时间不够，可不可以借鉴测试左移右移的思路，更早的介入和发现性能风险，然后在测试阶段更专注于分析优化？ 借着这个问题，结合自 ......
数据统计分析 — 抽样分布
从总体（容量为N个体）多次取出样本（容量为n个体），通过n的某个统计量的情况，来预估总体的情况 抽样 从有限总体的抽样 简单随机样本（有限总体）：从容量N的有限总体中抽取一个容量n的样本，如果容量为n的每一个可能的样本都以相等的概率被抽出，则称该样本为简单随机样本 从无限总体的抽样 随机样本（无限总 ......
Kafka基本原理、生产问题总结及性能优化实践
Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spark流... ......
倾斜摄影三维模型数据几何坐标重建方法分析
三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作，从而实现三维模型轻量化。轻量化压缩比大，模型轻量化效率高，自动化处理能力高；采用多种算法对三维模型进行几何精纠正处理，精度高，... ......
《数据分析基础——基于python的实现》笔记
统计基础 中心极限定理（Central Limit Theorem） 不知道为啥我看到的中心极限定理有两个版本的表述 （后来发现确实是有两个版本） 第一个版本说：某城市的工资分布是个很奇怪的分布 但如果对该城市进行抽样，每次抽20个人求平均值，抽100次，那么这100个平均值的分布就会是正态分布。 ......
基于LSTM深度学习网络的时间序列分析matlab仿真
1.算法运行效果图预览 2.算法运行软件版本 matlab2022a 3.算法理论概述 LSTM是一种循环神经网络（RNN）的变体，专门设计用于处理序列数据。LSTM网络通过记忆单元和门控机制来捕捉时间序列中的长期依赖关系，避免了传统RNN中的梯度消失问题。LSTM的核心原理包括三种门控：输入门（i ......
【数值分析笔记】
第3章-函数逼近 3.1 内积空间 3.1.1 内积 设$ f(x), g(x) \in C[a,b], \rho(x)$ 是\([a,b]\)上的权函数，积分 \[(f, g) = \int_a^b \rho(x) f(x)g(x) dx \]称为函数\(f(x)\) 与\(g(x)\) 在\([ ......
RDA分析的通俗解释
RDA（冗余分析，Redundancy Analysis）是多变量统计方法中的一种，主要用于生态学和其他领域。它是对多元回归分析和主成分分析（PCA）的结合。RDA用于探索一个多变量响应数据集（例如，多个物种的丰度）与一个或多个解释变量集（例如，环境变量）之间的关系。 简单来说，RDA的目的是找出响 ......
大数据分析与应用笔记
定义 大数据:是需要新处理模式才能具有更强的决策力、洞察发 现力和流程优化能力的海量、高增长率和多样化的信息资产。 数量(Volume)、种类(Variety)、速度 (Velocity)、价值(Value)、准确性(Veracity) (1)数据清理:消除噪声和删除不一致数据。 (2)数据集成:多 ......
trafilatura 网页解析原理分析
Trafilatura是一个Python包和命令行工具，用于收集网络上的文本。其主要应用场景包括网络爬虫下载和网页解析等。
今天我们不讨论爬虫和抓取，主要看他的数据解析是如何做的。 ......
R语言数量生态学冗余分析RDA分析植物多样性物种数据结果可视化
原文链接：http://tecdat.cn/?p=25564 原文出处：拓端数据部落公众号 最近我们被客户要求撰写关于生态学冗余分析RDA的研究报告，包括一些图形和统计输出。 冗余分析（redundancy analysis，RDA）是一种回归分析结合主成分分析的排序方法，也是多因变量（multir ......
python、R语言ARIMA-GARCH分析南方恒生中国企业ETF基金净值时间序列分析
全文链接：https://tecdat.cn/?p=34123 原文出处：拓端数据部落公众号 分析师：Yuyan Wang 虽然中国股票市场日益完善,但还不完全是弱有效市场,因此中国股票市场存在比较明显的通过技术分析达到的套利机会。 解决方案 任务/目标 根据基金净值的要求，运用多种模型分析实现股票 ......
R语言时变面板平滑转换回归模型TV-PSTR分析债务水平对投资的影响|附代码数据
全文下载链接：http://tecdat.cn/?p=21506 最近我们被客户要求撰写关于TV-PSTR的研究报告，包括一些图形和统计输出。 在本文中，当采用两种状态时，单转换函数PSTR模型具有两个变量： 我们的经验方法的基础包括评估N个国家的资本流动性。相应的模型定义如下： 其中，Iit是第i ......
SPSS Modeler分析物流发货明细数据：K-MEANS（K均值）聚类和Apriori关联规则挖掘|附代码数据
全文链接：http://tecdat.cn/?p=32633 原文出处：拓端数据部落公众号 物流发货明细数据在现代物流业中扮演着至关重要的角色。通过对这些数据进行挖掘和分析，我们可以发现隐含在背后的供应链运营规律和商业模式，从而指导企业在物流策略、成本管理和客户服务等方面做出更加科学和有效的决策。 ......
规格测试，性能测试和压力测试的区别
规格测试、性能测试和压力测试，从测试目的，测试方法和关注点上都存在区别。 1、测试目的 规格测试主要关注产品的规格是否符合标准或客户需求 性能测试则关注产品的性能指标是否达到预期要求 压力测试则通过模拟极端情况来检测产品在超出正常负荷时的表现 2、测试方法 规格测试 通常采用静态测试方法、检查产品文 ......
R数据分析：反事实框架和因果中介的理论理解
其实很早之前给大家写中介分析的做法的时候我也有思考过当中介变量或者因变量不是连续变量的时候，中介怎么做？或者说这个时候中介的结果如何解释？当时反正是一直没有太想明白这些问题，毕竟这些情况在发表的文献中也较少见，也就稀里糊涂过去了。 近期又被好多同学多次问及这些问题。想着逃避不过去了，试着看些文献给大 ......
数据分析--数据采集方法
数据采集方法 本文主要是个人学习过程中记录的笔记，此部分内容包括常见的数据文件的存储和读取，通常在使用Python读取数据文件比较推荐Pandas模块，当然在对Excel进行读取和操作时也可以配合openpyxl,xlwings等。由于此前是使用JupyterNotebook进行编写和学习的，如果使 ......
报错分析：Value specified in CPUShares is out of range: unknown
启动容器时报错： Caused by: org.freedesktop.DBus.Error.InvalidArgs: Value specified in CPUShares is out of range: unknown 初看log不知从哪里来，既不是docker也不是容器运行时，也不是ker ......
编译程序时的各种分析主要是分析什么？
词法分析 识别单词，例如，保留字、标识符、常数、运算符、分界符等； 语义分析 对结构上正确的源程序进行上下文有关性质的审查，进行类型审查； 语法分析 在词法分析的基础上，将单词序列组合成各类语法短语，且判断其结构是否正确； ......
SonarQube安装及分析.NET 5.0代码
SonarQube安装及分析.NET 5.0代码 一、写在前面 在日常逛园子的时候发现了SonarQube 这个代码质量管理平台，感觉挺有意思的所以决定自己捣鼓一下，使用方法大多来源网上本文章只是记录一下使用过程。 二、下载安装 1.官网下载地址：https://www.sonarsource.co ......
c#耗时及性能监测
c#耗时及性能监测 在编程中，我们经常需要测量代码的执行时间，以便评估代码的性能和效率 命名空间 using System.Diagnostics; 字段 字段说明 Frequency 获取以每秒刻度数表示的计时器频率。此字段为只读。 IsHighResolution 指示计时器是否基于高分辨率性能 ......
Kafka-生产者性能调优
（一）参数调优 参数调优相关代码 在实际的kafka开发中，我们会发现，无论是生产者还是消费者，都需要构建一个Properties对象，里面设置了很多参数。在这段代码中有很多常用的参数配置，在线上使用时，我们要根据实际的数据量和数据大小来决定这些配置的具体值。 Properties props = ......
逻辑漏洞挖掘之CSRF漏洞原理分析及实战演练
本系列文章旨在揭秘逻辑漏洞的范围、原理及预防措施，逐步提升大家的安全意识。第二篇选取了广为熟知的CSRF漏洞进行介绍。 ......
你怎么看待软件测试中的性能测试
性能测试 一、什么是性能测试 1、百度百科上性能测试是：通过自动化的测试工具模拟不同场景的负载条件，去探究系统设计与资源消耗之间的平衡，从而实现对系统各项指标的检测和测试。 2、我们可以把性能测试理解为：应用软件中各项指标的负载情况。通过在测试环境下对系统或构件的性能进行探测，用以验证在生产环境下系 ......
记一次老商家端应用内存突然飚高原因分析
一、排查过程 问题发现是因为当时接到了内存UMP报警信息，如下： 通过查看PFinder发现内存一直在增长，没有停止迹象，触发fullGC也并没有下降趋势： 当机立断，先立即去NP上摘除了此台机器流量，然后继续观察，发现内存依然在不断增长。 随即查看故障分析，并没有得到有效信息： 因为流量已经摘除， ......
ELK 企业级日志分析系统
一、ELK 简介 1.1 ELK组件介绍 ELK平台是一套完整的日志集中处理解决方案，将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用， 完成更强大的用户对日志的查询、排序、统计需求。●ElasticSearch：是基于Lucene（一个全文检索引擎的架构） ......
LLVM代码生成分析杂谈
LLVM代码生成分析杂谈 1简介 本文提供了有关生成和编译LLVM程序集代码的其他信息。 LLVM是一个庞大而复杂的系统，用于为各种目标体系结构生成优化的机器代码。对于这个项目，将使用其功能的非常有限的子集，为了方便使用，定义了一个生成LLVM代码的简单接口，可以在示例代码的LLVM目录中找到它。有 ......
一个重量级HTTP api的304优化分析与突发失效问题解决
背景 最近查看nginx log排查问题时，意外中发现重量级的主页 list api 304比例已暴跌至不到1%，之前该比例长期维持在30%以上，近期也未改动过相关逻辑，跟进后最终发现是服务端本地cache混用导致的问题。 304优化原因 app每次冷启初始化时都会请求重量级的HTTP主页list ......
R语言聚类、文本挖掘分析虚假电商评论数据：K-Means(K-均值)、层次聚类、词云可视化|附代码数据
全文链接：http://tecdat.cn/?p=32540 原文出处：拓端数据部落公众号 聚类分析是一种常见的数据挖掘方法，已经广泛地应用在模式识别、图像处理分析、地理研究以及市场需求分析。本文主要研究聚类分析算法K-means在电商评论数据中的应用，挖掘出虚假的评论数据。 本文主要帮助客户研究聚 ......
【找到 Anchor-based and Anchor-free 性能差距的本质】Adaptive Training Sample Selection (ATSS) 论文精读
原始题目：Bridging the Gap Between Anchor-based and Anchor-free Detection via Adaptive Training Sample Selection 中文翻译：通过 自适应训练样本选择 缩小 Anchor-based and Anch ......