表观 甲基 分析软件 基因
使用Google OR-Tools分析过去20年中国金融资产最佳配置组合
前两天，在朋友圈里看到一张截至2022年Q2的金融资产历年收益图如下，图中列举了国内从2005年到2022年近20年主要的金融资产历年收益率，随产生想法分析和验证下面几个问题： 过去20年，基于怎样的资产配置才能让收益最大化？ 如果完全拒绝风险，是否可以理财，收益率会是多少？ 是否有风险小，收益高的 ......
Chaos 测试下的若干 NebulaGraph Raft 问题分析
作为分布式系统的基石 Raft 有非常明显的优势，但这也伴随着不小的挑战 —— Raft 算法的实现及其容易出错，同时算法的测试和调试也是一项巨大的挑战。NebulaGraph 目前使用的是自研的 Raft，鉴于 Raft 本身的复杂性我们构造了诸多 Chaos 测试来保障 NebulaGraph ... ......
xxl-job定时调度任务Java代码分析
用xxl-job做后台任务管理, 主要是快速解决定时任务的HA问题, 项目代码量不大, 功能精简, 没有特殊依赖. 因为产品中用到了这个项目, 上午花了点时间研究了一下运行机制. 把看到的记一下. ......
Kafka技术专题之「性能调优篇」消息队列服务端出现内存溢出OOM以及相关性能调优实战分析
本篇文章介绍Kafka处理大文件出现内存溢出 java.lang.OutOfMemoryError: Direct buffer memory，主要内容包括基础应用、实用技巧、原理机制等方面，希望对大家有所帮助。 ......
作者推荐 | 【分布式技术专题】「架构设计方案」图解学习法总结集群模式下的各种软负载均衡策略实现及原理分析
通常来说，负载均衡分为硬件负载均衡及软件负载均衡。硬件负载均衡，顾名思义，在服务器节点之间安装专门的硬件进行负载均衡的工作，F5或者A10便为其中的佼佼者。软件负载均衡则是通过在服务器上安装的特定的负载均衡软件或是自带负载均衡模块完成对请求的分配派发。例如，平时我们使用的Nginx或者API-Gat... ......
【秒杀购物商城业务服务】「分布式架构服务」盘点中间件服务的高可用模式及集群技术的方案分析
- 基于MySQL数据库集群技术实现服务的高可用
- 基于Tomcat的集群负载机制实现Tomcat服务器的高可用
- 基于Nginx负载均衡机制实现负载均衡（介绍和配置）
- 基于Redis缓存服务实现数据缓存控制相关介绍和技术点分析
- 对未来的分布式技术架构扩展和延伸介绍（包含云原生部分） ......
【深入浅出Spring原理及实战】「源码原理实战」从底层角度去分析研究PropertySourcesPlaceholderConfigurer的原理及实战注入机制
主要有一下xml文件占位符解析和Java的属性@Value的占位符解析配置这两种场景进行分析和实现解析，如下面两种案例。 ......
【深入浅出SpringCloud原理及实战】「SpringCloud-Alibaba系列」微服务模式搭建系统基础架构实战指南及版本规划踩坑分析
Spring Boot 应用程序在服务注册与发现方面提供和 Nacos 的无缝集成。 通过一些简单的注解，您可以快速来注册一个服务，并使用经过双十一考验的 Nacos 组件来作为大规模分布式系统的服务注册中心。 ......
【JVM故障问题排查心得】「内存诊断系列」Docker容器经常被kill掉，k8s中该节点的pod也被驱赶，怎么分析？
我有一个在主机中运行的Docker容器（也有在同一主机中运行的其他容器）。该Docker容器中的应用程序将会计算数据和流式处理，这可能会消耗大量内存。
该容器会不时退出。我怀疑这是由于内存不足，但不是很确定。我需要找到根本原因的方法。那么有什么方法可以知道这个集装箱的死亡发生了什么？ ......
深度剖析 | 【JVM深层系列】[HotSpotVM研究系列] JVM调优的"标准参数"的各种陷阱和坑点分析（攻克盲点及混淆点）「 1 」
相信大多数人的理解是Major GC只针对老年代，Full GC会先触发一次Minor GC，不知对否？我参考了R大的分析和介绍，总结了一下相关的说明和分析结论。 ......
遥感图像识别（标注）软件实现
遥感图像识别已经有很多成熟的模型和实现，这里我们选择yolov5_obb和dota数据集，以说明并实现一种思路：那就是先识别、再标注、再训练的过程。鉴于领域内数据往往比较封闭，对此类数据的标注实现难度较大，所以需要模型迁移。首先基于已经训练的成果，实现初步标绘；而后通过人在回路的修正，获得精确的结果 ......
PowerDotNet平台化软件架构设计与实现系列（15）：支付平台
PowerDotNet个人项目中功能全面而强大的一个系统是支付平台。我对PowerDotNet的自信很大程度上来自于经过PowerDotNet重写后的支付、财务、结算、CRM等业务型公共服务系统的稳定运行。 使用PowerDotNet和PowerDotNetCore特别开发的业务逻辑型公共服务既有极 ......
PowerDotNet平台化软件架构设计与实现系列（14）：平台建设指南
软件开发中常见的几种不同服务模型包括SaaS（软件即服务）、LaaS（许可即服务）、PaaS（平台即服务）、CaaS（容器即服务）、IaaS（基础设施即服务）和FaaS（功能即服务）。 很多人认为IaaS和FaaS是趋势，是未来软件设计与开发人员的基本必备技能，PowerDotNet和PowerDo ......
一次TiDB GC阻塞引发的性能问题分析
背景 前不久从项目一线同学得到某集群的告警信息，某个时间段 TiDB duration 突然异常升高，持续时间6小时左右，需要定位到具体原因。 分析过程 第一招，初步判断 由于项目条件苛刻，历经苦难才拿到监控，在此之前只能靠现场同学的口述排查，oncall人太难了。。 既然是duration升高，那 ......
记一次 .NET 某工控MES程序 崩溃分析
一：背景 1.讲故事 前几天有位朋友找到我，说他的程序出现了偶发性崩溃，已经抓到了dump文件，Windows事件日志显示的崩溃点在 clr.dll 中，让我帮忙看下是怎么回事，那到底怎么回事呢? 上 WinDbg 说话。 二：WinDbg 分析 1. 崩溃点在哪里 如果是托管代码引发的崩溃，在线程 ......
使用PyLint分析评估代码质量
什么是PyLint PyLint是一款用于评估Python代码质量的分析工具，它诞生于2003年，其最初十年的主要作者和维护者是Sylvain Thénault。PyLint可以用来检查代码是否错误、是否符合编码规范（它默认使用的编码规范是PEP 8），在分析代码后PyLint将会输出一段信息，内容 ......
有状态软件如何在 k8s 上快速扩容甚至自动扩容
概述 在传统的虚机/物理机环境里, 如果我们想要对一个有状态应用扩容, 我们需要做哪些步骤? 申请虚机/物理机 安装依赖 下载安装包 按规范配置主机名, hosts 配置网络: 包括域名, DNS, 虚 ip, 防火墙... 配置监控 今天虚机环境上出现了问题, 是因为 RabbitMQ 资源不足. ......
微服务组件-----Spring Cloud Alibaba 注册中心Nacos的CP架构Raft协议分析
前言 本篇幅是继 注册中心Nacos源码分析 的下半部分。 意义 【1】虽说大部分我们采用注册中心的时候考虑的都是AP架构，为什么呢？因为性能相对于CP架构来说更高，需要等待的时间更少【相对于CP架构，采用的是二段提交，AP架构是直接落盘数据，然后进行数据扩散，来达到最终一致，所以客户端收到响应会更 ......
软件设计中最关键的“开闭原则”，究竟指什么呢？
前言 软件设计原则中有一条很关键的原则是开闭原则，就是所谓的对扩展开放，对修改关闭。个人觉得这条原则是非常重要的，直接关系到你的设计是否具备良好的扩展性，但也是相对比较难以理解和掌握的，究竟怎样的代码改动才被定义为“扩展”？怎样的代码改动才被定义为“修改”？怎么才算满足或违反“开闭原则”？别急，本文 ......
Qt开发Active控件:如何使用ActiveQt Server开发大型软件的主框架（2）
Qt开发Active控件:如何使用ActiveQt Server开发大型软件的主框架 注：本文更多地是带着如何去思考答案，而不是纯粹的放一个答案上来，如果你需要直接看到完整的答案，请直接看实例和最后的柳暗花明部分，里面由详细的注释可以解答你的问题。 前情提要： Qt的进程间通信,以服务器的形式，手把 ......
『航班乘客满意度』场景数据分析建模与业务归因解释 ⛵
本文结合航空出行的场景，使用机器学习建模，详细分析了航班乘客满意度的影响因素：机上Wi-Fi服务、在线登机、机上娱乐质量、餐饮、座椅舒适度、机舱清洁度和腿部空间等。 ......
复现MySQL的索引选择失误以及通过OPTIMIZER_TRACE分析过程
复现MySQL的索引选择失误以及通过OPTIMIZER_TRACE分析过程 验证环境：MySQL 5.7.39 windows-pc 一、构造数据（生成150万数据） 构建一张账户表，带有一级部门id和二级部门id，并且建立有索引。比较典型的业务场景，根据部门id进行各类查询。 CREATE TAB ......
万字长文！对比分析了多款存储方案，KeeWiDB最终选择自己来
大数据时代，无人不知Google的“三驾马车”。“三驾马车”指的是Google发布的三篇论文，介绍了Google在大规模数据存储与计算方向的工程实践，奠定了业界大规模分布式存储系统的理论基础，如今市场上流行的几款国产数据库都有参考这三篇论文。 《The Google File System》，200 ......
AFL源码分析（一）
AFL源码分析（一） 文章首发于：ChaMd5公众号 https://mp.weixin.qq.com/s/E-D_M25xv5gIpRa6k8xOvw a.alf-gcc.c 1.find_as 这个函数的功能是获取使用的汇编器。首先获取环境变量AFL_PATH，如果这个环境变量存在的话，接着把他 ......
Docker 工作原理分析
docker 容器原理分析 docker 的工作方式 Namespace 容器对比虚拟机 Cgroups 容器看到的文件 Mount namespace chroot rootfs Volume（数据卷) 打包一个go镜像 总结 参考 docker 容器原理分析 docker 的工作方式 当我们的程 ......
前端学习 linux —— 软件安装(Ubuntu)
软件安装(Ubuntu) 本篇主要讲解 ubuntu 中软件的安装、apt 的源、内网部署案例（graylog 为例），最后是 python 开发准备。 apt 和 rpm 在linux 第一篇我们知道如果机器是 ubuntu 则可用 apt-get/dpkg 安装软件，如果是centos 则可用 ......
Linux系统各种库/软件版本输出指令
日常开发基于Linux系统（其实更多的是Ubuntu平台），平时总会遇到一些情况需要查看某个库或者软件的版本信息，在这里做一下简单的记录。 1. 查看glibc版本 方法一：使用ldd指令 cv@cv:~$ ldd --version ldd (Ubuntu GLIBC 2.23-0ubuntu11 ......
Python：对程序做性能分析及计时统计
如果只是想简单地对整个程序做计算统计，通常使用UNIX下的time命令就足够了。由于我用的是Mac系统，和Linux系统的输出可能有不同，不过关键都是这三个时间：user: 运行用户态代码所花费的时间，也即CPU实际用于执行该进程的时间，其他进程和进程阻塞的时间不计入此数字；system: 在内核中... ......
2022-2023年度必备宇宙最全Windows系统软件清单
本文为大家介绍史上最强Windows必备神器，每一款都是良心的超好用产品，助你日常办公效率加倍提升。欢迎大家点赞、收藏加分享，谢谢大家。 ......
数据统计与可视化复习总结（二）：非参数检验、生存分析
数据统计与可视化课程总结（一）：大数定理与数理统计 - 孤飞 - 博客园 (cnblogs.com) 前面所介绍的各种检验法，是在总体分布类型已知的情况下，对其中的未知参数进行检验统称为参数检验. 在实际问题中，有时我们并不能确切预知总体服从何种分布，这时就需要根据来自总体的样本对总体分布进行推断， ......