数据处理 软件测试 神器 教程
自动化运维：使用Maven与Docker运行Selenium测试
在这篇文章中，我们将向您展示如何创建交付流水线并实现以下目标： 使用Web应用程序构建Docker镜像 在Docker容器中运行该应用程序 从不同的容器中使用Maven运行Selenium测试 出于本文演示目的，我们将使用托管在GitHub上的Java示例项目: github.com/buddy-r ......
k8s部署canal-1.1.6版本实现MySQL数据库数据同步
1、版本说明 软件&镜像 版本&镜像信息 说明 Kubernetes v1.23.7 k8s服务器 Kuboard v3.5.2.0 k8s连接管理工具 Canal v1.1.6 数据同步 Canal-deployer canal/canal-server:latest canal-deplyer镜 ......
(一) MdbCluster分布式内存数据库——基础架构介绍
(一) MdbCluster分布式内存数据库——基础架构介绍 这个项目是怎么开始的我已经有些记不清楚了，大概是原来的内存数据库很不好用，一次次地让我们踩坑，我又自以为是地觉得可以做一个更好的出来。自从拥有自己的团队以来，我思考最多的总是如何带着团队做出有意义和有价值的产品，而不是将时间浪费在无谓的琐 ......
从 Cloud-Native Relational DB 看数据库设计
论文内容：Amazon Aurora: Design Considerations for HighThroughput Cloud-Native Relational Databases 里面介绍了一种云原生的关系型数据库 Aurora 的体系结构，以及导致该体系结构的设计考虑因素。我觉得和普通的 ......
火山引擎 DataLeap：3 个关键步骤，复制字节跳动一站式数据治理经验
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，并进入官方交流群 DataLeap 是火山引擎数智平台 VeDI 旗下的大数据研发治理套件产品，帮助用户快速完成数据集成、开发、运维、治理、资产、安全等全套数据中台建设，降低工作成本和数据维护成本、挖掘数据价值、为企业决策提供数据支撑。 本 ......
【新晋开源项目】内网穿透神器[中微子代理] 加入 Dromara 开源社区
1、关于作者 dromara开源组织成员，dromara/neutrino-proxy项目作者 名称：傲世孤尘、雨韵诗泽 名言： 扎根土壤，心向太阳。积蓄能量，绽放微光。 拘浊酒邀明月，借赤日暖苍穹。喻万物为星斗，化沧海成诗篇。 还生命以坦然，遗沧海以一笑。 微信号：yuyunshize Gitee ......
Git入门图文教程(1.5W字40图)🔥🔥--深入浅出、图文并茂
Git是当前最先进、最主流的分布式版本控制系统，免费、开源！核心能力就是版本控制。本文深入浅出、图文并茂的展示了Git的入门系列教程。 ......
深度学习炼丹-数据标准化
当我们处理的数据具有不同尺度时，执行数据标准化操作是很有必要的。本文给出了数据标准化(Normalization)的定义、常用方法以及为什么要做数据标准化，并给出相关代码实现。 ......
python处理apiDoc转swagger
使用apidoc包生成apidoc的json格式数据，然后使用python读取出接口地址、名字、组名、输入参数格式和例子、输出参数格式和例子等，然后根据swagger格式填入对应的数据即可生成swagger的json格式 ......
2022数据分析： 电商天猫维生素类药品销售分析
前言 这篇数据分析记述了一次关于天猫维生素类的药品(2020-2021)销售数据的分析。 有些不足的地方，希望大家斧正。 题目 随着国家政策的逐步开放，越来越多的药品可以在网络上购买，医药电商平台蒸蒸日上，受新冠疫情的影响，线下药店购买困难，更让医药电商进入了更多消费者的视野，各大药企也纷纷加大力度 ......
Sqoop导出ClickHouse数据到Hive
背景 公司采购了外部服务，其存储为ClickHouse，按照公司要求需要将其数据采集到Hive。 验证环境 CDH: 6.3.2 ClickHouse: 19.15.4.10 Sqoop: 1.4.7 Driver 需要在脚本中明确指明所使用的Driver完整签名。 ClickHouse使用自定义协 ......
云端智创 | 基于视频AI原理的音视频智能处理技术
本文内容整理自「智能媒体生产」系列课程第二讲：视频AI与智能生产制作，由阿里云智能视频云高级技术专家分享视频AI原理，AI辅助媒体生产，音视频智能化能力和底层原理，以及如何利用阿里云现有资源使用音视频AI能力。课程回放见文末。 01 算法演进：视频AI原理 在媒体生产的全生命周期中，AI算法辅助提升 ......
【大型软件开发】浅谈大型Qt软件开发（四）动态链接库的宏冲突问题、COM组件开发的常见问题
最近工作的时候有一个链接库的对接工作，在对接时发生了一些小问题，这篇FAQ是办公室写这个库的工程师戴工写的，这里记录一下： 一、编译工程时报链接错误“不允许dllimport静态数据成员的定义” 1.错误截图 2.错误原因分析 此错误是Q_OBJECT和Q_DECL_IMPORT宏共同作用时产生的结 ......
【大型软件开发】浅谈大型Qt软件开发（三）QtActive Server如何通过COM口传递自定义类型？如何通过一个COM口来获得所有COM接口？
前言 最近我们项目部的核心产品正在进行重构，然后又是年底了，除了开发工作之外项目并不紧急，加上加班时间混不够了....所以就忙里偷闲把整个项目的开发思路聊一下，以供参考。 鉴于接下来的一年我要进行这个主框架的开发，本着精益求精的态度，加上之前维护前辈的产品代码确实给我这个刚毕业的社畜带来了不小的震撼 ......
[数据结构] 二分查找 (四种写法)
#二分查找 ##二分查找 二分查找（Binary Search）也叫作折半查找，前提是查找的顺序结构是有序的，我们一般在数组上进行二分查找。 二分查找就好像猜数字大小游戏一样。假设要数字目标值属于 [1, 1000] 范围内，当我们猜的数字小于这个目标值时（"Too low"），我们需要往大去猜；反 ......
[数据结构] 树、二叉树、森林的转换
#树 ##树的表示方法 ###双亲表示法 用一组地址连续的存储单元来存放树中的各个节点，每一个节点中有一个数据域和一个指针域，数据域用来存储树中该节点本身的值；另一个指针域用来存储该节点的双亲节点在存储结构中的位置信息。 采用双亲链表存储方式实现查找一个指定节点的双亲节点比较方便，但难以实现查找一个 ......
[数据结构] 二叉搜索树 (二叉排序树)
#二叉搜索树 ##二叉搜索树的基本概念 二叉搜索树（ Binary Search Tree ）也称二叉排序树，是一种各节点值之间存在一定次序关系的二叉树。 ##二叉搜索树的特点 一般情况下，二叉搜索树中所有节点值是不重复的。 对于二叉搜索树中的每个节点： （1）如果其左子树不为空，那么其左边的节点值 ......
RocketMQ Streams 1.1.0: 轻量级流处理再出发
作为一套全新的流式处理框架，RocketMQ Streams 如何实现流计算拓扑图构建呢？一起来了解下它的实现原理以及数据流转过程和过程中的状态变化吧~ ......
[数据结构]二叉树的前中后序遍历(递归+迭代实现)
#二叉树的遍历 ##主要的三种遍历方式 二叉树主要的遍历方式有前序遍历、中序遍历和后序遍历。 （1）前序遍历：根节点-->左子树-->右子树 （2）中序遍历：左子树-->根节点-->右子树 （3）后序遍历：左子树-->右子树-->根节点 其实还有一种比较基础的遍历方式是层次遍历，但是在本篇文章中不会 ......
[数据结构] 根据前中后序遍历中的两种构造二叉树
#前中后序遍历 ##前中后序遍历的特点 ###前序遍历 前序遍历顺序：根节点 -> 左子树 -> 右子树 前序遍历结果：[根节点，[左子树前序遍历结果]，[右子树前序遍历结果]] 假如把前序遍历结果存到数组中，数组中的第一个元素就是二叉树根节点的数据，而且还可以知道第二个元素是根节点左孩子的数据，即 ......
【数据结构和算法】Trie树简介及应用详解
Trie树，即字典树，又称单词查找树或键树，是一种树形结构，典型应用是用于统计，排序和保存大量的字符串（但不仅限于字符串），所以经常被搜索引擎系统用于文本词频统计。它的优点是：利用字符串的公共前缀来减少查询时间，最大限度地减少无谓的字符串比较，查询效率比哈希树高。 ......
Fabric2.x中Raft共识算法核心数据结构
一、共识算法可插拔的代码体现Chain接口 Hyperledger Fabric的共识算法是可插拔的，在代码上体现为Chain接口，所有不同的共识算法均可根据Chain接口进行具体实现，目前fabric支持solo、kafka、raft、sbft等共识算法。Chain接口的代码在fabric/ord ......
【Go并发编程】Go使用协程批量获取数据，加快接口返回速度
服务端经常需要返回一个列表，里面包含很多用户数据，常规做法当然是遍历然后读缓存。 使用Go语言后，可以并发获取，极大提升效率。 使用channel package main import ( "fmt" "time" ) func add2(a, b int, ch chan int) { c := ......
【教程搬运】分析并编写suricata规则（内含两个示例）
suricata规则分析 参考1 参考2 Suricata 签名的结构 在高层次上，Suricata签名由三部分组成： Action：当流量符合规则时采取的行动 Header：一个标题，描述主机、IP地址、端口、协议和流量方向（传入或传出） Options：选项，指定诸如签名ID（sid）、日志信息 ......
Netty Protobuf处理粘包分析
背景 最近消息中间件项目进行联调，我负责Server端，使用Java的Netty框架。同事负责Client端，使用Go的net包，消息使用Protobuf序列化。联调时Client发送的消息Server端解析出错，经过分析发现是Server与Client粘包处理方式不一致导致，Server使用的是P ......
百万级数据excel导出功能如何实现？
前言 最近我做过一个MySQL百万级别数据的excel导出功能，已经正常上线使用了。 这个功能挺有意思的，里面需要注意的细节还真不少，现在拿出来跟大家分享一下，希望对你会有所帮助。 原始需求：用户在UI界面上点击全部导出按钮，就能导出所有商品数据。 咋一看，这个需求挺简单的。 但如果我告诉你，导出的 ......
R数据分析：孟德尔随机化中介的原理和实操
中介本身就是回归，基本上我看到的很多的调查性研究中在中介分析的方法部分都不会去提混杂，都是默认一个三角形画好，中介关系就算过去了，这里面默认的逻辑就是前两步回归中的混杂是一样的，计算中介效应的时候就自动消掉了。 但是，实际上对不对，还是有待具体分析的： Traditional, non-instru ......
JumpServer(v2.28.6) 堡垒机添加Linux资产 (图文教程)
前面介绍了如何在《CentOS7下搭建JumpServer 堡垒机》，基于这篇文章的环境搭建过程，接着介绍安装后的的功能配置使用。 首次wbe登录，https://ip:80，默认账号密码：admin，admin；这里自定义密码修改：admin@123 用户管理项 创建系统角色 创建用户 创建用户组 ......
DevExpress 的LayoutControl控件导致资源无法释放的问题处理
现象记录 前段时间同事发现我们的软件在加载指定的插件界面后，关闭后插件的界面资源不能释放， 资源管理器中不管内存，还是GDI对象等相关资源都不会下降。 问题代码 问题的代码大概如下。 public void LoadPluginUI(string pluginID) { this.Control.C ......
使用小黄鸟(HttpCanary)+模拟器(VMOS Pro)对手机APP进行抓包（附带软件）
最近接触app开发，苦于app端不能像网页端可以F12看请求信息，对于后端来说当接口出现异常却不能拿到请求参数是很苦恼的， 因为之前了解过逍遥模拟器，先使用了模拟器对app进行抓包，但发现这一款app在模拟器上面卡的很,根本玩不转。 后面找到了一个可以在手机上直接抓包的工具——httpcanary（ ......