管理工具 功能 数据库 工具
国际财务系统基于ShardingSphere的数据分片和一主多从实践
作者：京东物流 张广治 1 背景 传统的将数据集中存储至单一数据节点的解决方案，在性能和可用性方面已经难于满足海量数据的场景，系统最大的瓶颈在于单个节点读写性能，许多的资源受到单机的限制，例如连接数、网络IO、磁盘IO等，从而导致它的并发能力不高，对于高并发的要求不满足。 每到月初国际财务系统压力巨 ......
MongoDB从入门到实战之.NET Core使用MongoDB开发ToDoList系统（3）-系统数据集合设计
前言 前几章教程我们把ToDoList系统的基本框架搭建好了，现在我们需要根据我们的需求把ToDoList系统所需要的系统集合（相当于关系型数据库中的数据库表）。接下来我们先简单概述一下这个系统主要需要实现的功能以及实现这些功能我们需要设计那些数据库集合。 MongoDB从入门到实战的相关教程 Mo ......
在腾讯云上创建一个玩具docker-mysql数据服务
有时候开发需求会自己做一下测试数据，在自己电脑本地安装的服务多了电脑环境会搞的很乱，这时使用云服务器安装个docker服务是一个不错的选择。 下面步骤是在腾讯云上安装docker-mysql镜像，并导入数据，使用的过程。 服务端配置 首先使用ssh登录服务器，然后按照下面的步骤一步一步操作即可。 安 ......
Azure Artifacts--全平台的程序包管理仓库(支持nuget)
写在前面 大部分一定规模的团队都有搭建私有nuget的需求；例如： MyGet BaGet 而我们使用的Azure DevOps 平台本身就提供了Artifacts， Artifacts不单只支持nuget包，还支持Npm、Maven、pip等； 这里简单说说nuget的Azure Devops A ......
数据库系列：MySQL慢查询分析和性能优化
1 背景 我们的业务服务随着功能规模扩大，用户量扩增，流量的不断的增长，经常会遇到一个问题，就是数据存储服务响应变慢。 导致数据库服务变慢的诱因很多，而RD最重要的工作之一就是找到问题并解决问题。 下面以MySQL为例子，我们从几个角度分析可能产生原因，并讨论解决的方案。 2 定位慢查询的原因并优化 ......
为什么 响应式数据被重新赋值了三次，但是监听回调只执行了一次
代码例子 const { createApp } = Vue const app = createApp({ components: [], template: ` <div> <button @click="handleClick">toggle</button> </div> `, data() ......
【动画笔记】数据结构-AVL树的插入操作
本笔记主要围绕AVL树的平衡因子、纸上做题思路、失衡类型(LL/RR/LR/RL)、失衡调整方法、插入后回溯这几部分知识点展开。 ......
python实战-基于正交实验（工具：allpairs）自动生成接口异常测试用例
#代码以上传github，欢迎使用 https://github.com/qtclm/allpairs_interface_test_case_generate_abnormity_utils 有啥问题建议或者bug啥的可以加我qq一起交流学习，248313385 #更新日志 2023.2.7：修复 ......
Kubernetes(k8s)密码管理：Secret
一.系统环境 | 服务器版本 | docker软件版本 | Kubernetes(k8s)集群版本 | CPU架构 | | | | | | | CentOS Linux release 7.4.1708 (Core) | Docker version 20.10.12 | v1.21.9 | x86 ......
Kubernetes(k8s)配置文件管理：ConfigMap
Kubernetes(k8s)配置文件管理：ConfigMap ，创建ConfigMap，以环境变量的方式使用ConfigMap ，以卷的方式使用ConfigMap ......
.NET与大数据
前言 当别人做大数据用Java、Python的时候，我使用.NET做大数据、数据挖掘，这确实是值得一说的事。 写的并不全面，但都是实际工作中的内容。 .NET在大数据项目中，可以做什么？ 写脚本（使用控制台程序+顶级语句） 写工具（使用Winform） 写接口、写服务 使用C#写代码的优点是什么？ ......
借助Radamsa变异数据（初探）
Radamsa 介绍 Radamsa是一款测试用例生成器，通常用来测试程序对格式错误和潜在恶意输入的承受能力（对程序进行模糊测试）。它通过你的输入来返回变异后的数据。它的主要卖点是，它已经在真正重要的程序中发现了许多错误。 Radamsa 使用方法 1、可以直接喂给它字符，它就会返回变异之后的数据给 ......
用GC的策略，管理团队的技术债务
在数字化时代，每一个组织的经营都是建立在数字化的系统之上的，而数字化系统的构建，必然就会带来技术债务，这是每一个数字化团队都要面临的一个问题，如何有效的管控技术债务。 技术债务的产生，是技术团队不断迭代构建系统过程中，无法一次性预设所有的需求，而随之产生了系统设计上的扭曲失真。 在了解了技术债务产生 ......
linux 基础（7）账号和群组的管理
了解账号和群组的基本信息 账号使用 如何查看 linux 计算机上有哪些账号呢？账号的信息储存在/etc/passwd中，打开就可以看到： less /etc/passwd root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologi ......
Jenkins搭建与数据迁移实践
概述 本文主要介绍内容如下： 1.使用Docker搭建Jenkins 2.迁移原Jenkins数据到新搭建的Jenkins中 3.在Jenkins容器内部配置Maven的私服配置 4.在Jenkins容器内部配置Nodejs 使用Docker搭建Jenkins Jenkins的最新版本已经全面支持j ......
【Unity 框架】 QFramework v1.0 使用指南 工具篇： 16. LiveCodingKit 写代码不用停止运行的利器 | Unity 游戏框架 | Unity 游戏开发 | Unity 独立游戏
我们在用 Unity 开发的时候，每次编写或修改一点代码就需要进行 停止运行->编写代码->等待编译->运行游戏。 而在很多情况下这个过程是一个比较耗神的过程，因为开发者需要等待，还需要动手操作。 在笔者体验过 GameMakerStudio 的 GMLive 插件后，发现不停止运行就可以直接查看代 ......
Springboot整合AOP和注解，实现丰富的切面功能
简介 我们在文章《Spring AOP与AspectJ的对比及应用》介绍了AOP的使用，这篇文章讲解一下AOP与注解的整合，通过注解来使用AOP，会非常方便。为了简便，我们还是来实现一个计时的功能。 整合过程 首先创建一个注解： @Retention(RetentionPolicy.RUNTIME) ......
《Terraform 101 从入门到实践》 第二章 Providers插件管理
《Terraform 101 从入门到实践》这本小册在南瓜慢说官方网站和GitHub两个地方同步更新，书中的示例代码也是放在GitHub上，方便大家参考查看。 不怕出身低，行行出状元。 插件 Terraform可以对多种平台的多种资源进行管理，这个是通过插件来实现的。 这里的插件，在Terrafor ......
《Terraform 101 从入门到实践》 第四章 States状态管理
《Terraform 101 从入门到实践》这本小册在南瓜慢说官方网站和GitHub两个地方同步更新，书中的示例代码也是放在GitHub上，方便大家参考查看。 军书十二卷，卷卷有爷名。 为什么需要状态管理 Terraform的主要作用是管理云平台上的资源，通过声明式的HCL配置来映射资源，如果云平台 ......
linux 高效压缩工具之xz的压缩解压使用
xz是什么 高压缩率的工具，它使用 LZMA2 压缩算法，生成的压缩文件比传统使用的 gzip、bzip2 生成的压缩文件更小， 不过xz也有一个坏处就是压缩时间比较长，比7z压缩时间还长一些。不过压缩主要用于归档，不介意的可以忽略。 擅长压缩文本和日志文件，针对这块的压缩率，是目前我发现效率最高的 ......
mongdb遭遇勒索,用备份进行数据恢复
mongdb遭遇勒索,用备份进行数据恢复 1、背景： 某台MongoDB服务器，没有配置用户名密码，放到公网不到一天，遭到删库勒索 All your data is a backed up. You must pay 0.05 BTC to 1K4DdqZ7sWUkhtfRqAGi7VcRck3it ......
数据结构-详解优先队列的二叉堆（最大堆）原理、实现和应用-C和Python
一、堆的基础 1.1 优先队列和堆 优先队列（Priority Queue）：特殊的“队列”，取出元素顺序是按元素优先权（关键字）大小，而非元素进入队列的先后顺序。 若采用数组或链表直接实现优先队列，代价高。依靠数组，基于完全二叉树结构实现优先队列，即堆效率更高。一般来说堆代指二叉堆。 优先队列的完 ......
django框架之drf：4、序列化器常用字段及参数，序列化器高级用法之source，定制字段数据的两种方法，多表关联反序列化的保存，ModelSerializer的使用
Django框架之drf 一、序列化器常用字段及参数 # 序列化类 》字段类 CharField，除此之外还有哪些其他的 # 序列化类 》字段类，字段类上，传属性的 ，序列化类上，也可以写属性 models.CharField(max_length=32) 1、常用字段 | 字段 | 字段构造方式 ......
大数据实时多维OLAP分析数据库Apache Druid入门分享-上
Apache Druid是⼀款针对海量数据进⾏⾼性能实时分析OLAP引擎的实时分析型数据库，本篇了解其特征和适用场景，并与其他框架横向对比；最后部署一个最新版本25.0.0单机版演示本地文件摄取入库,并演示基于Json API本地查询和SQL两种查询方式 ......
大数据实时多维OLAP分析数据库Apache Druid入门分享-下
了解Apache Druid的基础概念后，本篇进一步研究其核心架构和核心设计原理部分，了解相关外部依赖，对其数据摄取和查询有一定认识，然后通过搭建分布式集群进一步理解其架构组成，最后用一个示例从HDFS将数据摄取到Druid并演示两种查询方式 ......
开源分布式支持超大规模数据分析型数据仓库Apache Kylin实践-上
再下一城又一个实时多维交互式分析数仓利器，了解其特性和架构组成，进一步阐述相关概念和其生态圈；介绍作为开发测试最快捷方式的Docker单机部署；也基于Hadoop环境一步步部署最新v4.0.3二进制并解决遇到的问题，最后通过一个读取hive数据示例介绍kylin创建项目、选择数据源、创建Model、... ......
开源分布式支持超大规模数据分析型数据仓库Apache Kylin实践-下
本篇先通过Kylin对连接条件、维度和度量限制的示例弄清Kylin的使用注意事项，在此基础上研究Kylin查询引擎，并配置spark查询下压实现没有cube的查询；理解Cube的构建优化，通过官方提供RestAPI实现动态灵活查询和cube构建，最后通过集成JDBC的Java代码实现简单查询操作。 ......
react无效渲染优化--工具篇
壹 ❀ 引 本文属于我在公司的一篇技术分享文章，它在我之前 React性能优化，六个小技巧教你减少组件无效渲染一文的基础上进行了拓展，增加了工具篇以及部分更详细的解释，所以内容上会存在部分重复，以下是分享的原文。 在过去一段时间，好像每次代码走读大家都对于useMemo、useCallback以及m ......
文本数据预处理:可能需要关注这些点
要进行自然语言处理相关工作，文本数据预处理是个必不可少的过程。本文将对文本数据预处理相关的内容进行归纳整理，主要包括以下4个方面内容：文本数据获取、常规文本数据预处理、任务相关的文本数据预处理、文本预处理工具。 ......
图解B树及C#实现（3）数据的删除
前言 本文为系列文章 B树的定义及数据的插入 数据的读取及遍历 数据的删除 阅读本文前，建议先复习前两篇文章，以便更好的理解本文。 从删除的数据所在的节点可分为两种情况： 从叶子节点删除数据 从非叶子节点删除数据 无论从叶子节点还是非叶子节点删除数据时都需要保证B树的特性：非根节点每个节点的 key ......