集群 数据yarn
c# 连接 sql server 数据库时报错，证书链是由不受信任的颁发机构颁发的。
c# 连接 sql server 数据库时报错：A connection was successfully established with the server, but then an error occurred during the login process. (provider: SSL ......
第一次结对作业——如何将mysql数据表里的数据导入到安卓SQLite数据库
在进行安卓地铁系统编写的过程中，我产生了一个疑问，怎么才能将mysql数据库里的数据导入到SQLite里面 于是我开始查找资料来解决这个问题，终于能够实现这个导入。 步骤如下： 1.进入idea，找到自己要导出的数据库，将数据库里的文件导出csv文件 2.打开Android Studio的地铁查询系 ......
hive和kudu数据之间的互相迁移存在的坑
一、为什么要进行数据迁移 背景：我现在有个需求：需要修改kudu表的主键，主键由1个字段增加为2个字段。因为不能影响下游系统使用kudu表，kudu表表名不能做修改。需要将原kudu表删除后再建新kudu表。 这里存在几个潜在知识点： 1.kudu表修改主键不能使用命令直接修改，必须重新删表然后建表 ......
MySQL数据库三个关键性能指标TPS\QPS\IOPS
今天主要介绍MySQL数据库，或者说所有数据库的三个关键性能指标： qps 每秒处理的查询数 tps 每秒处理的事务数 IOPS 每秒磁盘进行的I/O操作次数 如果IOPS过高，分析原因： 内存不足，查询数据较多（一般为慢查询，但有时候并不是，单纯的查询数据较多），特别关注一下数据量大还需要排序的分 ......
银河麒麟4.0.2（飞腾平台） 安装MySQL数据库
1. 操作系统信息 root@Kylin:/# cat /etc/.kyinfo [dist] name=Kylin milestone=4.0.2-server-sp2-18071110.Z1 arch=arm64 beta=False time=2018-07-11 10:57:13 dist_ ......
Linux操作系统之locate命令详解：通过文件名称来查找文件（与find命令进行全局搜索不同，locate命令是读取数据文件（/var/lib/locatedb）进行查找；由于缩小了查找的范围，因此locate命令查找文件会比find命令速度快很多）
https://blog.csdn.net/yspg_217/article/details/122113017 https://www.cnblogs.com/liujiaxin2018/p/16211758.html http://www.hnwypx.com/zhishi/284406.htm ......
6-springboot配置多数据源
1.application.properties中配置多数据源 #refund数据源#此种标黄的没办法自己进行解析，代码读取spring.datasource.refunddb.url=jdbc:mysql://refund地址spring.datasource.refunddb.username= ......
7-springboot-多数据源事务管理-jta+atomikos的分布式事务
jta+atomikos的分布式事务 <!--jta+atomikos分布式事务--><dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-jta-atomikos</arti ......
zookeeper原理及集群部署
#背景 知识梳理 #原理 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 Zookeeper的核 ......
通过命令管理ceph集群
通过命令管理ceph集群 阅读目录 ceph 集群维护 回到顶部 ceph 集群维护 http://docs.ceph.org.cn/rados/ ceph 集群配置、部署与运维 通过套接字进行单机管理 在ceph的节点上使用socket管理只针对ceph的节点单机管理并不会对所有节点生效 node ......
rabbitmq集群
下载的镜像创建和启动容器 docker run --name rabbitmq \ # 主机名（RabbitMQ的一个重要注意事项是它根据所谓的 “节点名称” 存储数据，默认为主机名） --hostname myRabbit \ # 5672：应用访问端口 -p 5672:5672 \ # 1567 ......
如何使用C# 对MongoDB数据库操作
一、在nuget 引入MongoDB.Bson，和MongoDB.Driver这个两个类库 二、对MongoDB数据库连接 string con = @"mongodb://127.0.0.1:27017"; var client = new MongoClient(con); //数据库 var ......
面试题：如何用数据库去实现一个乐观锁/悲观锁？（锁分类，死锁）
本文意在解析锁的概念，不只是解析题目，而是将锁弄清楚，知道大概的实现方案。 数据库锁的分类 数据库锁的分类有很多种。 分类1 从数据库系统角度分为三种：排他锁X、共享锁S、更新锁U。 排他锁（X锁）：该锁也称为独占锁，用于数据修改操作，例如 INSERT、UPDATE 或 DELETE。确保不会同时 ......
Linux 部署：zookeeper （容器集群）
参考文档：https://www.cnblogs.com/EminemJK/p/15138536.html 1. 节点规划 | 节点 | ip | | | | | vm81 | 10.99.0.81 | | vm82 | 10.99.0.82 | | vm83 | 10.99.0.83 | 2. 部 ......
Linux 部署：kafka（虚拟机集群）
参考文档：https://blog.csdn.net/wt334502157/article/details/116518259 1. 节点规划 | 节点 | ip | | | | | vm81 | 10.99.0.81 | | vm82 | 10.99.0.82 | | vm83 | 10.99. ......
手把手教你二进制安装生产环境 K8s 多 master 节点高可用集群详细图文教程
目录 一、集群环境准备 1.1 kubeadm 和二进制安装 k8s 适用场景分析 1.2 多 master 节点高可用架构图 二、基础环境配置（以下操作所有节点都得执⾏） 2.1 初步的环境初始化 2.2 关闭交换分区 swap 提升性能 2.3 修改机器内核参数 2.4 配置阿里云的 repo ......
K8s学习（一）从零开始搭建kubernetes集群环境（虚拟机/kubeadm方式）
K8s学习（一）从零开始搭建kubernetes集群环境（虚拟机/kubeadm方式） 1 Kubernetes简介（k8s） 传统部署：互联网早期会直接将应用程序部署在物理机上或者虚拟操作系统中，如部署到tomcat/weblogin/websphere等，这种部署方式比较简单，但是很难合理地分配 ......
LVS负载均衡集群
一、集群概述 1. 什么是集群 Cluster:集群，同一个业务系统，部署在多台服务器上。集群中，每台服务器实现功能无差别，数据和代码都是一样的。 2. 为什么要使用集群 2.1 原因 互联网应用中，随着站点对硬件性能、响应速度、服务稳定性、数据可靠性等要求越来越高，单台服务器已经无法满足负载均衡及 ......
Kubernetes集群Kubernetes实战与源码剖析体系进阶
Kubernetes集群Kubernetes实战与源码剖析体系进阶 学习路线指南 欢迎大家来到jiangxl~的《Kubernetes集群方方面面进阶之路》专栏，本文给大家详细列出Kubernetes集群方方面面每一章节文章指南，大家可以根据自己的需求阅读想要学习的文章。 本专栏涵盖Kubernet ......
备份和迁移数据
迁移方式介绍 容器中的数据，如果没有用挂载目录，删除容器后就会丢失数据。如果你是用bind mount直接把宿主机的目录挂进去容器，那迁移数据很方便，直接复制目录就好了如果你是用volume方式挂载的，由于数据是由容器创建和管理的，需要用特殊的方式把数据弄出来。 备份和导入 Volume 的流程 备 ......
Django创建数据时报错解决
报错内容： { "code": "500", "msg": { "is_delete": [ { "message": "这个字段是必填项。", "code": "required" } ] } } models.py from django.db import models class BaseM ......
爬取的数据，存到mysql中、爬虫和下载中间件、加代理，cookie，header，加入selenium、去重规则源码分析（布隆过滤器）、scrapy-redis实现分布式爬虫
# 1 scrapy架构 -爬虫：写的一个个类 -引擎： -调度器：排队，去重 -下载器 -pipline -下载中间件 -爬虫中间件 # 2 命令 -scrapy startproject 项目名 -scrapy gensipder 爬虫名 网址 -scrapy crawl 爬虫名字 -run.p ......
Oracle 数据库 官方下载 安装 及配置监听
Oracle 数据库 官方下载 安装 及配置监听 1、Oracle 官方下载 推荐使用官方下载地址：https://edelivery.oracle.com/osdc/faces/SoftwareDelivery ;这是Oracle的一个官方云产品下载地址可以下载 “Oracle JDK”、"Ora ......
Rsync + Lsync 实时同步数据部署
1、环境 服务器名称 IP地址 备注 backup-24-109 172.16.24.109 源 backup-24-108 172.16.24.108 目标 2、源主机Rsync安装 # dnf -y install rsync # vi /etc/rsync_exclude.lst test t ......
CSharp读写word文档数据
背景 在工作中需要对比数据，然后输出一份world文档的对比报告。这需要用C#来读写word文件。 用到的工具 NPOI NPOI 地址：NPOI NPOI版本：2.6.0 个人项目的运行时版本：.NET Core 3.1 解决思路： 既然是要输出一份报告，那么报告的格式是固定的，只需要将报告需要改 ......
ASP.NET Core API模型绑定和Action数据返回格式
参考文档：https://www.cnblogs.com/FlyLolo/p/ASPNETCore2_20.html 模型绑定 [FromQuery] - 从URL中取值。 [FromRoute] - 从路由中取值。 [FromForm] - 从表单中取值。Postman使用form-data或x- ......
数据库系统原理之数据库编程
数据库编程 第一节 存储过程 一、存储过程的基本概念 存储过程是一组为了完成某项特定功能的 SQL 语句集，其实质上就是一段存储在数据库中的代码，它可以由声明式的 SQL 语句（如 CREATE、UPDATE 和 SELECT 等语句）和过程式 SQL 语句（如 IF...THEN...ELSE 控 ......
数据库系统原理之数据库系统概述
数据库系统概述 一、数据库基本概念 1 数据 数据（Data）是描述事物的符号记录，是指用物理符号记录下来的、可以鉴别的信息。 数据以及关于该数据的解释是密切相关的。 数据的解释是对数据含义的说明，也称为数据的语义，即数据所蕴含的信息。 数据与其语义密不可分，没有语义的数据是没有意义和不完整的。 数 ......
charles抓取PC端http与https协议数据包
一、代理配置 代理-》代理设置，进入如下窗口，设置好http代理端口，勾选支持HTTP/2 注意点，一定要勾选代理-》Windows代理 二、安装SSL证书抓取https协议数据包 点击帮助-》SSL代理-》安装charles跟证书 点击安装证书-》选择本地计算机或者当前用户都可以，然后点击下一页 ......
数据防泄密DLP 学习笔记
一、背景 随着计算机系统在各行各业的普遍应用，办公文件、设计图纸、财务报表等各类数据都以电子文件的形态，在不同的设备（终端、服务器、网络、移动端、云端）上存储、传输、应用，数据安全已经成为政府、军队、企业及个人最为关注的问题。 从宏观上来看，各种网络安全产品、终端安全产品、云安全产品等所追求的根本目 ......