数据表 电力系统 战略 电力
hive和kudu数据之间的互相迁移存在的坑
一、为什么要进行数据迁移 背景：我现在有个需求：需要修改kudu表的主键，主键由1个字段增加为2个字段。因为不能影响下游系统使用kudu表，kudu表表名不能做修改。需要将原kudu表删除后再建新kudu表。 这里存在几个潜在知识点： 1.kudu表修改主键不能使用命令直接修改，必须重新删表然后建表 ......
MySQL数据库三个关键性能指标TPS\QPS\IOPS
今天主要介绍MySQL数据库，或者说所有数据库的三个关键性能指标： qps 每秒处理的查询数 tps 每秒处理的事务数 IOPS 每秒磁盘进行的I/O操作次数 如果IOPS过高，分析原因： 内存不足，查询数据较多（一般为慢查询，但有时候并不是，单纯的查询数据较多），特别关注一下数据量大还需要排序的分 ......
银河麒麟4.0.2（飞腾平台） 安装MySQL数据库
1. 操作系统信息 root@Kylin:/# cat /etc/.kyinfo [dist] name=Kylin milestone=4.0.2-server-sp2-18071110.Z1 arch=arm64 beta=False time=2018-07-11 10:57:13 dist_ ......
Linux操作系统之locate命令详解：通过文件名称来查找文件（与find命令进行全局搜索不同，locate命令是读取数据文件（/var/lib/locatedb）进行查找；由于缩小了查找的范围，因此locate命令查找文件会比find命令速度快很多）
https://blog.csdn.net/yspg_217/article/details/122113017 https://www.cnblogs.com/liujiaxin2018/p/16211758.html http://www.hnwypx.com/zhishi/284406.htm ......
6-springboot配置多数据源
1.application.properties中配置多数据源 #refund数据源#此种标黄的没办法自己进行解析，代码读取spring.datasource.refunddb.url=jdbc:mysql://refund地址spring.datasource.refunddb.username= ......
7-springboot-多数据源事务管理-jta+atomikos的分布式事务
jta+atomikos的分布式事务 <!--jta+atomikos分布式事务--><dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-jta-atomikos</arti ......
老系统优化方案
前言：接手一个老系统，我们可以从哪些方面去思考如何优化呢？ 参考链接：常见性能优化策略的总结，作者：美团技术团队 首先，需要了解项目背景，以及优化诉求； 再次，分析问题所在代码，画出业务流程图；最后选择合适的优化方案：代码（算法）、数据库调优、SQL语句调优、缓存、异步、JVM调优、多线程和分布式。 ......
如何使用C# 对MongoDB数据库操作
一、在nuget 引入MongoDB.Bson，和MongoDB.Driver这个两个类库 二、对MongoDB数据库连接 string con = @"mongodb://127.0.0.1:27017"; var client = new MongoClient(con); //数据库 var ......
面试题：如何用数据库去实现一个乐观锁/悲观锁？（锁分类，死锁）
本文意在解析锁的概念，不只是解析题目，而是将锁弄清楚，知道大概的实现方案。 数据库锁的分类 数据库锁的分类有很多种。 分类1 从数据库系统角度分为三种：排他锁X、共享锁S、更新锁U。 排他锁（X锁）：该锁也称为独占锁，用于数据修改操作，例如 INSERT、UPDATE 或 DELETE。确保不会同时 ......
华为HCIA-VRP基础-文件系统基础-VRP系统管理-AAA原理与配置
华为VRP基础 通用路由平台VRP是华为公司数据通信产品的通用操作系统平台，这以IP业务为核心，采用组件化的体系结构，在实现丰富功能特性的同时，还提供了基于应用的可裁剪和可扩展的功能，使得路由器和交换机的运行效率大大增加。 命令行基础 | 命令 | 功能 | | | | | CTRL+A | 把光标 ......
linux系统巡检脚本
Linux系统初始化脚本 能够监控100台服务器的磁盘利用率的脚本——16行代码实现 Linux系统初始化脚本之二 分享一个Linux系统巡检脚本，话不多说，上干货！ #!/bin/bash ###################################################### ......
备份和迁移数据
迁移方式介绍 容器中的数据，如果没有用挂载目录，删除容器后就会丢失数据。如果你是用bind mount直接把宿主机的目录挂进去容器，那迁移数据很方便，直接复制目录就好了如果你是用volume方式挂载的，由于数据是由容器创建和管理的，需要用特殊的方式把数据弄出来。 备份和导入 Volume 的流程 备 ......
Django创建数据时报错解决
报错内容： { "code": "500", "msg": { "is_delete": [ { "message": "这个字段是必填项。", "code": "required" } ] } } models.py from django.db import models class BaseM ......
爬取的数据，存到mysql中、爬虫和下载中间件、加代理，cookie，header，加入selenium、去重规则源码分析（布隆过滤器）、scrapy-redis实现分布式爬虫
# 1 scrapy架构 -爬虫：写的一个个类 -引擎： -调度器：排队，去重 -下载器 -pipline -下载中间件 -爬虫中间件 # 2 命令 -scrapy startproject 项目名 -scrapy gensipder 爬虫名 网址 -scrapy crawl 爬虫名字 -run.p ......
Oracle 数据库 官方下载 安装 及配置监听
Oracle 数据库 官方下载 安装 及配置监听 1、Oracle 官方下载 推荐使用官方下载地址：https://edelivery.oracle.com/osdc/faces/SoftwareDelivery ;这是Oracle的一个官方云产品下载地址可以下载 “Oracle JDK”、"Ora ......
Rsync + Lsync 实时同步数据部署
1、环境 服务器名称 IP地址 备注 backup-24-109 172.16.24.109 源 backup-24-108 172.16.24.108 目标 2、源主机Rsync安装 # dnf -y install rsync # vi /etc/rsync_exclude.lst test t ......
WSL在windows系统下的文件位置
C:\Users\admin\AppData\Local\Packages\CanonicalGroupLimited.Ubuntu18.04onWindows_79rhkp1fndgsc\LocalState\rootfs ......
CSharp读写word文档数据
背景 在工作中需要对比数据，然后输出一份world文档的对比报告。这需要用C#来读写word文件。 用到的工具 NPOI NPOI 地址：NPOI NPOI版本：2.6.0 个人项目的运行时版本：.NET Core 3.1 解决思路： 既然是要输出一份报告，那么报告的格式是固定的，只需要将报告需要改 ......
ASP.NET Core API模型绑定和Action数据返回格式
参考文档：https://www.cnblogs.com/FlyLolo/p/ASPNETCore2_20.html 模型绑定 [FromQuery] - 从URL中取值。 [FromRoute] - 从路由中取值。 [FromForm] - 从表单中取值。Postman使用form-data或x- ......
数据库系统原理之数据库系统概述
数据库系统概述 一、数据库基本概念 1 数据 数据（Data）是描述事物的符号记录，是指用物理符号记录下来的、可以鉴别的信息。 数据以及关于该数据的解释是密切相关的。 数据的解释是对数据含义的说明，也称为数据的语义，即数据所蕴含的信息。 数据与其语义密不可分，没有语义的数据是没有意义和不完整的。 数 ......
数据库系统原理之数据库编程
数据库编程 第一节 存储过程 一、存储过程的基本概念 存储过程是一组为了完成某项特定功能的 SQL 语句集，其实质上就是一段存储在数据库中的代码，它可以由声明式的 SQL 语句（如 CREATE、UPDATE 和 SELECT 等语句）和过程式 SQL 语句（如 IF...THEN...ELSE 控 ......
charles抓取PC端http与https协议数据包
一、代理配置 代理-》代理设置，进入如下窗口，设置好http代理端口，勾选支持HTTP/2 注意点，一定要勾选代理-》Windows代理 二、安装SSL证书抓取https协议数据包 点击帮助-》SSL代理-》安装charles跟证书 点击安装证书-》选择本地计算机或者当前用户都可以，然后点击下一页 ......
数据防泄密DLP 学习笔记
一、背景 随着计算机系统在各行各业的普遍应用，办公文件、设计图纸、财务报表等各类数据都以电子文件的形态，在不同的设备（终端、服务器、网络、移动端、云端）上存储、传输、应用，数据安全已经成为政府、军队、企业及个人最为关注的问题。 从宏观上来看，各种网络安全产品、终端安全产品、云安全产品等所追求的根本目 ......
朴素系统优化思维的实践
作者：京东物流 严孝男 一、问题 去年年中时候，我有个好朋友（可以叫他华哥）顶着当时还很严重的疫情形式激情创业，斥巨资承包了他原公司食堂的几个摊位，摇身一变成了老板。当了老板的华哥没有丝毫懈怠，不但做了充足的市场调研，还结合他自己以前就餐时的痛点做了创新，比如以前食堂除了最常规的面，饺子，米线一类的 ......
mpi转以太网连接300PLC在气动系统中的应用
mpi转以太网连接300PLC在气动系统中的应用某企业装备有限公司摘要工业通讯迅速发展的今天，MPI转以太网通讯已经发展为成熟，稳定，高效通讯 方式，兴达易控自主研发的MPI转以太网模块MPI-ETH-XD1.0在气动系统中的应用，打破了之前的传统模块造价成本高，方便快捷的调试方式。关键词LNG加气 ......
西门子300PLC转以太网无需编程实现与1200PLC转以太网数据交换
西门子300PLC转以太网无需编程实现与1200PLC转以太网数据通信本文介绍利用兴达易控生产的PLC转以太网模块(MPI-ETH-XD1.0Plus)实现1200/1500PLC与300(CPU315-2DP)PLC无需用户编程可实现工业以太网数据通信（此案例同样适用于200PLC/400PLC以 ......
Centos7系统在开启进入系统报错：Give root password for maintenance（or type Control-D to continue）：解决方法
报错信息： 在进入系统时，不能正常进入系统，出现了Give root password for maintenance（or type Control-D to continue）：的报错。 报错原因： 1、在之前写入的/etc/fstab文件有问题，导致系统在读取的时候识别不到从而报错。 解决方法 ......
操作系统概念
1 基本概念 1.1 操作系统 定义：从计算机加电运行后一直在内存运行的程序，又称 “内核”。 1.2 进程 指进行中的程序，既进程=程序+执行。 1.3 线程 线程是进程的一个实体，是 CPU 调度和分派的基本单位，它是比进程更小的能独立运行的基本单位。 1.4 内核态和用户态 内核态：拥有计算机 ......
Ubuntu 20.04 制作Linux系统的qcow2镜像
本篇以制作kali2023操作系统为例，在一台Ubuntu 20.04的服务器上制作2GB内存，30GB硬盘的qcow2镜像，如果是VM虚拟机需要开启CPU硬件虚拟化。 1. 安装依赖软件 apt install qemu-utils virtinst libvirt-dev libvirt-dae ......
0 爬取的数据，存到mysql中 、1 爬虫和下载中间件、 2 加代理，cookie，header，加入selenium、3 去重规则源码分析（布隆过滤器） 、4 scrapy-redis实现分布式爬虫
0 爬取的数据，存到mysql中 # 存到mysql中 class FirstscrapyMySqlPipeline: def open_spider(self, spider): print('我开了') self.conn = pymysql.connect( user='root', pass ......