数据处理 客户端 客户 服务器
pycharm远程连接服务器
pycharm远程连接服务器 本地先把数据准备好，然后链接远程服务器，完成数据自动上传同步。 点击finish之后，会自动进行数据同步。 具体解释器类型如下： 开启远程命令行： ......
数据库的CRUD语句
Insert语句 values里面的值依次对应各个列 # 创建表goods CREATE TABLE goods( id INT , good_name VARCHAR(10), price DOUBLE); # 插入数据 INSERT INTO goods (id ,good_name) -- 该 ......
python批量处理Excel数据
# 1、 批量提取一个工作簿中所有工作表的特定数据'''import xlwings as xwimport pandas as pdapp = xw.App(visible = False, add_book = False)workbook = app.books.open('采购.xlsx') ......
Cassandra 数据模型
Cassandra 数据模型 Cassandra 的数据模型与我们通常在关系型数据库中看到的有很大不同。本文概述了 Cassandra 如何存储其数据。 Cluster Cassandra 数据库分布在多台一起运行的机器上。最外面的容器称为集群。对于故障处理，每个节点都包含一个副本，如果发生故障，副 ......
大数据经典论文解读 - 分布式锁 Chubby
Chubby 在谷歌“三驾马车”中3个系统都是单Master系统，这个Master是系统的单点，一旦Master故障集群就无法提供服务。使用Backup Master，通过监控机制进行切换。但是： 如何实现Backup Master和Master完全同步？ 监控程序也是单点，如何确定是Master宕 ......
人工智能运用--我的银行大众客户存款增长预测模型介绍（2）
特征处理的实现代码如下： #先对年龄缺失值进行处理，这里先按28岁填充处理客户年龄，因为年龄基本服从正态分布，初步考虑分为0-20,20-30,30-40,40-50,50-60，70-80,80-100分别标记为 age_class1,......,age_class8'''Train['NTRL ......
多台服务器之间配置ssh免密登录
需求：假设有N台服务器，N台服务器之间都需要配置相互间免密登录 步骤1：在一台服务器上安装ansible yum -y install epel-release && yum -y install ansible 步骤2：在这台服务器上生成密钥对 ssh-keygen 步骤3：生成authorize ......
PL/SQL 基础---复杂数据类型和自定义类型
原文地址：https://blog.csdn.net/villare/article/details/53437924 PL/SQL 基础—复杂数据类型和自定义类型PLSQL中常用的自定义类型就两种： 记录类型、 PLSQL内存表类型（根据表中的数据字段的简单和复杂程度又可分别实现类似于简单数组和记 ......
highcharts 3D圆环图y轴数据为0 的较多，会出现显示不出来的问题
问题的效果图如下： 问题原因：好像是数据位置重叠了 解决办法：没有找到比较合适的解决办法，最后选择了不显示值为0的，代码如下所示（主要代码已用红色背景显示）： plotOptions: { pie: { allowPointSelect: true, cursor: 'pointer', dataL ......
Springboot 系列 (28) - Springboot+HBase 大数据存储（六）| Springboot 项目通过 RestTemplate 访问 HBase REST 服务
Apache HBase 是 Java 语言编写的一款 Apache 开源的 NoSQL 型数据库，不支持 SQL，不支持事务，不支持 Join 操作，没有表关系。Apache HBase 构建在 Apache Hadoop 和 Apache Zookeeper 之上。Apache HBase: h ......
MySQL实现over partition by（分组后对组内数据排序）
开发中遇到了这样一个需求：统计商品库存，产品ID + 子产品名称都相同时，可以确定是同一款商品。当商品来自不同的渠道时，我们要统计每个渠道中最大的那一个。如果在Oracle中可以通过分析函数 OVER(PARTITION BY… ORDER BY…)来实现。在MySQL中应该怎么来实现呢。现在通过两 ......
php swoft 中的数据分层
不仅仅局限于 MVC 。将数据在model 这一个层面剖析开，优雅的处理数据 逻辑，缓存，业务，数据库操作的烦恼。 这个思路也适用于 thinkphp，hyperf，imi 等框架。不再简单的 实现 controller->model->view 的处理过程。 简化代码，每一层清晰地定义相应处理的数 ......
elasticsearch 7.8.X 数据类型与使用规范
1 核心数据类型 string 字符串 字符类型说明 text ⽤于全⽂索引，搜索时会自动使用分词器进⾏分词再匹配。字段内容会被分析，在生成倒排索引以前，字符串会被分析器分成一个一个词项 keyword 不分词，搜索时需要匹配完整的值 numberic 数值 整数类型说明 （1byte(字节)=8b ......
elasticsearch 数据认识 与 数据表\文档 的增删改
【Elasticsearch 7.8.1】当前版本 新建 mingduhui 的数据库 \ 检索库 向其中新增表 操作如下 PUT /mingduhui/_mapping/goods { "properties": { "id": { "type": "long", "store": true, } ......
elasticsearch 数据查查询、分词查询
1、普通查询 GET /mingduhui/goods/2 POST /mingduhui/goods/_search { "query": { //查询 "query_string": { //表示使用字符串查询 "default_field": "title", //指定搜索域 "query": ......
[数据结构与算法] 树状数组
链接：树状数组_哔哩哔哩 （只有五分钟，多看几遍，就会了） 模板题：P3374 【模板】树状数组 1 - 洛谷 14.1 作用 求前缀和、区间和（跟前缀和的作用一样）； 元素修改之后能高效更新：（时间复杂度） 前缀和：$O(log \space n)$； 区间和：$O(log \space n)$； ......
批处理文件 bat 整理
Batch 常用方法总结 1. 常用 Command echo：显示该命令后面的内容，类似于编程语言中的 print 函数 @echo off 常用于 .bat 文件的开头，表示==关闭回显的命令提示符==。 %~dp0：当前 .bat 文件所在的路径（不包含该.bat文件），如 D:\Tmp\cm ......
EasyCVR插件工具：如何删除EasyShark的抓包数据？
EasyCVR视频融合平台基于云边端一体化架构，具有强大的数据接入、处理及分发能力，平台支持海量视频汇聚管理，可支持多协议接入，包括市场主流标准协议与厂家私有协议及SDK，平台丰富的视频能力包括：视频监控直播、录像、云存储、检索与回看、告警、集群、级联、共享等。感兴趣的用户可以前往演示平台进行体验或... ......
ZLMediaKit + wvp-GB28181-pro 流媒体服务搭建
环境备 1、服务运行环境，Linux / OS X / Windows 均可，但推荐 Linux 2、海康、大华 等符合国标28181标准的摄像头 3、流媒体服务 ZLMediaKit https://github.com/xiongziliang/ZLMediaKit 4、wvp-GB28181- ......
阿里云RDS与ECS自建mysql数据库主从同步(GTID方式)
1、GTID的概念全局事务标识：global transaction identifiers；GTID是一个事务一一对应，并且全局唯一ID；一个GTID在一个服务器上只执行一次，避免重复执行导致数据混乱或者主从不一致；GTID用来代替传统复制方法，不再使用MASTER_LOG_FILE+MASTER ......
redis 高级数据 hyperLogLog
1、 统计独立的UV 2、用做 基数 统计的 ｛1,3,5,7,8,7,5｝ 基数集：{1,3,5,7,8} 基数：5 ｛1,1,1,1,1,7,1｝ 基数集：{1,7} 基数：2 基数是数据集去重后元素个数 用于进行基数统计，不是集合，不保存数据，只记录数量而不是具体数据 核心是技术估算算法，最终 ......
【数据库】DataGrip安装、破解和汉化
软件下载地址：（如果连接失效，请公众号内私聊获取） 链接：https://pan.baidu.com/s/10KQ0-N9iYz5PDdaNBWqHVA 提取码：1234 解压后如下： 勾选项如下： 破解和汉化操作步骤： 1、软件已经正确安装，首次启动如图，先点击试用： 2、启动会让你选择一个主题， ......
第2章 微服务
第2章 微服务 2.2 微服务概要介绍 2.2.1 微服务架构原理 2.2.2 微服务的特征 特征1，组件化与多服务：传统应用通过库实现组件，微服务则是通过服务实现组件，从而将应用拆散为一系列的服务运行在不同的进程中，因此单一服务的局部变化仅需重新部署对应的服务进程； 特征2，围绕“业务功能”组织团 ......
SpringBoot+Prometheus+Grafana监控服务
服务模块 pom.xml文件引入依赖 ####基于SpringBoot版本 <2.5.3> <dependency> <groupId>io.micrometer</groupId> <artifactId>micrometer-registry-prometheus</artifactId> <v ......
人工智能运用--我的银行大众客户存款增长预测模型介绍
很久以前就想研究一下到底是怎么因素影响银行个人存款，特别是大众客户（个人日均存款1万-10万元客户）的存款变化到底同说明有关系？ 初步的设想是利用大学数学数据统计的基本方法，列出可能的影响因素，通过公开的数字进行分析评价，但受限于数据来源、数据规模、影响因数如服务质量、地域等的量化困难，一直没有认真 ......
Java 处理重复提交问题
1、定义一个接口用来控制限制的时间 package org.jeecg.common.aspect.annotation; import java.lang.annotation.Documented; import java.lang.annotation.ElementType; import ......
NBU上Oracle数据库恢复演练手册
目录 2. 1|01.1 Oracle数据库恢复 4 3.1 1|11.1.1 安装新的客户端 6 3.2 1|21.1.2 新建异机恢复文件 6 3.3 1|31.1.3 新建数据库实例 6 3.4 1|41.1.4 建立spfile文件 6 3.5 1|51.1.5 建立数据文件夹 11 3.6 ......
大数据经典论文解读 01
大数据核心3个概念： 能伸缩到一千台以上的分布式数据处理集群技术 这上千个节点是使用廉价PC搭建 将数据中心当做一台计算机 大数据的起源：“三架马车” 这三篇论文还依赖了两个基础设施：Chubby锁服务，Thrift序列化 MapReduce 演进路线： 编程方式：最初的MapReduce需要工程师 ......