集群 环境 数据kafka
解决集群环境下定时任务多次执行的办法有哪些？
只在一台服务器上部署该定时任务代码 优点：解决方法容易理解 缺点：部署麻烦，需要多套代码，且当这台服务器出问题时就没定时任务了。 在定时任务代码上加上某个特定的ip限制，仅某个ip的服务器能运行该定时任务 优点：解决方法容易理解，部署简单，不需要多套代码。 缺点：同上，只能规定一台服务器运行，发生故 ......
C#实现kafka消息队列-Confluent.Kafka
一、本文是C#引用Confluent.Kafka.dll实现kafka消息队列的实际开发例子。在实际开发中遇到9094端口始终消息生产和消费超时的问题，需要对网络白名单进行配置或者直接使用9092端口。大部分Time Out情况与代码无关，跟kafka的安装配置有关。 二、、Nuget中添加引用Co ......
Rancher 系列文章-K3S 集群升级
概述 书接上回：《Rancher 系列文章-Rancher 升级》, 我们提到：将 Rancher 用 Helm 从 v2.6.3 升级到 v2.6.4. 接下来开始进行 K3S 集群的升级：将 K3S 集群从 v1.21.7+k3s1 升级到 v1.22.5+k3s2 相关信息 本次升级的 K3S ......
C# 将对象转换成字节数组（二进制数据）
在将自定义对象或者数组等这样的数据存储到数据库时往往需要转换成二进制字节，尤其是在一些O/RM数据库框架中，下面是转换的函数，一个是将对象转换成二进制字节数组，另一个是将从数据库中读取的二进制流转换成程序中的对象。 这里参考的资源来源， C#序列化数据对象。它是将对象先转换成字节数组，然后再转换成B ......
关于数据库分库分表的一点想法
日常开发中，实现数据库的分库分表，在经常使用工具方面，常用的有像 sharding-sphere、TDDL、Mycat等，然后，根据主键key做数据分布 ......
GO实现Redis：GO实现Redis集群（5）
采用一致性hash算法将key分散到不同的节点，客户端可以连接到集群中任意一个节点 https://github.com/csgopher/go-redis 本文涉及以下文件： consistenthash：实现添加和选择节点方法 standalone_database：单机database cli ......
使用Docker搭建python环境
使用Docker搭建python环境 一、实现思路 学院管理系统主要用于学习做接口测试项目的 该项目来源于“公众号：测试奇谭”，大家可以自行去公众号回复【接口测试项目】 备注：这个学院管理系统，主要是公众号作者用于做接口测试实战的 二、环境准备 Linux 服务器一台（我的是CentOS7) 项目准 ......
数据集标注格式
数据集的标注文件分为两个版本：有向目标边框（Oriented Bounding Box，OBB）与水平目标边框（Horizontal Bounding Box，HBB）。 一、COCO COCO数据集，是将所有图像的标签信息和类别信息存放在一个json文件。 二、VOC VOC数据集，将每一张图像的 ......
如何在html页面跳转的时候携带数据(页面跳转时参数传递问题)
在html页面进行跳转的时候，我们需要把一个页面的数据传输到另外一个页面时，我们应该怎么做呢？ 解决办法： 效果如下： a页面 点击跳转按钮后 在b页面可以获取到对应的值。 代码如下： <!DOCTYPE html> <html> <head lang="en"> <meta charset="UT ......
python数据分析与挖掘实战第十章
import pandas as pd import matplotlib.pyplot as plt inputfile ='data5/original_data.xls' # 输入的数据文件 data = pd.read_excel(inputfile) # 读取数据 # 查看有无水流的分布 ......
流式数据中位数
解决策略 建立一个大根堆和一个小根堆，用一个临时变量（count）来统计数据流的个数 当插入的数字个数为奇数时，使小根堆的个数比大根堆多1；当插入的数字个数为偶数时，使大根堆和小根堆的个数一样多 当总的个数为奇数时，中位数就是小根堆的堆顶；当总的个数为偶数时，中位数就是两个堆顶的值相加除以2 imp ......
Elasticsearch 学习-windows上搭建集群
Elasticsearch 学习-windows上搭建集群 3.1 相关概念 3.1.1 单机**&** 集群 单台Elasticsearch服务器提供服务，往往都有最大的负载能力，超过这个阈值，服务器性能就会大大降低甚至不可用，所以生产环境中，一般都是运行在指定服务器集群中。 ==除了负载能力，单 ......
Access数据库文件解密
题记： 在众多单机管理系统中，往往使用的就是Access数据库。一般数据存放在安装软件的data文件夹中，数据库文件一般以： ".mdb" 结尾的文件，注：一般将.mdb文件打开后会产生一个：".ldb"结尾的数据库锁文件。 记录问题背景： 有一次，朋友帮忙一个用户迁移单机管理工具。由于迁移前期没有 ......
[pycharm]修改和删除数据
import pymysql # 获取连接 conn = pymysql.connect( host='10.105.212.1', port=3306, user='root', password='DemoDemo', database='db', charset='utf8' ) cursor ......
[pymysql]新增数据-手工新增-自动新增-批量执行
1. 手工新增 import pymysql # 获取连接 conn = pymysql.connect( host='10.105.212.1', port=3306, user='root', password='DemoDemo', database='db', charset='utf8' ......
数据挖掘-连续洗浴事件识别
import pandas as pd import matplotlib.pyplot as plt inputfile = 'D:\PhotoWork\大数据\数据\第七次\original_data.xls' # 输入的数据文件 data = pd.read_excel(inputfile) ......
数据库表数据空洞处理
查看数据库表使用情况 //show table status是有缓存的，执行前最好先执行以下语句 ANALYZE TABLE 表名; //update_time列表示表数据最后修改时间 show table status; 查看数据库表数据空洞大小 SELECT table_schema AS '数 ......
Linux环境下使用jsoncpp
1. 下载jsoncpp -->https://github.com/open-source-parsers/jsoncpp/tree/update 两种下载方法： 方法一：git clone ... 到服务器上(或虚拟机上...)，有点慢，甚至会失败...！ 方法二：下载 zip包，通过第三方软件 ......
Mysql索引底层数据结构与算法、Explain
为什么建议InnoDB表必须建主键?并且推荐使用整型的自增主键？ 如果不由我们人工去创建主键，mysql也会帮我们去建立主键，没有必要把这么简单地工作交给Mysql。整型比较比UUID比较要快，而且更加节省空间。 设置自增有一个考虑就是在插入元素数据的时候由于需要维护一颗B+树，这颗树根据主键排序的 ......
P3 创建数据库
P3 创建数据库 CHARACTER SET：指定数据库采用的字符集，如果不指定字符集，默认utf8 COLLATE：指定数据库字符集的校对规则（常用的 utf8_bin[区分大小写]、utf8_general_ci[不区分大小写]，注意默认是utf8_general_ci） 创建指令：CREATE ......
大数据分析第五周练习（连续洗浴事件）
连续洗浴事件 数据预处理 import warningswarnings.filterwarnings('ignore')import pandas as pdpd.set_option('display.max_rows',None)import numpy as npimport matplot ......
python_数据分析与挖掘实战_洗浴事件
import pandas as pdimport matplotlib.pyplot as plt inputfile ='D:/Users/Lenovo/Documents/WeChat Files/wxid_jiprlm7rzg9u11/FileStorage/File/2023-03/ori ......
简单数据结构做题记录
CF526F Pudding Monsters 典题，发现这本质上是一个一维问题，一个区间合法当且仅当 $\max - \min = r - l$，枚举右端点维护左端点的变化量，用两个单调栈维护到 $r$ 的最大最小，用线段树维护区间最小值及其个数，由于 $[r, r]$ 满足条件且 $\max - ......
数据分析第十章
#10-1 import pandas as pd import matplotlib.pyplot as plt inputfile="D:\数据分析\original_data.xls" data=pd.read_excel(inputfile) lv_non=pd.value_counts(d ......
mysql jdbc 通过SSH Tunnel连接MySQL数据库
1.pom.xml 参考 JDBC通过SSH Tunnel连接MySQL数据库 <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> </dependency> <dependency> ......
python_数据分析与挖掘实战_洗浴事件
import pandas as pd import matplotlib.pyplot as plt inputfile ='./data/original_data.xls' #'./demo/data/original_data.xls' # 输入的数据文件 data = pd.read_ex ......
（我的）R语言环境准备
安装WSL2 参考这里 换源 参考这里 build-essential（gcc，g++，make） 参考这里 安装最新版本的R (4.x.x) 参考这里 安装Rstudio-server 参考这里 ......
大数据运算 BigInteger BigDecimal
大数据运算 BigInteger BigDecimal BigIntegerjava中long型为最大整数类型,在Java中,超过long型的整数已经不能被称为整数了,它们被封装成BigInteger对象.在BigInteger类中,实现四则运算都是方法来实现,并不是采用运算符. BigIntege ......