主从 数据通信 节点 单机
AWS 中的数据湖
AWS 中的数据湖 动手实践 – Glue、Athena、S3、ETL、Spark、Parquet、QuickSight、Kinesis、Lambda、Comprehend AI 课程英文名:Data Lake in AWS 此视频教程共1.12GB,中英双语字幕,画质清晰无水印,源码附件全 课程地 ......
数据压缩、博弈与数据压缩,Kolmogorov复杂度
Kraft不等式 McMillan不等式 数据压缩的熵界 香农码 赫夫曼码 错误码 随机过程 平稳过程 竞争最优性 随机变量的生成 双倍率 最优双倍率 按比例投注是对数最优的 增长率 守恒定律 边信息 ......
Python基础(五)图标和数据处理
机器学习里面有很多场景需要图标展示,这简单介绍一下一个图表库 图表库 # #折线图import matplotlib.pyplot as pltimport numpy as npplt.figure(figsize=(4,4)) #设置画布大小plt.title("i am title") ##标 ......
mysql 两百万数据 深分页性能优化
-- ddlCREATE TABLE `student` ( `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键', `user_no` varchar(50) DEFAULT '' COMMENT '学号', `user_name` varchar(5 ......
45、K8S-调度机制-节点调度之nodeAffinity、nodeName、nodeSelector
Kubernetes学习目录 1、配置解析 1.1、简介 我们知道,默认的调度策略有可能无法满足我们的需求,我们可以根据实际情况,定制自己的调度策略,然后整合到k8s的集群中。 1.2、属性解析 apiVersion: kubescheduler.config.k8s.io/v1beta1 kind ......
总结一下AEP渐进均分性和数据压缩的关系
渐进均分性AEP是和大数定律类似的概念,是弱大数定律的结果。而弱大数定律是指实验的重复次数不断增大时,某件事发生的频率越来越稳定,趋向于这件事发生的概率。 AEP的定义: 如果$X_1, X_2, …, X_n$是独立同分布(i.i.d.)序列,且服从$p(x)$,则有$-\frac{1}{n}lo ......
ZooKeeper数据和集群特点,ZAB协议和选主过程解析
前言 本文讲述 ZooKeeper 集群架构特点、数据结构、事务ID、选主和ZAB协议具体执行过程。 服务保证 ZooKeeper 非常快速且非常简单。由于它的目标是构建更复杂的服务(如同步)的基础,因此它提供了一组保证: 【顺序一致性】来自客户端的更新将按发送顺序执行,因为只有唯一的主节点负责写请 ......
redis主从同步、哨兵自动故障迁移具体过程解析
前言 本问阐述 Redis 主从同步、哨兵监控和故障迁移的过程,并通过各个服务日志加以验证。 准备工作 主从和哨兵安装见 安装过程。 为了方便通过日志观察同步过程,你可以在每个 Redis 和 Sentinel 配置文件中修改下面参数,实现前台运行并将日志输出到控制台。 # 这两个配置是为了实现前台 ......
Docker 容器:数据持久化
Docker 容器:数据持久化 每当从镜像创建容器时,它都会创建一个新容器,除了镜像数据之外没有任何数据 意味着如果在提交更改之前删除容器,我们将丢失数据 Docker 应该存在一种将数据的文件系统与容器的文件系统分开的技术 每当创建容器时,也会创建一个文件系统【这是默认的 Linux 文件系统】 ......
Redis各种数据分片方式应用场景以及优缺点
前言 数据分片是指将数据按某种方式存储到不同的服务上来解决单机服务容量不足的问题。 本文围绕 Redis 讲述逻辑拆分、随机分配、哈希取模、一致性哈希等分片算法原理和使用场景。并在此基础上对比客户端分片、代理(Proxy) 和 Redis Cluster 各自的优缺点。 客户端分片 三种普通方式 逻 ......
mysql 主从配置 linux环境
参考: https://blog.csdn.net/D1179869625/article/details/120773725 [root@localhost ~]# vi /etc/my.cnf [mysqld] bind-address=0.0.0.0 port=3306 user=mysql ......
nexus5获取csi数据
记录一下在阅读WiFi感知系列文章中对csi(信道状态信息)的获取过程 收集设备:nexus5 安卓版本6.0.1 版本号M4B302 root过 系统:虚拟机Ubuntu18.0.4 发送设备:小米路由器4C(R4CM){准备用别的路由器再测测,这2.4g的路由器收到的数据很怪} 首先sudo s ......
(数据科学学习手札151)速通pandas2.0新版本干货内容
本文示例代码已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 大家好我是费老师,前两天pandas正式发布了其2.0.0版本,作为一次大版本更新,pandas针对底层进行了大量的重构以优化性能和稳定性,其有关这 ......
【算法数据结构专题】「延时队列算法」史上手把手教你针对层级时间轮(TimingWheel)实现延时队列的开发实战落地(上)
承接上文 承接之前的【精华推荐 |【算法数据结构专题】「延时队列算法」史上非常详细分析和介绍如何通过时间轮(TimingWheel)实现延时队列的原理指南】,让我们基本上已经知道了「时间轮算法」原理和核心算法机制,接下来我们需要面向于实战开发以及落地角度进行分析如何实现时间轮的算法机制体系。 前言回 ......
2021-12-30-k8s集群进行删除并添加node节点
layout: post cid: 7 title: k8s集群进行删除并添加node节点 slug: 7 date: 2021/12/30 16:58:32 updated: 2021/12/30 16:58:32 status: publish author: cby categories: 默 ......
2021-12-30-Docker启动MySQL、MongoDB、Redis、Elasticsearch、Grafana,数据库
layout: post cid: 5 title: Docker启动MySQL、MongoDB、Redis、Elasticsearch、Grafana,数据库 slug: 5 date: 2021/12/30 16:57:00 updated: 2022/03/25 15:53:08 status ......
数据库连接池
#上下文管理和SQLHelper import pymysql from DBUtils.PooledDB import PooledDB class SqlHelper(object): def __init__(self): self.pool = PooledDB( creator=pymys ......
mysql linux 主从配置
mysql安装 https://www.cnblogs.com/kire-cat/p/16361559.html 主从配置 https://blog.csdn.net/D1179869625/article/details/120773725 ......
flask蓝图/G对象/连接数据库/
蓝图使用 中大型项目推进使用蓝图来构建文件目录 1.导入蓝图类 from flask import Blueprint 2.实例化得到蓝图对象 order_bp = Blueprint('order', name) 3.在app中注册蓝图 app.register_blueprint(order_b ......
利用人工智能和大数据,宠物app为宠物提供更全面的健康管理
人们对宠物的关注和重视程度不断提高,越来越多的人开始选择养宠物。然而,宠物的健康管理一直是宠物主人们关注的重点。如何更好地管理宠物的健康,让宠物生活更加健康和幸福,成为了宠物主人们需要思考的问题。近年来,随着人工智能和大数据技术的迅速发展,宠物app已经成为了宠物健康管理的新选择。 一、人工智能技术 ......
7·1HTTP协议的瓶颈|7·2双工通信的WebScoket|7·3探索式的实践-SPDY|7·4期盼已久的HTTP2|7·6管理WEB服务器文件的WebDAV协议|7·7HTTP的大跃进QUIC与HTTP30
HTTP协议的瓶颈 影响Http网络请求的原因 带宽 延迟 HTTP协议的瓶颈 一条连接上只可发送一个请求 请求只能从客户端开始。客户端不可以接受除响应意外的指令 请求/响应头部不经压缩就发送 每次互相发送相同的头部造成的浪费较多 非强制压缩发送 HTTP 标准协议刚制定的时候,是用来传输HTML ......
在Linux部署Redis主从和哨兵集群实现高可用
前言 本文主要讲述在 Linux 系统中配置和部署 Redis 主从集群和哨兵,实现高可用和自动故障迁移。 准备工作 参考 Redis 单机部署 安装 3 个 Redis 服务作一主二从,本文准备了 6380(主)、6381(从) 和 6382(从)。 参考 Redis 单机部署 安装 3 个 Re ......
宠物app如何借助大数据分析提供更贴心的宠物养护
宠物越来越成为了人们生活中不可或缺的一部分。越来越多的人开始养宠物,而宠物的养护也变得越来越重要。为了更好地照顾宠物,宠物app应运而生。但是,如何利用大数据分析来提供更贴心的宠物养护呢? 一、宠物健康监测 宠物健康监测是宠物app的一个重要功能。通过在app中记录宠物的体重、食欲、精神状态等信息, ......
在Linux部署Redis代理Twemproxy实现数据分片
前言 本文主要讲述 Redis 代理 Twemproxy 安装过程。 Twemproxy 是推特开源用于 Memcached 和 Redis 的轻量级代理。这里以0.5.0版本为例。 我们可以通过取模、随机、一致性哈希等算法将数据分散在多个 Redis 服务来实现水平扩展。但是客户端直连就需要跟每个 ......
在Linux部署Redis代理Predixy实现数据分片
前言 本文以predixy-1.0.5为例,讲述 Redis 代理 Predixy 安装过程。 Predixy 是一款高性能全特征 Redis 代理,支持 Redis-sentinel 和 Redis-cluster。作者拿其它常用代理做了 性能测评,Predixy 在各个维度性能都是最优的,与其他 ......
MYSQL大批量数据插入的性能问题
批处理 rewriteBatchedStatements=true 项目原来使用的大批量数据插入方法是Mybatis的foreach拼接SQL的方法。 我发现不管改成Mybatis Batch提交或者原生JDBC Batch的方法都不起作用,实际上在插入的时候仍然是一条条记录的插,速度远不如原来My ......
Redis——(主从复制、哨兵模式、集群)的部署及搭建
重点: 主从复制:主从复制是高可用redis的基础,主从复制主要实现了数据的多机备份,以及对于读操作的负载均衡和简单的故障恢复。 哨兵和集群都是在主从复制基础上实现高可用的。 缺点:故障恢复无法自动化,写操作无法负载均衡,存储能力受到单机的限制。 哨兵:在主从复制的基础上,哨兵实现了自动化的故障恢复 ......
在Linux部署单机Redis完整过程
前言 本文以redis-6.2.5为例,讲述在 Linux 系统下单机 Redis 下载、编译、打包、安装为服务、启动和访问的整个过程。 安装环境为 Linux CentOS 64,本文用的 7.5 版本. 下载编译目录在当前目录soft/redis下,最终服务可执行程序在/opt/soft/red ......
yolov5训练自己的数据
前一篇文章写了如何的安装yolo5。基于上面的一章,记录下用yolo5来训练自己的数据。 split_train_val.py import os import random trainval_percent = 0.1 train_percent = 0.9 xmlfilepath = '/Use ......