集群 数据yarn

记录一下在阅读WiFi感知系列文章中对csi（信道状态信息）的获取过程 收集设备：nexus5 安卓版本6.0.1 版本号M4B302 root过 系统：虚拟机Ubuntu18.0.4 发送设备：小米路由器4C(R4CM){准备用别的路由器再测测，这2.4g的路由器收到的数据很怪} 首先sudo s ......

本文示例代码已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 大家好我是费老师，前两天pandas正式发布了其2.0.0版本，作为一次大版本更新，pandas针对底层进行了大量的重构以优化性能和稳定性，其有关这 ......

警告Cgroup Driver不一致 节点加入集群会警告 docker 和 kubelet 的 Cgroup Driver 不一致，但是暂未发现影响，如图： 解决办法：修改 docker 的 Cgroup Driver 为 systemd vim /etc/docker/daemon.json 加下 ......

承接上文 承接之前的【精华推荐 |【算法数据结构专题】「延时队列算法」史上非常详细分析和介绍如何通过时间轮（TimingWheel）实现延时队列的原理指南】，让我们基本上已经知道了「时间轮算法」原理和核心算法机制，接下来我们需要面向于实战开发以及落地角度进行分析如何实现时间轮的算法机制体系。 前言回 ......

前言 本文讲述在Linux内网搭建K8s集群详细步骤，解决搭建过程中的问题。 脚本基本可以不修改直接使用。 准备工作 需要Linux CentOS 7.x 两台及以上，本文用的 7.6。 主机要求有2个核心及以上。 安装步骤多个节点可以并行操作，默认所有操作各节点都要执行，某些操作仅主/工作节点执行 ......

layout: post cid: 7 title: k8s集群进行删除并添加node节点 slug: 7 date: 2021/12/30 16:58:32 updated: 2021/12/30 16:58:32 status: publish author: cby categories: 默 ......

layout: post cid: 5 title: Docker启动MySQL、MongoDB、Redis、Elasticsearch、Grafana，数据库 slug: 5 date: 2021/12/30 16:57:00 updated: 2022/03/25 15:53:08 status ......

前言 本文讲述在多台 Linux 服务器搭建 ZooKeeper 集群的具体步骤，共 4 个节点（1 主 2 从 1 观察者）。 ZooKeeper使用的端口：【2181】对 client 提供服务；【3888】选举 leader；【2888】集群内通讯。 准备工作 ZooKeeper需要1.7及以 ......

#上下文管理和SQLHelper import pymysql from DBUtils.PooledDB import PooledDB class SqlHelper(object): def __init__(self): self.pool = PooledDB( creator=pymys ......

蓝图使用 中大型项目推进使用蓝图来构建文件目录 1.导入蓝图类 from flask import Blueprint 2.实例化得到蓝图对象 order_bp = Blueprint('order', name) 3.在app中注册蓝图 app.register_blueprint(order_b ......

人们对宠物的关注和重视程度不断提高，越来越多的人开始选择养宠物。然而，宠物的健康管理一直是宠物主人们关注的重点。如何更好地管理宠物的健康，让宠物生活更加健康和幸福，成为了宠物主人们需要思考的问题。近年来，随着人工智能和大数据技术的迅速发展，宠物app已经成为了宠物健康管理的新选择。 一、人工智能技术 ......

前言 以kafka_2.13-2.8.0版本做示例，安装架构图如下所示，4台服务器，4个节点的Zookeeper集群（1主2从1观察）以及3个Kafka服务。 准备工作 准备多台服务器来搭建集群环境 Kafka需要Zookeeper做分布式协调，所以得先准备好Zookeeper集群。可以参考 在Li ......

前言 本文主要讲述在 Linux 系统中配置和部署 Redis 主从集群和哨兵，实现高可用和自动故障迁移。 准备工作 参考 Redis 单机部署 安装 3 个 Redis 服务作一主二从，本文准备了 6380(主)、6381(从) 和 6382(从)。 参考 Redis 单机部署 安装 3 个 Re ......

宠物越来越成为了人们生活中不可或缺的一部分。越来越多的人开始养宠物，而宠物的养护也变得越来越重要。为了更好地照顾宠物，宠物app应运而生。但是，如何利用大数据分析来提供更贴心的宠物养护呢？ 一、宠物健康监测 宠物健康监测是宠物app的一个重要功能。通过在app中记录宠物的体重、食欲、精神状态等信息， ......

前言 本文主要讲述 Redis 代理 Twemproxy 安装过程。 Twemproxy 是推特开源用于 Memcached 和 Redis 的轻量级代理。这里以0.5.0版本为例。 我们可以通过取模、随机、一致性哈希等算法将数据分散在多个 Redis 服务来实现水平扩展。但是客户端直连就需要跟每个 ......

前言 本文讲述在 Linux 系统部署 Redis Cluster 实现数据分片的具体步骤。 请参考 Redis 单机部署 下载编译。 Redis Cluster是什么？ Redis Cluster 是官方提供的一种用数据分片来实现横向扩容的解决方案，由一个或多个 Redis 服务组成一个无主集群。 ......

前言 本文以predixy-1.0.5为例，讲述 Redis 代理 Predixy 安装过程。 Predixy 是一款高性能全特征 Redis 代理，支持 Redis-sentinel 和 Redis-cluster。作者拿其它常用代理做了 性能测评，Predixy 在各个维度性能都是最优的，与其他 ......

批处理 rewriteBatchedStatements=true 项目原来使用的大批量数据插入方法是Mybatis的foreach拼接SQL的方法。 我发现不管改成Mybatis Batch提交或者原生JDBC Batch的方法都不起作用，实际上在插入的时候仍然是一条条记录的插，速度远不如原来My ......

前言 目前解决分布式系统下数据强一致性的主要算法理论是Paxos和Raft，偏向CAP定理一致性（Consistency）、可用性（Availability）、分区容错性（Partition tolerance）中的CP。 Raft在容错和性能方面和Paxos相当，不同之处在于它将问题分解成相对独立 ......

重点： 主从复制：主从复制是高可用redis的基础，主从复制主要实现了数据的多机备份，以及对于读操作的负载均衡和简单的故障恢复。 哨兵和集群都是在主从复制基础上实现高可用的。 缺点：故障恢复无法自动化，写操作无法负载均衡，存储能力受到单机的限制。 哨兵：在主从复制的基础上，哨兵实现了自动化的故障恢复 ......

前一篇文章写了如何的安装yolo5。基于上面的一章，记录下用yolo5来训练自己的数据。 split_train_val.py import os import random trainval_percent = 0.1 train_percent = 0.9 xmlfilepath = '/Use ......

数组中重复的数据 给你一个长度为 n 的整数数组 nums ，其中 nums 的所有整数都在范围 [1, n] 内，且每个整数出现 一次 或 两次 。请你找出所有出现 两次 的整数，并以数组形式返回。 你必须设计并实现一个时间复杂度为 O(n) 且仅使用常量额外空间的算法解决此问题。 示例 1： 输 ......

1. labelme标注完的json Labelme标注工具的JSON文件包含了标注信息、图片路径、以及图片的高度和宽度等信息， 2. coco的json COCO数据集格式包含了多个JSON文件，包括标注信息、图片信息、类别信息、图片与类别的关联信息等 3.怎么转换 有两种方式 使用 Labelm ......

INFS3200 Advanced Database SystemsPrac 2: Data Warehousing (5%)Semester 1, 2023Due time: 4:00pm, Friday, 21 April 2023 (Week 8)Submission: Submit your ......

文本 pyhon 后端用request.values.get("name") 去获取 if request.method == "POST": username = request.values.get("username") sex = request.values.get("sex") 二、多选 ......

由数据范围反推算法复杂度以及算法内容 1、一般ACM或者笔试题的时间限制是1秒或2秒。 C++里面如果题目的时间限制是1s的话，这个1s是指每一个测试数据都有1s的时间限制，如果一个题有十几个测试数据，每一个测试数据都有1s的实现，正常比赛的话，比如蓝桥杯比赛的话，如果有10个测试数据，时间限制是1 ......

1. Cluster 分片集群 1.1 Cluster 集群的结构和作用 redis 哨兵模式虽然提供了 redis⾼可⽤、高并发读的解决方案，但是在海量数据应用场景下，仍然存在海量数据存储问题和高并发写的问题。当只有⼀个 Master 对外提供服务时，如果数据量特别⼤，内存占⽤问题严重，数据的高并 ......

1. 下载 路径：https://dev.mysql.com/downloads/ 2. 上传解压 # tar -xvf MySQL-5.6.26-1.linux_glibc2.5.x86_64.rpm-bundle.tar 3. 安装 # rpm -ivh MySQL-server-5.6.26- ......

在json模块中，我们可以经常会用到 load()与loads()，其中两者的区别如下 json.load()从json文件中读取数据转抱为dict类型 json.loads()将str类型的数据转换为dict类型 这里笔者主要说明json.loads()的用法，将字符串转转换成字典，如下str2d ......

......