集群 数据yarn
Python基本知识(编程语言、数据类型、变量与常量、运算符、格式化输出以及解释器)
什么是编程语言？ 编程语言是人类与计算机之间交流的媒介，如Python、go、Java、c语言等等。 什么是编程？ 程序员将自己的逻辑和想法用计算机能够读懂的语言写下来的过程。编程结果是产生一对文件。 Python的八大数据类型概览 1. 字符串string(用来存放文本) # 有四种表现形式 na ......
SpringBoot多数据源（自定义注解，动态数据源，事务实现）
一、数据库配置文件（这里用的是阿波罗配置中心，也可以是application.yml文件） #mysql本地数据源1 spring.datasource.db1.driver-class-name=com.mysql.cj.jdbc.Driver spring.datasource.db1.jdbc ......
MySQL数据库用户管理
一、用户管理 1.1新建用户 CREATE USER '用户名'@'来源地址' [IDENTIFIED BY [PASSWORD] '密码']; ‘用户名’：指定将创建的用户名 ‘来源地址’：指定新创建的用户可在哪些主机上登录，可使用IP地址、网段、主机名的形式，本地用户可用localhost，允许 ......
MySQL数据库的基本管理操作
一、基本概念 1.1库和表 数据库–>数据表–>行（记录）：用来描述一个对象的信息 _____ 列（字段）：用来描述对象的一个属性 1.2常用的数据类型 int ：整型 float ：单精度浮点 4字节32位 double ：双精度浮点 8字节64位 char ：固定长度的字符类型 varchar ......
Haproxy集群
一、Haproxy简介 Haproxy 是一个使用C语言编写的自由及开放源代码软件，其提供高可用性、负载均衡，以及基于TCP和HTTP的应用程序代理。 1.1Haproxy应用分析 LVS在企业应用中抗负载能力很强，但存在不足 LVS不支持正则处理，不能实现动静分离 对于大型网站，LVS的实施配置复 ......
基于docker-compose部署 简单nsq 集群
基于docker-compose部署 简单nsq 集群 主要目的是搭建一个测试环境，同时使用了nodejs 客户端sdk nsq 简单了解 nsqd：一个负责接收、排队、转发消息到客户端的守护进程nsqlookupd：管理拓扑信息并提供最终一致性的发现服务的守护进程nsqadmin：一套Web用户界 ......
LVS负载均衡集群——NAT地址转换模式与DR直接路由模式
一.LVS集群基本介绍 1.集群是什么 Cluster，集群、群集 由多台主机构成，但对外只表现为一个整体，只提供一个访问入口（域名或IP地址），相当于一台大型计算机。 2.集群的类型 2.1 负载均衡群集（Load Balance Cluster) 提高应用系统的响应能力、尽可能处理更多的访问请求 ......
判断大量的数据在某个区间？我采用数组排序
新建数组，添加所有的数据与标准值，排序后判断首尾值是否等于标准值，这样就能避免大量的ifelse代码了 十分清爽。 上代码 请大家参考！ ......
网易严选数据湖建设实践
过去几年，数据仓库和数据湖方案在快速演进和弥补自身缺陷的同时，二者之间的边界也逐渐淡化。云原生的新一代数据架构不再遵循数据湖或数据仓库的单一经典架构，而是在一定程度上结合二者的优势重新构建。本文将分享严选的数据湖建设过程和思考。 1. 业务背景 网易严选在 2017 年中开始搭建自己的大数据体系，如 ......
【必须收藏】别再乱找TiDB 集群部署教程了，这篇保姆级教程来帮你！！| 博学谷狂野架构师
TiDB 基础使用 TiDB dashboard使用 TiDB Dashboard 是 TiDB 自 4.0 版本起提供的图形化界面，可用于监控及诊断 TiDB 集群。TiDB Dashboard 内置于 TiDB 的 PD 组件中，无需独立部署。 集群概况 查看集群整体 QPS 数值、执行耗时、消 ......
窥探数据研发中的任务优化策略
本文就目前较为冷门的一些数据任务优化手段做了简单的分析和总结，内容相对比较零散，不会聚焦常用的优化手段（比如小文件合并，数据倾斜等的优化等），只是对一些相对不太常见，但是在研发中又比较重要且有效的方式进行简单的一些沉淀，希望大家批评指正！ 1. 前言 在离线数据研发中，随着业务复杂程度不断增加，数据 ......
【THM】Packets & Frames(了解数据包和帧)-学习
本文相关的TryHackMe实验房间链接：https://tryhackme.com/room/packetsframes 本文相关内容：了解数据如何被分成更小的部分并通过网络传输到另一台设备。 什么是数据包和帧？ 数据包和帧是小块的数据，当它们组合在一起时，就构成了更大的信息或消息；然而，数据包和 ......
基于遗传算法优化BP神经网络（GA-BP）的数据分类预测 matlab代码
基于遗传算法优化BP神经网络（GA-BP）的数据分类预测 matlab代码YID:5429643492784099 ......
nacos集群无法正确显示服务列表问题
起因是在使用dubbo的过程中，选用的注册中心是nacos，并且使用的nacos集群。 应用启动后，在nacos控制台查看注册的服务列表，包括消费者和服务者，都无法及时刷新。刷新的唯一方式是重启nacos。 后面经过一系列排查，发现我们的nacos集群是三个节点的，这是正常的并且也是nacos推荐的 ......
Kubernetes集群（三）——Kuboard安装
1. 获取安装文件 curl -o kuboard-v3.yaml https://addons.kuboard.cn/kuboard/kuboard-v3-storage-class.ya 2. 安装文件自定义 mkdir -p /root/kuboard && cd /root/kuboard ......
数据挖掘（第五周）
import pandas as pd import matplotlib.pyplot as plt inputfile =r"C:\Users\admin\Downloads\original_data.xls" # 输入的数据文件 data = pd.read_excel(inputfile) ......
31、K8S-数据存储之PV、PVC
1、基础知识 1.1、流程梳理 1.1.1、PV-Persistent Volume 之前我们提到的Volume可以提供多种类型的资源存储(可持久或不持久)，但是它定义在Pod上的，是属于"资 源对象"的一部分。工作中的存储资源一般都是独立的，这就是资源对象Persistent Volume(PV) ......
数据分析第五周作业
在热水器的使用过程中，热水器的状态会经常发生改变，如开机和关机、由加热转到保温、由无水流到有水流、水温由50℃变为49℃等。而智能热水器在状态发生改变或水流量非零时，每两秒就会采集一条状态数据。由于数据的采集频率较高，并且数据来自大量用户，因此数据总量非常大。本案例对原始数据采用无放回随机抽样法，抽 ......
[docker]mesos集群的启动脚本
宿主机的IP地址列表 mesos-lb:192.168.253.159 mesos-marathon:192.168.253.159 mesos-master:192.168.253.159 mesos-slave:192.168.253.160 mesos-slave:192.168.253.16 ......
Kubernetes集群（二）——nfs的存储类（storageclass）
1. 安装nfs-server 1.1. 新建虚拟机用于nfs服务开启 作为存储服务器，存储空间配置高一些。 安装nfs服务 yum install -y nfs-utils rpcbind 创建共享目录 mkdir /root/test-pv 配置nfs服务信息 vi /etc/exports 添 ......
如果要存ip地址，用什么数据类型比较好
当存储IPv4地址时，应该使用32位的无符号整数（UNSIGNED INT）来存储IP地址，而不是使用字符串。 相对字符串存储，使用无符号整数来存储有如下的好处： 节省空间，不管是数据存储空间，还是索引存储空间 便于使用范围查询（BETWEEN...AND），且效率更高 通常，在保存IPv4地址时， ......
《SQL与数据库基础》23. 读写分离
(读写分离) 本文以 MySQL 为例。以 MyCat 数据库中间件为例，通过 MyCat 来完成读写分离操作。 读写分离 读写分离，简单地说就是把对数据库的读和写操作分开，以对应不同的数据库服务器。主数据库提供写操作，从数据库提供读操作，这样能有效地减轻单台数据库的压力。 通过MyCat可轻易实现 ......
python连接access数据库
1. 安装pyodbc pip install pyodbc -i https://pypi.douban.com/simple 查看是否电脑有python连接access的数据库驱动 import pyodbc [x for x in pyodbc.drivers() if x.startswit ......
人大金仓数据库，授权过期替换授权文件
第一种： 移除旧license [kingbase@centos7 V8]$ ll 总用量 4 lrwxrwxrwx. 1 kingbase kingbase 61 11月 14 16:40 ClientTools -> /opt/Kingbase/ES/V8/KESRealPro/V008R006 ......
数据结构做题笔记
LG2827 [NOIP2016 提高组] 蚯蚓 用单调队列简单维护就可以做到 $O(m\log m) $，但 $m$ 有点大，我们就需要考虑特殊性质。 注意到每次切割的蚯蚓长度一定小于前几次切割的长度（指的是没有每天增加 $q$ 的情况下）。 这样考虑使用队列 $q[3]$ 分别维护还没有切割的， ......
直播平台搭建，JS实现页面下拉加载数据操作
直播平台搭建，JS实现页面下拉加载数据操作 前端页面代码如下，我用的PHP，HTML页面应该就行，主要是在id="ph"的div内加载数据： <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.o ......
uniapp getCurrentPages()回塞数据 回塞到页面组件里解决方法
//数据展示页 <lab ref="thridRef" confirm="sumbitFn"></lab> const thridRef = ref() //数据展示页引用的组件 lab.vue //抛出需要被塞数据的字段 defineExpose({form}) //回塞数据页 var pages ......