主从 哨兵 集群linux
Hadoop集群迁移(元数据及HDFS数据)
1.背景 老集群采用的腾讯emr集群,使用过程中磁盘扩容成本费用高且开源组件兼容性存在问题,因此决定采用自建hadoop集群,需要将emr的元数据和hdfs基础数据迁移过来。 EMR版本:3.1.2 自建Hadoop版本:3.1.3 2.集群迁移步骤 2.1 数据迁移 nohup hadoop di ......
集群和服务器的区别
001、服务器(server) 01、服务器是一台独立的计算机或计算机系统(物理设备), 也可以是虚拟机或容器等虚拟化技术创建的逻辑实体, 用于提供特定的服务或功能。 02、服务器负责处理客户端的请求,并提供所需的服务,如网站托管、数据库存储、文件共享等。 03、服务器通常作为单个实体运行,具有自己 ......
Linux网络配置
在虚拟机上添加第二张网卡。 使用以下命令查看网卡: [root@localhost ~]# ip link 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default q ......
Linux平台总线
linux drv和 dev都会注册进总线的链表,如果设备和驱动匹配,调用驱动程序的probe函数 总线类型:bus_type 代码分析: 注册drv 举例说明: 分析注册一个平台drv driver_register(&drv->driver) bus_add_driver(struct devi ......
VMware搭建集群环境
集群地址分配 名称 IP 子网掩码 网关 DNS flink01 192.168.22.211 255.255.255.0 192.168.22.2 114.114.114.114 flink02 192.168.22.212 255.255.255.0 192.168.22.2 114.114.1 ......
将windows上socket的client程序修改到linux上运行
将windows上客户端程序修改到linux上运行 记录一下修改哪些地方 编译命令 文件夹的内容:包含了client.cpp mySocket.cpp mySocket.h until.h 链接在一起 g++ -c client.cpp mySocket.cpp until.h -std=c++11 ......
linux中文件的特殊权限setgid-setuid-sbit
1.SetUID一.SetUID的功能SetUID主要是给命令提供一个root权限,就是命令运行时拥有root用户权限,命令运行结束后root权限消失1.只有执行的二进制程序才能设定SUID权限 2.命令执行者要对该程序有用x(执行)权限 3.命令执行者在执行该程序时获得该程序文件属主(所有者)的身 ......
linux-网络接口的绑定与组合(bond 网桥的创建)
网络接口的绑定 一、虚拟接口 将多个网络逻辑接口连接在一起:1、实现冗余、避免故障 2、提高吞吐率 原理:非在物理网卡上设置、而是通过多个物理网卡聚合成一个虚拟的网卡(外部网络访问的就是本机的虚拟网卡的地址) 二、通过networkmanger实现 绑定模式 balance active-backu ......
linux 中正则匹配限制词首和词尾
001、\<或者\b限制词首 [root@pc1 test]# ls a.txt [root@pc1 test]# cat a.txt ## 测试数据 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 13783120433 16 17 18 19 20 21 ......
linux修改内核参数禁止OOM机制
Linux内核有个机制叫OOM killer(Out-Of-Memory killer),该机制会监控那些占用内存过大,尤其是瞬间很快消耗大量内存的进程,为了防止内存耗尽,内核会把该进程杀掉,监控是正常的。 防止重要的系统进程触发(OOM)机制而被杀死:可以设置参数/proc/PID/oom_adj ......
linux 中 grep命令正则表达式匹配电话号码
001、测试数据 [root@pc1 test]# ls a.txt [root@pc1 test]# cat a.txt 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 13783120433 16 17 18 19 20 21 22 23 24 25 2 ......
NOI Linux Sublime Text 使用指南
感觉 noi linux 的vscode还是太鸡肋,所以用了用subline,莫名好用 下面是食用指难。 首先打开,不好看,我们可以点击这里更改相应主题 然后我们要点 file 打开文件夹 打开/关闭侧边栏的快捷键是 Ctrl+K+B (K和B同时按) 然后sublime不能输入,直接用文件输入输出 ......
Linux三剑客——awk
awk命令可以用来的处理数据流,它的作用非常强大,甚至和编程语言一样,甚至实现了条件语句,关联数组等功能。 脚本结构与执行流程 一个典型的awk脚本结构是这样的。 awk 'BEGIN{ print "start" } pattern { commands } END{ print "end" }' ......
Linux下解压命令大全
.tar 解包:tar xvf FileName.tar 打包:tar cvf FileName.tar DirName (注:tar是打包,不是压缩!) ——————————————— .gz 解压1:gunzip FileName.gz 解压2:gzip -d FileName.gz 压缩:gz ......
Redis 哨兵集群搭建并使用 RedisTemplate 实现读写分离
上篇博客介绍的 Redis 主从集群搭建,有一个缺点就是 master 和 slave 的角色是固定的,不会发生变化。一旦 master 节点宕机,那么集群就只能提供读服务,无法提供写服务。本篇博客介绍 Redis 哨兵集群的搭建,可以监控 Redis 集群的 master 和 slave 节点,最 ......
Linux Zookeeper在Docker 安装与简单通信
一、在本地计算机上安装Docker 1.安装Docker (安装最新的Docker版本) yum install docker-ce docker-ce-cli containerd.io docker-bulidx-plugin docker-compose-plugin 2.查看Docker版本 ......
使用Avalonia跨Linux平台
https://blog.csdn.net/u012563853/article/details/128020416 Avalonia,读:阿瓦隆尼亚 这里的跨平台指的是,使用c#语言开发跨Linux平台。c#在Windows桌面开发中很强,但是在Linux桌面中,不能跨平台,Qt可以在Linux中 ......
TDSQL集群扩容DB节点
具体步骤见百度云盘:https://pan.baidu.com/s/1zMrjhckI2I4O1G1RzC09uQ 提取码:h5mm。本文档适用于TDSQL(MYSQL版)和TDSQL(PG版)。内容如下: 一、以下步骤在新增机器上面执行:1、检查audit服务(Mysql版本特有):systemc ......
linux内核中的zero-page
zero-page 操作系统给用户新分配的内容(通过mmap或者brk)都是清零过的,但是这些虚拟地址通常都是按需分配物理页面。这里的“按需”的需求可能是读取,也可能是写入。如果只是读取,只要保证读取内容是零即可,在MMU的基础上,可以让“所有”虚拟地址都映射到内容为0的物理页面中。 这样如果申请的 ......
Linux磁盘分区和挂载
一、准备工作(1)查看主机磁盘命令:lsblk(2)查看主机磁盘挂载文件系统情况命令:df -h二、磁盘分区(1)分区命令:fdisk -b 1024 /dev/vda其中:b 1024,一个sector size的大小;1GB;使用-b指定sector时,每个sector的大小是: sector ......
【Linux】命令实现分卷压缩
压缩命令 # 压缩命令:把es-head.tar文件,差分成20m大小的文件,每一部分都以es-head-part-前缀命名 split -b 20m es-head.tar es-head-part- # 压缩命令:把testSplit文件夹,压缩拆分成20m大小的文件,每一部分都以testSpl ......
Linux:vscode扩展无法下载,报错:Error while fetching extensions : XHR failed
在Linux系统上下载安装好vscode以后,发现扩展里面无法下载安装,报错:Error while fetching extensions : XHR failed 解决办法:修改 hosts 文件 1.sudo cp /etc/hosts /etc/hosts.bak 2.sudo vi /et ......
【Linux】正则匹配SQL里面的时间 TIMESTAMP
在使用plsql或者dbeaver的insert sql导出的时候通常日期格式的会导出为以下形式,我们通常将这些日期需要更新为sysdate或者to_char(sysdate,'YYYYMMDD')的形式,此时可以使用正则匹配来替换,以下列举了常见的两种时间场景: 1. 匹配 TIMESTAMP ' ......
Linux Shell: 写程序 翻译单词
脚本 #!/usr/bin/python3 import sys import requests import json from termcolor import colored url = 'https://fanyi.baidu.com/sug' data = {'kw': sys.argv[ ......
Linux Shell: 写程序 背单词
网上下载了一个英语词根和英语单词文件,包含导入到数据库的sql语句:english-root.sql和english_word.sql,于是写个脚本辅助背单词。 脚本 脚本逻辑:通过随机数获得词根编号,取得词根,过滤出其中的词根字符,并从数据库中提取以这些词根字符开头的单词。 脚本操作:接收一个传入 ......
短视频app开发,集群容错策略的代码分析
短视频app开发,集群容错策略的代码分析 1 Failover Failover故障转移策略作为默认策略,当短视频app开发中的消费发生异常时通过负载均衡策略再选择一个生产者节点进行调用,直到达到重试次数。即使业务代码没有显示重试,也有可能多次执行消费逻辑从而造成重复数据: public class ......
linux基础01----命令集锦
Linux命令集锦: 一、关机&重启命令: sync:把内存的数据同步到磁盘,当我们关机或者重启时,都应该先执行下sync命令,把内存的数据写入磁盘,防止数据丢失。 shutdown -h now:表示立即关机 shutdown -h 1:表示1分钟后关机 shutdown -r now:立即重启 ......
linux基础002-----环境搭建1
一、 vimtools安装 在终端输入gcc -v如果显示gcc的版本说明安装了gcc 之后一直回车 关闭系统后,在虚拟机中找到要克隆的系统,右键 管理 克隆,选择克隆的位置(选择大的磁盘),修改系统名,即可完成克隆。 选择要快照的系统右键 快照 拍摄快照,输入名称和描述后,点击确定,即可保存快照。 ......
linux-firewalld 和iptable的策略配置(nat 以及端口开放)
一、配置防火墙开发端口 1、 sudo yum install firewalld sudo systemctl start firewalld sudo systemctl enable firewalld 2、配置防火墙规则 firewall-cmd --permanent --add-serv ......
linux-网卡配置
一、网络配置 ip link show 查看网卡配置 set ens33 up/down 网卡的开启关闭 ip link add/up 添加/删除网卡 为网络设备添加协议地址 ip address 192.168.10.1/24 brocase 二、添加网卡并配置网络 1、在linux虚拟机上新添加 ......