集群cluster linux redis

docker 搭建大数据集群(hive、hbase、ZooKeeper、Scala、Spark)

1)本机系统设置 电脑设置虚拟缓存(设置为自动管理) 虚拟机设置内存和CPU 内存设置为8G(或以上) CPU稍微设置高一点(三个虚拟化能开就开) 虚拟机系统配置阿里源 wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun. ......
集群 ZooKeeper 数据 docker Scala

Linux思维导图-命令操作1

今日学习了命令操作 今天上午学习了16组命令操作,下午绘制了思维导图,具体内容如下: 下午在绘制后,操作debain在里进行操作,使自己尽快熟悉以下的命令 1.pwd 查看当前所在位置 2.ls 查看或显示目录 ls -l 以列表模式查看目录 ls -a 显示所有文件和目录,包括隐藏的无论文件还是文 ......
思维 命令 Linux

Linux系统部署EasyCVR平台后发现端口不通该如何排查与解决?

EasyCVR平台支持多类型的协议接入,包括国标GB28181、RTMP、RTSP/Onvif、海康SDK、大华SDK、海康Ehome,华为SDK、宇视SDK、萤石SDK、乐橙SDK等,可对外分发RTSP、RTMP、FLV、HLS、WebRTC等格式的视频流。将EasyCVR与智能分析网关结合使用,... ......
端口 EasyCVR 系统 Linux 平台

Linux学习思维导图-操作系统

操作系统 移动端 安卓 iOS 鸿蒙 其他工业系统 桌面端 Windows MaciOS Unix Linux 服务器 Unix Linux 购买主机 阿里云 腾讯云 华为云 其他云平台 虚拟机 宿主主机 物理硬件 CPU 内存 硬盘 操作系统 Mac Windows 虚拟机 Virtual Box ......
思维 系统 Linux

使用docker-compose安装启动单机redis

下载redis的配置文件 下载地址 我这里是下载的版本7的config 创建文件目录 cd / sudo mkdir /docker-compose/redis && cd /docker-compose/redis sudo mkdir data && touch redis.conf && to ......
docker-compose 单机 compose docker redis

git操作留档 Linux防火墙命令留档

git初始化相关操作: 在远程仓库创建分支后 git init (指定newrepo目录作为Git仓库 :$ git init newrepo) git remote add origin http://code.sangfor.org/10973/mongo_es_local_demo.git ( ......
防火墙 命令 Linux git

minio集群docker部署

一、社区版给的方案 1、docker-compose.yaml下载地址:https://raw.githubusercontent.com/minio/minio/master/docs/orchestration/docker-compose/docker-compose.yaml 2、改成自己的 ......
集群 docker minio

[linux, windows]pyenv, virtualenv, virtualenvwrapper使用安装

一.Linux环境 1.下载github pyenv手动安装,设置环境变量 # pyenv,修改.bashrc或者.bash_profile export PYENV_ROOT="$PYTHON_LIBRARY/pyenv-installer/pyenv" export PATH=$PYENV_RO ......

linux静态网页访问/var/www/html

说明 linux目录下有个目录:/var/www/html,把“静态网页”放到这个目录下就可以通过IP很方便的访问 好处:不用配置tomcat等等,直接上传即用! 如果要访问 /var/www/html/1.html 我在浏览器地址栏输入 http://[ip]/1.html 就行了。 但是 这个便 ......
静态 网页 linux html var

consul安装教程(linux系统)

consul安装教程(linux系统) 1.下载consul安装源 官网地址:https://www.consul.io/downloads 2.解压安装包 unzip consul_1.9.0_linux_amd64.zip 解压出的文件是一个可以执行的文件 consul 3.查看consul版本 ......
教程 consul 系统 linux

Linux(CentOS)时间设置

一、查看系统时间 使用 date 命令即可查看当前的系统时间: date 二、手动设置时间 1、执行如下命令可以设置一个新的系统时间: date -s "20190712 18:30:50" 2、设置完后还要执行如下命令将结果同步到硬件时钟: hwclock --systohc 三、自动同步时间 1 ......
时间 CentOS Linux

Kubernetes集群(五)——Cert-manager与Let'sencrypt证书自动管理

1. Cert-manager安装 1.1. 安装自定义crd资源 kubectl apply -f https://github.com/cert-manager/cert-manager/releases/download/v1.11.0/cert-manager.crds.yaml 1.2. ......

爬虫学习10之scrapy_redis

scrapy_redis 首先redis是一种数据库类型,其有字符串、列表、集合、哈希等数据类型,满足scrapy engine调度以及去重的功能。 redis数据库基本操作: 启动客户端:redis-cli list添加一个元素:LPUSH key vaule 查看长度:llen name 查看所 ......
爬虫 scrapy_redis scrapy redis

redis-cli 命令详解

redis-cli 命令详解 redis-cli命令使用 命令使用 redis-cli [OPTIONS] [cmd [arg [arg ...]]] 选项说明 -h <hostname> Server hostname (default: 127.0.0.1). ip地址 -p <port> Se ......
redis-cli 命令 redis cli

三、使用NFS+Redis实现nginx服务的文件与会话共享

3.1 环境说明 主机 IP地址 备注 NFS+Redis 192.168.1.16 NFS+Redis 实现文件与会话共享 web01 192.168.1.7 挂载nfs共享 web02 192.168.1.8 挂载nfs共享 web03 192.168.1.9 挂载nfs共享 3.2 安装配置N ......
文件 Redis nginx NFS

K8S学习笔记之卸载K8S集群

阅读目录 0x00 概述 0x01 操作 0x00 概述 有时候需要卸载已安装在本机的K8S服务和服务,本文卸载的K8S面向使用kubeadm或者二进制方法安装的,不涉及使用rpm包安装的集群; 主要使用kubeadm reset和删除指定文件的方法,卸载K8S集群。 0x01 操作 首先清理运行到 ......
集群 K8S 笔记 K8 8S

Linux安装cuda,cudann,tensorRT

cuda官网链接 https://developer.nvidia.com/cuda-toolkit-archive 别人的链接链接 https://zhuanlan.zhihu.com/p/72298520 配置环境变量 export LD_LIBRARY_PATH=$LD_LIBRARY_PAT ......
tensorRT cudann Linux cuda

Linux install mysql

1.0 install mysql sudo apt purge mysql-server mysql-common sudo apt autoremove mysql-server mysql-common sudo apt-get update sudo apt-get install mysq ......
install Linux mysql

Linux 命令 | netstat

netstat 通常用来检查各端口的网络连接情况。 可以显示 IP、TCP、UDP、ICMP 协议相关数据。 最常用方式 netstat -tlunp,显示结果如下: 第二行的列名说明了每一列的内容 结果含义 Proto 协议名称 Recv-Q 网络接收队列,表示还有多少没被进程取走的数据,通常为 ......
命令 netstat Linux

Linux系统排查

排查进程 分析可疑的端口、IP、PID及程序进程: netstat -anptl lsof ps aux | grep 进程名称或ID lsof -i:1677 查看指定端口对应的程序 lsof -p 1234 检查pid号为1234进程调用情况 strace -f -p 1234 跟踪分析pid号 ......
系统 Linux

如何在 Windows 和 Linux 上查找哪个线程cpu利用率最高?

windows上面用任务管理器看,linux下可以用 top 这个工具看。 找出cpu耗用厉害的进程pid, 终端执行top命令,然后按下shift+p 查找出cpu利用最厉害的pid号 根据上面第一步拿到的pid号,top -H -p pid 。然后按下shift+p,查找出cpu利用率最厉害的线 ......
利用率 线程 Windows Linux cpu

非看不可的Redis持久化

写在前面 Redis的持久化,这部分的知识点不仅求职面试的时候是重点,工作中也是经常打交道。说起持久化都会想到RDB和AOF,但是里面有些细节是可以展开去聊的。比如:为什么 fork速度这么快?AOF是如何提高写入性能的?等问题。对这些疑问本文都会有所解答。 摘要 Redis是许多公司都在使用的一款 ......
Redis

redis基础系列~缓存应用场景

一 普通缓存 针对普通的k-v进行存储和读取,大多数场景都在用,存在缓存穿透的情况 二 分布式锁 分布式锁的目的保障全局唯一性,会先锁定不存在的目标keys,保障唯一性的情况下进行下一步操作 三 消息队列 消息队列对应的是生产者-消费者模型,用来执行异步处理的队列消费 四 订阅 SUBSCRIBE ......
缓存 场景 基础 redis

WebSocket集群解决方案,不用MQ

​ 首先不了解WebSocket的可以先看看这篇文章,以及传统的WebSocket方案是怎么做的,https://www.cnblogs.com/jeremylai7/p/16875115.html 这是用MQ解决的版本,那么这种方案存在什么问题呢。 第一:增加MQ,可能造成消息挤压、消息顺序的问题 ......
集群 WebSocket 不用 解决方案 方案

linux内核线程优先级配置

linux内核线程优先级配置 /* reference driver/spi/spi.c */ #include <linux/sched/rt.h> #include <uapi/linux/sched/types.h> static struct sched_param param = { .s ......
优先级 线程 内核 linux

Linux系统 tcpdump 抓包命令使用教程

tcpdump 是Linux系统下的一个强大的命令,可以将网络中传送的数据包完全截获下来提供分析。它支持针对网络层、协议、主机、网络或端口的过滤,并提供and、or、not等逻辑语句来帮助你去掉无用的信息。 本教程对tcpdump命令使用进行讲解说明,通过本教程您可以学会linux系统下使用tcpd ......
命令 tcpdump 教程 系统 Linux

linux操作--3

crond任务调度概念与操作 1.crond是用来进行定时任务管理的工具,具体语法如下 2.特殊符号说明 3.重启任务调度指令: service crond restart at任务调度机制 1.at任务是一次性的按时计划任务,在需要使用at任务时一定要保证atd进程的运行 ps -ef(查看当前运 ......
linux

Kubernetes集群(四)——Ingress应用路由安装

1. 获取部署文件 https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v1.6.4/deploy/static/provider/cloud/deploy.yaml 2. 编辑部署文件 使用编辑工具打开配置文件 ......
集群 路由 Kubernetes Ingress

linux shell基础--终端显示字体背景和字体颜色\033[0;30m

ANSI标准 ANSI标准规定了一种所有终端共享的指令集,并要求用ASCII的数字字符传递所有数值信息,用于控制linux终端上的光标位置、颜色和其他选项。在文本中嵌入确定的字节序列,大部分以ESC转义字符和"["字符开始,终端会把这些字节序列解释为相应的指令,而不是普通的字符编码。终端颜色就是AN ......
字体 终端 颜色 背景 基础

Rancher系列文章-Rancher v2.6使用脚本实现导入集群

概述 最近在玩 Rancher, 先从最基本的功能玩起, 目前有几个已经搭建好的 K8S 集群, 需要批量导入, 发现官网已经有批量导入的文档了. 根据 Rancher v2.6 进行验证微调后总结经验. 1. Rancher UI 获取创建集群参数 访问Rancher_URL/v3/cluster ......
Rancher 集群 脚本 文章 v2