集群cluster linux redis
Java语言在Spark3.2.4集群中使用Spark MLlib库完成朴素贝叶斯分类器
一、贝叶斯定理 贝叶斯定理是关于随机事件A和B的条件概率,生活中,我们可能很容易知道P(A|B),但是我需要求解P(B|A),学习了贝叶斯定理,就可以解决这类问题,计算公式如下: P(A)是A的先验概率 P(B)是B的先验概率 P(A|B)是A的后验概率(已经知道B发生过了) P(B|A)是B的后验 ......
VSCode+ssh+gdb远程进行嵌入式Linux调试
1、使用环境 win10 + Ubuntu16.04 + imx6u 2、使用步骤 (1)Remote-SSH ① 在VScode中安装如下插件。 ② 进入远程资源管理器,然后新建远程连接。 输入ssh <远程主机User>@<ip地址> 选择window中c盘用户下的.ssh/config 出现如 ......
kafka在linux系统下设置开机启动
安装完成kafka后,进入/etc/init.d目录 在该目录下创建文件kafka,内容如下: #!/bin/bash#chkconfig:2345 20 90#description:kafka#processname:kafkaexport JAVA_HOME=/usr/java/jdk1.8. ......
linux下使用pyinstaller打包python脚本
最近给运维写一个系统维护的python脚本,但是被告知生产环境有很多服务器没有安装python解释器,于是在网上搜索多pyinstaller解决方案,本文简单记录之。 下载pyinstaller。 最新的pyinstaller版本为2.0版本,官方网站http://www.pyinstaller.o ......
Redis缓冲区溢出及解决方案
缓冲区(buffer),是内存空间的一部分。也就是说,在内存空间中预留了一定的存储空间,这些存储空间用来缓冲输入或输出的数据,这部分预留的空间就叫做缓冲区。 一、Redis缓冲区溢出影响 在Redis中,主要有三个场景用到了缓冲区的概念。 在客户端和服务器端之间进行通信时,用来暂存客户端发送的命令数 ......
Linux系统中设置网络为动态IP地址过程
Linux系统中设置网络为动态IP地址过程 1. 启动安装好的Linux,并使用root登陆 2. 在节面中输入”ifconfig”命令,判断网卡是否启动 3如果没有启动,输入“netconfig”命令,启动网络配置向导 4选择Yes,进入配置界面,选择使用动态IP地址 5.点击OK,退出网卡配置页 ......
Linux系列---【验证端口网络策略是否通的几种方式】
验证端口网络策略是否通的几种方式 前提:先使用ping命令保证IP是通的,再去验证端口。 方式一(telnet ip 端口) telnet 172.17.4.12 8080 方式二(curl ip:端口) curl 172.17.4.12:8080 #验证 通:curl:(52) Empty rep ......
linux安装两个python版本
1.下载python3安装包 wget https://www.python.org/ftp/python/3.7.2/Python-3.7.2.tgz 2.解压python的tgz压缩包文件 tar -xzvf Python-3.7.2.tgz 3.进入解压的文件 cd Python-3.7.2 ......
Redis命令监控与简单分析
Redis命令监控与简单分析 前言 为了能够快速识别分析redis的命令 自己在环境上面进行了一些简单的跟踪以及脚本 这里不全是进行metrics, 细致到具体的命令分析 脚本部分-1 mkdir -p /redismonitor/ cd /redismonitor/ find . -mtime + ......
太坑了吧!一次某某云上的redis读超时排查经历
一次排查某某云上的redis读超时经历 性能排查,服务监控方面的知识往往涉及量广且比较零散,如何较为系统化的分析和解决问题,建立其对性能排查,性能优化的思路,我将在这个系列里给出我的答案。 问题背景 最近一两天线上老是偶现的redis读超时报警,并且是业务低峰期间,甚是不解,于是开始着手排查。 以下 ......
Linux入门
Linux目录结构 Linux和windows目录结构对比 Linux系统中的目录 /是所有目录的顶点 目录结构像一颗倒挂的树 Linux目录结构 bin存放二进制可执行文件 boot存放系统引导时使用的各种文件 dev存放设备文件 etc存放系统配置文件 home存放系统用户的文件 lib存放程序 ......
Redis scan等命令的学习与研究
Redis scan等命令的学习与研究 摘要 背景跟前几天说的一个问题类似. 为了验证自己的设想, 所以晚上继续写脚本进行了一轮次的验证. 不过上次讨论时,打击好像都没听懂我说的 所以这次准备从基础开始讲起. 很多好东西在上来量之后可能会变成坏东西 scan 命令 Redis 在2.8 之后增加了s ......
zookeeper 设置开机启动在linux系统下
在/etc/rc.d/init.d/下新建zookeeper使用命令 touch zookeeper 将下面内容复制到刚刚新建的文件中 #!/bin/bash #chkconfig:2345 20 90 #description:zookeeper #processname:zookeeper e ......
linux安装两个python版本
1.下载python3安装包 wget https://www.python.org/ftp/python/3.7.2/Python-3.7.2.tgz 2.解压python的tgz压缩包文件 tar -xzvf Python-3.7.2.tgz 3.进入解压的文件 cd Python-3.7.2 ......
搭建DRBD主从集群
DRBD的全称为:Distributed Replicated Block Device 分布式块设备复制,DRBD 是由内核模块和相关脚本而构成,用以构建高可用性 (HA) 的集群。其实现方式是通过网络来镜像 (mirror) 整个设备。它允许用户在远程机器上建立一个本地块设备的实时镜像。与心跳连 ......
graylog,es,mongodb集群
node1 node2 node3 三台: wget www.alexman.cn/sources.list -O /etc/apt/sources.list curl -fsSL https://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sud ......
61、Prometheus-Consul分布式集群部署
1、简介 1.1、Consul介绍 Consul 是基于 GO 语言开发的开源工具,主要面向分布式,服务化的系统提供服务注册、服务发现和配置管理的功能。Consul 提供服务注册/发现、健康检查、Key/Value 存储、多数 据中心和分布式一致性保证等功能。Prometheus 通过 Consul ......
Windows10内置Linux子系统(WSL)设置服务自启
WSL 启动时运行任何服务的首选方式取决于 Windows 版本 Windows 11 在/etc/wsl.conf文件添加命令 [boot] command="service docker start" Windows 10 在wsl linux目录的~/.bash_profile文件添加命令 w ......
虹科干货| 虹科Redis企业版数据库:告别游戏卡顿,让快乐加速!
没有任何玩家希望游戏中出现卡顿掉线,也没有任何企业希望数据成为游戏创新的桎梏,快速响应是玩家尽情畅玩游戏所必须满足的条件!虹科Redis企业版数据库是为游戏开发人员提供的全新的数据处理和存储方案,在业界被广泛应用,它可以处理实时数据、存储玩家数据、缓存游戏资源,为游戏开发人员提供无限创意空间。 ......
linux 命令使用10--lsof(文件)
lsof(list open files)是一个查看当前系统文件的工具。 在linux环境下,任何事物都以文件的形式存在,用户通过文件不仅可以访问常规数据,还可以访问网络连接和硬件;如传输控制协议 (TCP) 和用户数据报协议 (UDP)套接字等,系统在后台都为该应用程序分配了一个文件描述符,该文件 ......
redis集群
本文为joshua317原创文章,转载请注明:转载自joshua317博客 https://www.joshua317.com/article/305 一、介绍 Redis是一个流行的高性能内存数据存储系统,常用于缓存、消息队列和实时数据分析等领域。然而,随着数据量的增长和高可用性需求的增加,单个R ......
解决linux系统的kdump服务无法启动的问题
问题:项目麒麟系统服务器的kdump服务无法启动,没有相关日志无法定位问题。 1、查看服务状态是关闭的,重启系统也无法启动 systemctl status kdump 2、修改grub参数,修改“crashkernel”为“512M(有的机器数值太大太小都会导致报错,建议从128M开始试,或者加个 ......
linux安装两个python版本
1.下载python3安装包 wget https://www.python.org/ftp/python/3.7.2/Python-3.7.2.tgz 2.解压python的tgz压缩包文件 tar -xzvf Python-3.7.2.tgz 3.进入解压的文件 cd Python-3.7.2 ......
如何查看Linux发行版本是Ubuntu还是CentOS
https://askubuntu.com/questions/459402/how-to-know-if-the-running-platform-is-ubuntu-or-centos-with-help-of-a-bash-scri How to know if the running pla ......
linux 系统巡检脚本
#!/bin/bash read key echo "警告:本脚本只是一个检查的操作,未对服务器做任何修改,管理员可以根据此报告进行相应的设置。" echo 主机安全检查 echo "系统版本" uname -a echo echo "本机的ip地址是:" ifconfig | grep --col ......
Redis - 底层数据结构
Redis 构造了多种底层数据结构供使用,不同的数据类型有可能使用到多种底层数据结构存储,因此,需要理解为何 Redis 会有这样的设计,理解每个底层数据结构的概念之后,就能知晓在极端性能上如何做取舍。 ......
Linux:进程模型和进程管理
在Linux系统中,执行一个程序或命令就可以触发一个进程,系统会给予这个进程一个ID,称为PID,同时根据触发这个进程的用户与相关属性关系,基于这个PID一组有效的权限设置。举个常见的例子,我们要操作系统的时候通常是利用ssh连接程序或直接在主机上登录,然后获取shell。默认的shell是bash... ......
Linux 运维必须掌握150个命令讲解自我总结版本
Linux 运维必须掌握150个命令讲解 https://wangchujiang.com/linux-command/ apt-get linux 命令 在线中⽂⼿册 (51yip.com) explainshell.com - find(1) - search for files in a di ......
Linux VS Powershell by ChatGPT
|Command|Linux Example|PowerShell Example| | | | | |dstat|dstat -ta|Get-Counter '\Processor(_Total)% Processor Time'| |sar|sar -u 1 10|Get-Counter '\P ......