集群cluster linux redis

Java语言在Spark3.2.4集群中使用Spark MLlib库完成朴素贝叶斯分类器

一、贝叶斯定理 贝叶斯定理是关于随机事件A和B的条件概率,生活中,我们可能很容易知道P(A|B),但是我需要求解P(B|A),学习了贝叶斯定理,就可以解决这类问题,计算公式如下: P(A)是A的先验概率 P(B)是B的先验概率 P(A|B)是A的后验概率(已经知道B发生过了) P(B|A)是B的后验 ......
Spark 集群 语言 Spark3 MLlib

VSCode+ssh+gdb远程进行嵌入式Linux调试

1、使用环境 win10 + Ubuntu16.04 + imx6u 2、使用步骤 (1)Remote-SSH ① 在VScode中安装如下插件。 ② 进入远程资源管理器,然后新建远程连接。 输入ssh <远程主机User>@<ip地址> 选择window中c盘用户下的.ssh/config 出现如 ......
嵌入式 VSCode Linux ssh gdb

kafka在linux系统下设置开机启动

安装完成kafka后,进入/etc/init.d目录 在该目录下创建文件kafka,内容如下: #!/bin/bash#chkconfig:2345 20 90#description:kafka#processname:kafkaexport JAVA_HOME=/usr/java/jdk1.8. ......
系统 kafka linux

linux下使用pyinstaller打包python脚本

最近给运维写一个系统维护的python脚本,但是被告知生产环境有很多服务器没有安装python解释器,于是在网上搜索多pyinstaller解决方案,本文简单记录之。 下载pyinstaller。 最新的pyinstaller版本为2.0版本,官方网站http://www.pyinstaller.o ......
pyinstaller 脚本 python linux

Redis缓冲区溢出及解决方案

缓冲区(buffer),是内存空间的一部分。也就是说,在内存空间中预留了一定的存储空间,这些存储空间用来缓冲输入或输出的数据,这部分预留的空间就叫做缓冲区。 一、Redis缓冲区溢出影响 在Redis中,主要有三个场景用到了缓冲区的概念。 在客户端和服务器端之间进行通信时,用来暂存客户端发送的命令数 ......
缓冲区 解决方案 方案 Redis

Linux系统中设置网络为动态IP地址过程

Linux系统中设置网络为动态IP地址过程 1. 启动安装好的Linux,并使用root登陆 2. 在节面中输入”ifconfig”命令,判断网卡是否启动 3如果没有启动,输入“netconfig”命令,启动网络配置向导 4选择Yes,进入配置界面,选择使用动态IP地址 5.点击OK,退出网卡配置页 ......
过程 地址 动态 系统 Linux

Linux系列---【验证端口网络策略是否通的几种方式】

验证端口网络策略是否通的几种方式 前提:先使用ping命令保证IP是通的,再去验证端口。 方式一(telnet ip 端口) telnet 172.17.4.12 8080 方式二(curl ip:端口) curl 172.17.4.12:8080 #验证 通:curl:(52) Empty rep ......
端口 策略 方式 Linux 网络

linux安装两个python版本

1.下载python3安装包 wget https://www.python.org/ftp/python/3.7.2/Python-3.7.2.tgz 2.解压python的tgz压缩包文件 tar -xzvf Python-3.7.2.tgz 3.进入解压的文件 cd Python-3.7.2 ......
两个 版本 python linux

Redis命令监控与简单分析

Redis命令监控与简单分析 前言 为了能够快速识别分析redis的命令 自己在环境上面进行了一些简单的跟踪以及脚本 这里不全是进行metrics, 细致到具体的命令分析 脚本部分-1 mkdir -p /redismonitor/ cd /redismonitor/ find . -mtime + ......
命令 Redis

太坑了吧!一次某某云上的redis读超时排查经历

一次排查某某云上的redis读超时经历 性能排查,服务监控方面的知识往往涉及量广且比较零散,如何较为系统化的分析和解决问题,建立其对性能排查,性能优化的思路,我将在这个系列里给出我的答案。 问题背景 最近一两天线上老是偶现的redis读超时报警,并且是业务低峰期间,甚是不解,于是开始着手排查。 以下 ......
redis

Linux入门

Linux目录结构 Linux和windows目录结构对比 Linux系统中的目录 /是所有目录的顶点 目录结构像一颗倒挂的树 Linux目录结构 bin存放二进制可执行文件 boot存放系统引导时使用的各种文件 dev存放设备文件 etc存放系统配置文件 home存放系统用户的文件 lib存放程序 ......
Linux

Redis scan等命令的学习与研究

Redis scan等命令的学习与研究 摘要 背景跟前几天说的一个问题类似. 为了验证自己的设想, 所以晚上继续写脚本进行了一轮次的验证. 不过上次讨论时,打击好像都没听懂我说的 所以这次准备从基础开始讲起. 很多好东西在上来量之后可能会变成坏东西 scan 命令 Redis 在2.8 之后增加了s ......
命令 Redis scan

zookeeper 设置开机启动在linux系统下

​在/etc/rc.d/init.d/下新建zookeeper使用命令 touch zookeeper 将下面内容复制到刚刚新建的文件中 #!/bin/bash #chkconfig:2345 20 90 #description:zookeeper #processname:zookeeper e ......
zookeeper 系统 linux

linux安装两个python版本

1.下载python3安装包 wget https://www.python.org/ftp/python/3.7.2/Python-3.7.2.tgz 2.解压python的tgz压缩包文件 tar -xzvf Python-3.7.2.tgz 3.进入解压的文件 cd Python-3.7.2 ......
两个 版本 python linux

搭建DRBD主从集群

DRBD的全称为:Distributed Replicated Block Device 分布式块设备复制,DRBD 是由内核模块和相关脚本而构成,用以构建高可用性 (HA) 的集群。其实现方式是通过网络来镜像 (mirror) 整个设备。它允许用户在远程机器上建立一个本地块设备的实时镜像。与心跳连 ......
主从 集群 DRBD

graylog,es,mongodb集群

node1 node2 node3 三台: wget www.alexman.cn/sources.list -O /etc/apt/sources.list curl -fsSL https://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sud ......
集群 graylog mongodb

61、Prometheus-Consul分布式集群部署

1、简介 1.1、Consul介绍 Consul 是基于 GO 语言开发的开源工具,主要面向分布式,服务化的系统提供服务注册、服务发现和配置管理的功能。Consul 提供服务注册/发现、健康检查、Key/Value 存储、多数 据中心和分布式一致性保证等功能。Prometheus 通过 Consul ......

Windows10内置Linux子系统(WSL)设置服务自启

WSL 启动时运行任何服务的首选方式取决于 Windows 版本 Windows 11 在/etc/wsl.conf文件添加命令 [boot] command="service docker start" Windows 10 在wsl linux目录的~/.bash_profile文件添加命令 w ......
子系统 Windows Linux WSL 10

虹科干货| 虹科Redis企业版数据库:告别游戏卡顿,让快乐加速!

没有任何玩家希望游戏中出现卡顿掉线,也没有任何企业希望数据成为游戏创新的桎梏,快速响应是玩家尽情畅玩游戏所必须满足的条件!虹科Redis企业版数据库是为游戏开发人员提供的全新的数据处理和存储方案,在业界被广泛应用,它可以处理实时数据、存储玩家数据、缓存游戏资源,为游戏开发人员提供无限创意空间。 ......
干货 游戏卡 数据库 数据 Redis

linux 命令使用10--lsof(文件)

lsof(list open files)是一个查看当前系统文件的工具。 在linux环境下,任何事物都以文件的形式存在,用户通过文件不仅可以访问常规数据,还可以访问网络连接和硬件;如传输控制协议 (TCP) 和用户数据报协议 (UDP)套接字等,系统在后台都为该应用程序分配了一个文件描述符,该文件 ......
命令 文件 linux lsof 10

redis集群

本文为joshua317原创文章,转载请注明:转载自joshua317博客 https://www.joshua317.com/article/305 一、介绍 Redis是一个流行的高性能内存数据存储系统,常用于缓存、消息队列和实时数据分析等领域。然而,随着数据量的增长和高可用性需求的增加,单个R ......
集群 redis

解决linux系统的kdump服务无法启动的问题

问题:项目麒麟系统服务器的kdump服务无法启动,没有相关日志无法定位问题。 1、查看服务状态是关闭的,重启系统也无法启动 systemctl status kdump 2、修改grub参数,修改“crashkernel”为“512M(有的机器数值太大太小都会导致报错,建议从128M开始试,或者加个 ......
问题 系统 linux kdump

linux安装两个python版本

1.下载python3安装包 wget https://www.python.org/ftp/python/3.7.2/Python-3.7.2.tgz 2.解压python的tgz压缩包文件 tar -xzvf Python-3.7.2.tgz 3.进入解压的文件 cd Python-3.7.2 ......
两个 版本 python linux

如何查看Linux发行版本是Ubuntu还是CentOS

https://askubuntu.com/questions/459402/how-to-know-if-the-running-platform-is-ubuntu-or-centos-with-help-of-a-bash-scri How to know if the running pla ......
版本 还是 CentOS Ubuntu Linux

linux 系统巡检脚本

#!/bin/bash read key echo "警告:本脚本只是一个检查的操作,未对服务器做任何修改,管理员可以根据此报告进行相应的设置。" echo 主机安全检查 echo "系统版本" uname -a echo echo "本机的ip地址是:" ifconfig | grep --col ......
脚本 系统 linux

Redis - 底层数据结构

Redis 构造了多种底层数据结构供使用,不同的数据类型有可能使用到多种底层数据结构存储,因此,需要理解为何 Redis 会有这样的设计,理解每个底层数据结构的概念之后,就能知晓在极端性能上如何做取舍。 ......
数据结构 底层 结构 数据 Redis

linux系统查看ip的命令

1、ip a 2、ifconfig 3、hostname -i ......
命令 系统 linux

Linux:进程模型和进程管理

在Linux系统中,执行一个程序或命令就可以触发一个进程,系统会给予这个进程一个ID,称为PID,同时根据触发这个进程的用户与相关属性关系,基于这个PID一组有效的权限设置。举个常见的例子,我们要操作系统的时候通常是利用ssh连接程序或直接在主机上登录,然后获取shell。默认的shell是bash... ......
进程 模型 Linux

Linux 运维必须掌握150个命令讲解自我总结版本

Linux 运维必须掌握150个命令讲解 https://wangchujiang.com/linux-command/ apt-get linux 命令 在线中⽂⼿册 (51yip.com) explainshell.com - find(1) - search for files in a di ......
自我总结 命令 版本 Linux 150

Linux VS Powershell by ChatGPT

|Command|Linux Example|PowerShell Example| | | | | |dstat|dstat -ta|Get-Counter '\Processor(_Total)% Processor Time'| |sar|sar -u 1 10|Get-Counter '\P ......
Powershell ChatGPT Linux VS by