内存 工具 问题linux
在Linux搭建Kafka集群
前言 以kafka_2.13-2.8.0版本做示例,安装架构图如下所示,4台服务器,4个节点的Zookeeper集群(1主2从1观察)以及3个Kafka服务。 准备工作 准备多台服务器来搭建集群环境 Kafka需要Zookeeper做分布式协调,所以得先准备好Zookeeper集群。可以参考 在Li ......
在Linux部署RocketMQ可视控制台Dashboard
前言 Dashboard是一个Java web 项目,Maven工程。通过源码编译成jar包后启动即可通过浏览器访问。通过html界面可以查看RockeMQ集群状态、创建/删除Topic、生产/消费等。 安装 echo "从 GitHub 下载源码包" > /dev/null wget -P ~/s ......
在Linux部署Redis主从和哨兵集群实现高可用
前言 本文主要讲述在 Linux 系统中配置和部署 Redis 主从集群和哨兵,实现高可用和自动故障迁移。 准备工作 参考 Redis 单机部署 安装 3 个 Redis 服务作一主二从,本文准备了 6380(主)、6381(从) 和 6382(从)。 参考 Redis 单机部署 安装 3 个 Re ......
【Linux】性能调优命令
进程性能 pidstat cat /proc/5598(PID)/status free ps top pstree pgrep vmstat #使用top命令,查找pid $ top # 通过TOP -H -p 进程ID,找到具体的线程占用情况 $ top -H -p 21564 #通过命令pst ......
在Linux部署Redis代理Twemproxy实现数据分片
前言 本文主要讲述 Redis 代理 Twemproxy 安装过程。 Twemproxy 是推特开源用于 Memcached 和 Redis 的轻量级代理。这里以0.5.0版本为例。 我们可以通过取模、随机、一致性哈希等算法将数据分散在多个 Redis 服务来实现水平扩展。但是客户端直连就需要跟每个 ......
在Linux部署Redis Cluster集群
前言 本文讲述在 Linux 系统部署 Redis Cluster 实现数据分片的具体步骤。 请参考 Redis 单机部署 下载编译。 Redis Cluster是什么? Redis Cluster 是官方提供的一种用数据分片来实现横向扩容的解决方案,由一个或多个 Redis 服务组成一个无主集群。 ......
在Linux部署Redis代理Predixy实现数据分片
前言 本文以predixy-1.0.5为例,讲述 Redis 代理 Predixy 安装过程。 Predixy 是一款高性能全特征 Redis 代理,支持 Redis-sentinel 和 Redis-cluster。作者拿其它常用代理做了 性能测评,Predixy 在各个维度性能都是最优的,与其他 ......
一堆好用软件工具,好玩又实用!-搜嗖工具箱
闪萌 http://www.weshineapp.com/ 闪萌!话说这是一个最全最酷最有趣的GIF动图中文搜索引擎,发现好玩的gif动图,包括明星、美女、搞笑、微信QQ聊天表情包,可以一键分享到微信QQ新浪微博,支持gif动图下载,表情包下载到手机, giphy https://giphy.com ......
MYSQL大批量数据插入的性能问题
批处理 rewriteBatchedStatements=true 项目原来使用的大批量数据插入方法是Mybatis的foreach拼接SQL的方法。 我发现不管改成Mybatis Batch提交或者原生JDBC Batch的方法都不起作用,实际上在插入的时候仍然是一条条记录的插,速度远不如原来My ......
SpringMVC 结合 Servlet 不成功问题集锦
问题集锦 question 1:Tomcat 10 版本太高 cause Tomcat 10 版本. . 主要就是说:Tomcat 10 之前的用户如果使用 Tomcat 10 就需要将 javax.* 的导入转变为 jakarta.*。这样才能将代码在 Tomcat 10 中部署,还给你了一个迁移 ......
在Linux部署Etcd集群
前言 目前解决分布式系统下数据强一致性的主要算法理论是Paxos和Raft,偏向CAP定理一致性(Consistency)、可用性(Availability)、分区容错性(Partition tolerance)中的CP。 Raft在容错和性能方面和Paxos相当,不同之处在于它将问题分解成相对独立 ......
在Linux部署ElasticJob-Lite-UI运维控制台
前言 ElasticJob-Lite-UI是任务的分布式调度解决方案(ElasticJob-Lite)搭配的可视化运维控制台。运维控制台和ElasticJob-Lite并无直接关系,是通过读取作业注册中心(Zookeeper)数据展现作业状态,或更新注册中心数据修改全局配置。 它具有这些功能:登录安 ......
linux Tun/Tap 虚拟网卡
一、TUN、TAP 虚拟网卡的工作原理: + + | | | + + + + | | | User Application A | | User Application B |< + | | + + + + | | | | 1 | 5 | | |...............|........... ......
在Linux部署Apollo配置中心
前言 这篇是参考官网文档总结的Apollo分布式部署方式,包含具体步骤、资源和相关脚本,也在必要的地方给出了资料来源。 通过Apollo - 中文文档 - 部署架构可以了解到单机、集群和高可用部署架构的最佳实践方式。 安装步骤 本篇实践是在Linux系统,使用Apollo 1.9.1版本为例,要求环 ......
在Linux部署单机Redis完整过程
前言 本文以redis-6.2.5为例,讲述在 Linux 系统下单机 Redis 下载、编译、打包、安装为服务、启动和访问的整个过程。 安装环境为 Linux CentOS 64,本文用的 7.5 版本. 下载编译目录在当前目录soft/redis下,最终服务可执行程序在/opt/soft/red ......
深入理解 JVM---JVM 和 GC 日志 以及 内存分配回收日志
虚拟机及垃圾收集器日志 1、JDK9 日志 在JDK 9以前,HotSpot并没有提供统一的日志处理框架,虚拟机各个功能模块的日志开关分布在不同的参数上,日志级别、循环 日志大小、输出格式、重定向等设置在不同功能上都要单独解决。 直到JDK 9,这种混乱不堪的局面 才终于消失,HotSpot所有功能 ......
在Linux安装Maven
前言 Linux 系统安装、配置 Maven 步骤和相关资源地址,以3.8.2版本为例。 安装 下载解压 # 备用地址清华镜像 https://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.8.2/binaries/apache-maven- ......
在Linux安装Kafka监控系统EFAK
前言 EFAK(Eagle For Apache Kafka)是一个简单、高性能的Kafka集群监控系统,实现了监控、可视化操作Topic/Zookeeper、SQL查询、告警等功能,它以前的名字叫Kafka Eagle。 我们重点看看如何安装以及简单使用它。 kafka 版本支持:0.8.2.x, ......
在Linux安装Jenkins
前言 以Jenkins版本2.303作2例子在Linux系统直接安装的详细步骤,并解决插件下载速度慢问题。所有脚本可以直接复制在任意目录下执行。 下载启动包 echo "清华镜像下载启动war包到/opt/soft/jenkins目录" > /dev/null wget -P /opt/soft/j ......
Linux 基础
1.安装虚拟机 网络类型 #1.桥接模式 上网不需要经过其他路由,上网速度快,ip数量少,容易跟同一网段的主机ip冲突。 #2.仅主机模式 只能与宿主机进行交互,并不能上网。 #3.NAT模式 ip多,独立的网段。上网需要经过VMnet8网卡。 下载虚拟机官网地址 https://centos.or ......
在Linux安装JDK
前言 本文讲述在 Linux 服务器安装JDK rpm安装 去 Oracle官网 下载.rpm格式的安装包,如 Oracle - JDK8 下载。 也可以从 CSDN - jdk-8u301-linux-x64.rpm.zip 下载。 echo "安装" > /dev/null rpm -ivh j ......
Linux 系统快捷键
1.linux路径 # 绝对路径 从/开始称为绝对路径 # 相对路径 从当前目录开始为相对路径 2.特殊符号 ~ 命令行中 表示当前的路径 .. 命令行中表示 上一级目录 . 命令行中表示当前的目录 # 代表了注释 3.命令行快捷键 ctrl+a 快速移动光标到行首 Home ctrl+e 快速移动 ......
用Yum在Linux安装MySQL8
前言 我们通过Yum几乎全自动的快速安装MySQL服务,这里演示的是8.0版本,给出了具体步骤、脚本、图例,和相关资料来源,以及解决远程连接相关问题。 准备工作 更换国内yum源提速 参考CentOS更换YUM源更换yum源,国内下载速度更快。 找MySQL官方yum仓库地址 这一步只是告诉大家后面 ......
【转载】解决Nvidia-smi没有进程但是显存不释放的问题
Nvidia显存占用问题 程序已停掉,但是GPU显存无法释放,我们在使用PyTorch写程序的时候, 有时候会在控制台终止掉正在运行的程序,但是有时候程序已经结束了,nvidia-smi 也看到没有程序了,但是GPU的内存并没有释放,这是怎么回事呢? 这是因为使用PyTorch设置多线程进行数据读取 ......
linux-通配符
Linux通配符主要用户模糊查找文件,常用的Linux通配符如下表所示: | 名称 | 作用 | | | | | * | 可以匹配任意数量任意字符 | | ? | 可以匹配一个任意字符 | | [] | 可以匹配括号中的任意一个字符 | | [^] | 可以匹配指定范围之外的任意单个字符 | 示例: ......
linux-三种引号
在Linux系统中,有着三种引号——单引号、双引号和反引号。这三个引号的作用如下: 双引号:可以把引号内的内容作为一个整体,保留特殊符号,不做特殊处理。(弱引用,可以实现变量替换) 单引号:除了作为一个整体外,还可以将引号内的所有内容转义为单纯的字符串。(强引用,不完成变量替换) 反引号:把引号内的 ......
linux-命令替换
命令替换是指将命令的标准输出作为值赋给某个变量,bash shell定义了两种语法进行命令替换。一种是使用反引号,另一种是利用啊$(),两种等价格式如下: `linux命令` $(linux命令) 例一: [root]# echo current path is `pwd` current path ......
一些常用的Python调试工具
pdb:Python自带的调试工具,可以在代码中添加断点并逐步执行代码,以便逐步检查代码执行的过程。 ipdb:基于pdb的增强版,支持更多的交互式调试功能。 PyCharm:一个常用的Python集成开发环境,可以通过图形化界面来调试程序。 Visual Studio Code:另一个常用的Pyt ......
[ML] 详解 ChatGLM-webui 的启动使用与 ChatGLM-6B 常见问题
1. ChatGLM-webui 总共支持以下几个命令选项: 2. 以 windows 为例,在 PowerShell 里运行命令: # 安装依赖 pip install torch==1.13.1+cu117 torchvision==0.14.1+cu117 -f https://mirror. ......