脚本hadoop
cetnos运行springboot打包文件脚本
#!/bin/bash #check JAVA_HOME & java noJavaHome=false if [ -z "$JAVA_HOME" ] ; then noJavaHome=true fi if [ ! -e "$JAVA_HOME/bin/java" ] ; then noJavaH ......
start-dfs.sh启动hadoop，jps没显示
查看当前系统的名称 [root@master dfs]# cat /etc/hosts 192.168.128.78 hadoop01 查看core-site.xml <property> <name>fs.defaultFS</name> <value>hdfs://hadoop01:9000</ ......
4、虚拟机单机、集群的克隆、删除脚本（以初始化好的虚拟机为模板）
摘自：https://blog.51cto.com/mfc001/6408229 虚拟机克隆、删除脚本 [root@ubunt ~]# cat clone.sh #!/bin/bash # #. /etc/init.d/functions （如果是ubuntu，注释此行） Red="\e[1;31m ......
关于hadoop hive中使用hive分区功能
很多人习惯了使用第三方的工具 去连接hive或者hbase数据库，并且 使用其中的sql编辑器进行失去了语句 的使用来进行数据的分析等一系列的 操作，但是一些shell命令也可以在其中 运行例如： 1. set hive.exec.dynamic.partition=true; 2. set hiv ......
七、Hadoop优化
优化1：Combiner 使用之前 使用之后 减少的了reduce 从map拉取数据的过程，提高计算效率。 hadoop 的计算特点：将计算任务向数据靠拢，而不是将数据向计算靠拢。 特点：数据本地化，减少网络io。 首先需要知道，hadoop数据本地化是指的map任务，reduce任务并不具备数据本 ......
对bash脚本增加tab自动补全
需求 高频使用自编benchmark工具， 希望能像原生命令一样tab补全。 要求： 能够针对-s补全指定数据集名称 能够针对-b补全分支名称（基于本地git仓库） 能够补全-d -e -q等普通参数 实现 依赖 常见Linux发行版都内置了自动补全的依赖，以Ubuntu默认shell bash为例 ......
Windows自动更新hosts(bat脚本方式)
为了解决无法打开 github 网页的问题，才有了这个自动更新hosts 的命令脚本 hosts 里的内容会每日更新，内容从这里拿 文件：https://raw.hellogithub.com/hosts JSON： https://raw.hellogithub.com/hosts.json 注意 ......
浅写一个Python脚本归档Windows的截图
添加到计划任务每月运行 from datetime import datetime import os # 这里使用了Windows的环境变量，需在计划任务中指定你的用户 PATH_SCREENSHOTS = r'C:\Users\%USERNAME%\Pictures\Screenshots' P ......
centos7.5 hadoop NAT 静态IP网络环境搭建
1 设置 VMware 网络环境 1. 选择VMNet8 并将子网IP 修改为 192.168.10.0，保证集群ip都在这个网段下 2. 选择NAT 设置，配置NAT的网关为 192.168.10.2 2 设置 windows11 网络环境 1. 打开 控制面板\网络和 Internet\网络连接 ......
Linux脚本中（$0、$?、$*、$@、$#、$$、$!）这些符号的含义及用法
$0：就是该bash文件名,个位数的，可直接使用数字，但两位数以上，则必须使用 {} 符号来括住，如${10}. $?：是上一指令的返回值，成功是0，不成功是1。一般来说，UNIX(linux) 系统的进程以执行系统调用exit() 来结束的。这个回传值就是status值。回传给父进程，用来检查子进 ......
Hadoop集群部署后相关WEB界面打不开大概原因
集群部署完毕后，查看相关WEB界面，打不开的原因可能如下： 1、可以先去检查LINUX（CentOS7）机器的防火墙是否关闭，命令如下： systemctl status firewalld.service （查看防火墙状态） (如果显示为关闭状态，则进行下一步； 如果显示尚未关闭，则进行关闭并设定 ......
记录:k6性能脚本连接Redis取值
为了捡起以前学过的一个性能框架k6，拿现在公司的项目来上手，打算业务测试之余拿系统的接口跑跑性能。 本周的问题主要集中在k6脚本中引入redis的问题。因为项目系统的登录页面是涉及到验证码图片的，后端写了逻辑会把验证码的值写入在redis，所以登录的时候绕不开这个。再加上对js的生疏，所以本周一直在 ......
redis一键部署脚本
#!/bin/bash #DEST: 本地环境搭建redis #verion: 1.0 ################################################ # 系统 Centos7.9 2009 # 脚本一键编译安装redis # 使用需要有root权限 # 若yum安 ......
安装hadoop
hadoop:https://blog.csdn.net/weixin_44898710/article/details/109832031 将压缩包上传到服务器 # 上传到/home/software路径 # 设置权限 chmod 755 hadoop-3.2.1.tar.gz # 解压 tar ......
Hadoop 一些脚本总结
1.各个模板分开启动/停止 1.整体启动/停止 HDFS start-dfs.sh / stop-dfs.sh 2.整体启动/停止 YARN start-yarn.sh / stop-yarn.sh 2.各个服务组件逐一启动/停止 1.分别启动/停止 HDFS组件 hdfs --daemon sta ......
Hadoop 配置日志聚集
本文章的前置Hadoop-3.3.6分布式集群搭建步骤 概念： 集群中的每台Hadoop节点的运行都会产生日志，开启日志聚集后，将所有运行日志信息上传到Hadoop HDFS系统上，可以更好的查看运行详情，方便开发及调试。 注意：需要重启NodeManage、ResourceManager和Hist ......
hadoop高可用集群集成hive
hive和hadoop的关系 从上图可以看出实际上外界是通过thrift server这个节点和hadoop的hdfs以及rm进行交互的，中间为driver 因此当我修改完hadoop集群为高可用的时候，hive也需要重新配置环境以下是我hive的全新配置 <configuration> <!-- ......
记一个Python脚本--将webp图片转jpg格式
什么是WebP图片格式？如何在线转换WebP格式？ 我们有时候从互联网上下载图片会发现图片是WebP格式而不是常见的JPEG或者是PNG格式，用自带的图片处理软件无法打开，那么什么是WebP格式呢？我们该如何打开WebP格式的图片文件？需要进行图片处理的时候怎么样才能在线转换WebP格式为常用的JP ......
jenkins通过脚本自动创建tag
1、创建账号文件 2、添加脚本 echo "执行脚本" pwd git config --global credential.helper "store --file=/root/jenkins/credential_file" echo "获取提交信息" msg=$(git log -n 1 -- ......
Inno Setup6.2.0汉化版软件及生成更新包脚本(三)
按照 Inno Setup6.2.0汉化版软件及生成安装脚本(二) 的安装包安装后可以安装以下脚本进行更新，会自动识别版本，关闭服务，关闭打开的客户端，更新客户端，最后启动服务。 //定义常量 #define MyAppId "08FBA954-A306-4782-8C02-05F3DFE01772 ......
Inno Setup6.2.0汉化版软件及生成安装包脚本(二)
个人研究，为了记录下打包脚本，大家也可以安装打包脚本向导一步一步生成。 下面是我打包的脚本，其中包含了安装过程中执行批处理文件，是为了安装API服务，可以参考下： ; 脚本由 Inno Setup 脚本向导 生成！ ; 有关创建 Inno Setup 脚本文件的详细资料请查阅帮助文档！ #defin ......
Bat 脚本
Bat 脚本 1. 运行 .cmd文件【/c】 start cmd /c D:\nacos\nacos-server-1.1.3\nacos\bin\startup.cmd 2. 调用另外一个文件夹内的 .bat文件【/d call】 cd /d D:\sentinel call sentinel. ......
Linux配置篇 - Shell 自动部署脚本
目录OS 换源脚本Centos7基础环境Git 安装脚本中间件脚本MySQL 安装脚本Nginx 安装脚本 OS 换源脚本 Centos7 #!/bin/bash cd /etc/yum.repos.d/ mkdir repo_bak mv *.repo repo_bak/ curl -o /etc ......
Hadoop API 通过租户代理访问 Kerberos 安全 Hadoop 集群
这里记录一些方法，具备下面的特征：
* 通过租户代理访问 Kerberos 认证的 HADOOP 资源
* 获取 FileSystem 对象的技巧：FileSystem.get(URI, configuration)
* 通用 doAs模板
* 通用 hdfsCommand模板，使用 try-wit... ......
在 Linux 下执行 Jmeter 脚本
前言 Jmeter这款接口测试工具，已经在越来越多的公司被要求会使用了。 而且，现在应该部分小伙伴们都开始用起来了。 但是，你们知道除了在Windows用图形化界面的Jmeter执行脚本之外，还有其他可以执行的方法吗？？ 今天就来告诉你们，如何在Linux服务器里执行Jmeter的jmx。 前提准备 ......
网页正常性监控脚本
#!/bin/bash # Script name: httpmonitor.sh # Author: wanghongwei # Date: 2023-11-30 # Version: 1.0 # Description: A script to monitor http request and ......
SFTP文件本地及远程创建，上传，下载，删除，获取脚本
关键参数： sftp_route：远程路径 local_route：本地路径（windows需要r解析） header：txt表头字段（列表方式） data：txt内容信息（列表嵌套列表方式） filename_success：是否创建success文件默认为false filename：文件名称（ ......
shell脚本5---信号处理
信号的类别 信号 值 描述 1 SIGHUP 挂起进程 2 SIGINT 终止进程 3 SIGQUIT 停止进程 9 SIGKILL 无条件终止进程 15 SIGTERM 优雅的终止进程 17 SIGSTOP 无条件停止进程，但不是终止进程 18 SIGTSTP 停止或暂停进程，但不是终止进程 19 ......
centos 实现开机运行脚本
Crafted by [Genie](https://marketplace.visualstudio.com/items?itemName=genieai.chatgpt-vscode) You centos 实现开机运行脚本 Genie 在CentOS系统中，如果您希望在开机时自动运行一个脚本， ......