脚本hadoop
Linux启动Java程序jar包Shell脚本
手动方式启动和终止java程序 启动java程序jar：nohup java -jar XXX.jar 查看程序占用pid：ps -ef | grep XXX.jar 或 jps jps是jdk提供的一个查看当前java进程的小工具，查询Linux系统当前所有java进程pid的命令。 根据pid杀 ......
window bat脚本
window bat脚本 编写bat脚本 Windows系统是目前使用最多的操作系统，对于一些自动化bat脚本的编写，可以采取如下方式： 先用记事本编写一个文件，在修改后缀为bat，双击运行即可 运行效果 脚本运行如下： 命令操作符如下 1) echo 命令 打开回显或关闭请求回显功能，或显示消 ......
hadoop 安装
deban 安装hadoop 文档 1.使用的kvm 创建的虚拟机,创建虚拟机的同时创建 hadoop用户 建议使用最简单的安装方式 2.配置 /etc/network/interfaces文件 3.配置/etc/hosts文件,添加如下内容 192.168.20.101 hadoop-master ......
通用程序部署脚本
#!/bin/bash cmd_bin="java | python |node | shell" cmd_bin_option="" app_path="java.jar | app.py |index.js | shell.sh" app_port=5000 run_app() { pid=$( ......
常用脚本
【shell脚本分享】一起看看运维大佬的实战脚本序列 点击关注👉👉 浩道linux 2023-03-20 07:50 发表于广东 收录于合集#linux学习268个 关注上方浩道linux，回复资料，即可获取海量linux、Python、网络通信等学习资料！ 前言 大家好，这里是浩道linux， ......
linux系统巡检脚本
Linux系统初始化脚本 能够监控100台服务器的磁盘利用率的脚本——16行代码实现 Linux系统初始化脚本之二 分享一个Linux系统巡检脚本，话不多说，上干货！ #!/bin/bash ###################################################### ......
Linux服务器编写Shell脚本定时监控Java应用状态以及掉线后的自动重启
1. 编写Shell脚本 #! /bin/sh export JAVA_HOME=/root/jdk1.8.0_361 export CLASSPATH=.:CLASSPATH:$JAVA_HOME/lib/ export PATH=$PATH:$JAVA_HOME/bin proc_name=we ......
Pycharm包推荐|自动检查shell脚本问题的包
如图，这个包自动会检测出哪块代码编写有问题，自动提示，这里可以根据提示进行修改，快速高效！！！ 包的名字如图：Shell script formatter 太香了 ......
使用IDEA连接服务器，执行脚本/上传文件/连接数据库/模拟HTTP请求
工欲善其事必先利其器 所以最近使用开发的时候，由于测试环境太多，搞的人很是崩溃。开发的、测试的、回归问题的， 不同的机器能测试侧重点不一样，使用的人不一样。结果一个bug出来，这台机器要改，那台机器也要换包。换了还得验。 测出bug的人急急急，改bug的也烦躁，毕竟这台机器正用着，那个说有问题，又跑 ......
Centos 7 开机自动执行脚本
##1.编写脚本 vim /home/autostart.sh 内容如下 systemctl restart network 赋予脚本可执行权限 chmod +x /home/autostart.sh ##2.有两种方法： 方法1: 在/etc/rc.d/rc.local文件末尾追加 /home/a ......
Java调python脚本运行-无参传递版本
Java调用python脚本 1、首先确保python脚本可以在windows的命令框调用 2、Java代码 package com.ya.taiji.controller; import java.io.BufferedReader; import java.io.IOException; imp ......
Bat脚本-timeout 命令(延时执行)
概述 做一个延时执行的批处理命令，选用timeout命令来实现，但是碰到一个情况是写完后直接双击运行时，timeout 命令运行不了，每次运行到timeout的时候，命令就会跳到.bta文件的开头重新执行，后来选择管理员权限运行就可以了。 命令-timeout 在命令行中运行 timeout /? ......
Hadoop启动后jps没有Datenode的问题
Hadoop启动后jps没有Datenode的问题 问题描述 最近在学习搭建大数据集群的过程中碰到了一个问题，就是web界面起不来，在start-all.sh启动集群后，输入jps，发现缺少DataNode节点，上网查询了一下，可能是由于多次输入hadoop namenode -format格式化节 ......
Linux中bash脚本里set -x的作用是什么？
参考资料： https://www.runoob.com/linux/linux-comm-set.html 初见set是这个命令set -x，出现在运行集群训练代码的bash脚本中，不知道它的作用是什么。查看了参考资料后知道了它的作用：即 -x 执行指令后，会先显示该指令及所下的参数。 至此，作用 ......
Windows 注册系统服务教程（包含bat 脚本）
一、场景 平时会遇到很多需要手动去把一些程序注册成系统服务，例如一些免安装版的中间件、数据库程序等，需要把运行窗口给隐藏起来，做成系统服务管理也方便。 一些整理汇总常用的注册服务方法，包括一些特殊场景。 二、Sc 命令注册 sc 是用来与服务控制管理器和服务进行通信的命令行程序。也可以将.bat 脚 ......
ssh配置免密登录脚本
SSH免密登录是一种通过SSH协议实现的无需输入密码即可登录目标主机的方式。它可以提高用户的登录效率和安全性。 以下是实现SSH免密登录的步骤： 在本地主机上生成公钥和私钥。可以使用命令ssh-keygen生成，其中公钥保存在~/.ssh/id_rsa.pub文件中，私钥保存在~/.ssh/id_r ......
ubuntu18.04 脚本自启动方法
1，修改/lib/systemd/system中文件 rc-local.service 文章末位加入这三行数据 [Install]WantedBy=multi-user.targetAlias=rc-local.service 2，编辑/etc/rc.local 添加需要执行的脚本 cd /home ......
脚本编写的一个通用框架
总结基于python写脚本的框架 # -*- encoding:utf-8 -*- # @time: 2023/3/21 12:11 # @author: Maxs_hu """ 基于python实现小脚本的基础框架: 1. 利用yield生成器函数, 将读取到的数据返回 2. 线程池执行主线任务 ......
解决Python运行脚本时ModuleNotFoundError: No module named 'xxx'报错
自己写的项目直接在Pycharm里run或debug没问题，但使用cmd命令通过python xxx.py运行脚本，如果脚本import了其他文件的方法就会报错：ModuleNotFoundError: No module named 'xxx'。 例如: 项目auto_test结构： ├──con ......
工良出品：包教会，Hadoop、Hive 搭建部署简易教程
导读 最近一个数据分析朋友需要学习 Hive，刚好我也想学，便利用手头的服务器搭建一个学习环境，但是搭建过程中，发现网上的教程很多过时了，而且部署过程中，很多地方走不通，博主也没有给出对应的说明。花了大力气才从各种资料中完成 Hadoop、Mysql、Hive 三者的部署。 因此，本文记录在 Win ......
Git仓库迁移实操（附批量迁移脚本）
最近公司组织架构调整，整个组换到新部门，需要将原来组内的项目代码，全部迁移到新的 group 中去(公司用的 gitlab 服务器)，要求保留所有的提交记录、分支和标签。我当然知道 Gitlab 本身是支持创建仓库时通过链接导入的，但前提是管理员开启相关功能。我们此处只讲命令迁移方案。 ......
Hadoop-HA节点介绍
设计思想 hadoop2.x启用了主备节点切换模式（1主1备） 当主节点出现异常的时候，集群直接将备用节点切换成主节点 要求备用节点马上就要工作 主备节点内存几乎同步 有独立的线程对主备节点进行监控健康状态 需要有一定的选举机制，帮助我们确定主从关系 我们需要实时存储日志的中间件 ActiveNam ......
常用的"小脚本"-json数据处理
小背景： 我们公司项目中的小脚本是一些工具类，比如常用的是MapUtil工具类的一些方法 写公司的MapUtil工具类的方法要注意，方法名的命名，因为方法名，在公司的项目的某个业务流程有对方法名的进行String截取开头字符串然后进行判断 一、工具的使用推荐 1、获取到请求url（接口的形式-一般数 ......
在 Ubuntu 22 的基础上进行 Hadoop 伪分布式（HDFS）的搭建
一、使用VMware安装Ubuntu虚拟机 推荐可以再下个Xshell用于操作终端。 Xshell免费版官网下载地址：https://www.xshell.com/zh/free-for-home-school/ 二、伪分布式平台搭建 Part1: 准备工作 首先按 ctrl+alt+t 打开终端窗 ......
openwrt 断网重启检测脚本
背景 openwrt 有些固件不太稳定，会时不时的断网，导致家里无法上网，遇到这种情况只能手动重启openwrt设备，该操作不方便，作为一个极客爱好者，那肯定是要实现自动化处理的了，写一个简单的脚本加入到crontab定时任务中，就可完全自动化检测了，解放双手。 脚本思路 1、ping指定域名5次， ......
DVWA系列4：XSS 跨站脚本攻击之 DOM型 和 反射型
DVWA系列4：XSS 跨站脚本攻击之 DOM型 和 反射型 前言 跨站脚本攻击（即 Corss Site Script，为了不与 CSS 混淆被称为 XSS）是一种较为常见的攻击手段。主要分为三种类型：DOM 型，反射型，存储型。本文先主要介绍 DOM 型 和 反射型。 这两种都是完全发生在浏览器 ......
一些有趣的VBS脚本
一些实用的VBS脚本 截取屏幕并将截图保存到剪贴板 With CreateObject("Word.Basic") .Sendkeys "{prtsc}" .FileQuit '.AppClose End With Msgbox "已将屏幕截取到剪贴板。", vbSystemModal+vbInfo ......
Centos7系统编译Hadoop3.3.4
1、背景 最近在学习hadoop，此篇文章简单记录一下通过源码来编译hadoop。为什么要重新编译hadoop源码，是因为为了匹配不同操作系统的本地库环境。 2、编译源码 2.1 下载并解压源码 [root@hadoop01 ~]# mkdir /opt/hadoop [root@hadoop01 ......
Centos7搭建hadoop3.3.4分布式集群
1、背景 最近在学习hadoop，本文记录一下，怎样在Centos7系统上搭建一个3个节点的hadoop集群。 2、集群规划 hadoop集群是由2个集群构成的，分别是hdfs集群和yarn集群。2个集群都是主从结构。 2.1 hdfs集群规划 | ip地址 | 主机名 |部署服务| |--|--| ......