脚本hadoop
ld链接脚本一些随笔
链接：将多个目标文件（xx.o）、库文件（xx.a）、动态库（.so）等等链接成一个可执行文件。 常见段含义：.text 代码段 存放程序执行代码区域.data 初始化数据段 存放程序中已初始化的全局变量.bss 未初始化的数据段 存放程序中未初始化的全局变量.rodata 只读数据段 存放C中的字 ......
Hadoop-3.3.5单节点开启Kerberos认证
1、Hadoop单节点部署 部署过程看官方文档即可 https://hadoop.apache.org/ 为增加执行命令的便利性，添加hadoop的环境变量： vim /etc/profile.d/hadoop.sh export HADOOP_HOME=/usr/local/hadoop-3.3. ......
linux sh脚本启动springboot
### 1、restart.sh ``` #!/bin/bash APP_NAME=xxxxx.jar # 定义JAVA程序名 LOG_FILE="$APP_NAME.log" # 定义日志文件名称 # 查询进程并终止 PID=`ps -ef | grep $APP_NAME | grep -v g ......
写了个命令行初始化VMWARE ESXI主机的脚本
#add nic to vswitch esxcli network vswitch standard uplink add --vswitch-name=vSwitch0 --uplink-name=vmnic1 #add portgroup to vswitch esxcli network v ......
一、第一个python脚本
# 一、第一个python脚本 ## 1. 使用vi或vim直接写 ``` # vim 1.py #!/usr/bin/python # 声明类型,指明解释器命令路径 #-*- coding: utf-8 -*- # 指定字符格式为utf-8（可以打印中文）,python3不用再指定了 print ......
cmd 无法加载文件进行数字签名。无法在当前系统上运行 该脚本。有关运行脚本和设置执行策略的详细信息， about_Execution_Policies
pnpm : 无法加载文件 C:\Users\Jacks\AppData\Roaming\npm\pnpm.ps1。未对文件 C:\Users\Jacks\AppData\Roaming\npm\pnpm.ps1 进行数字签名。无法在当前系统上运行该脚本。有关运行脚本和设置执行策略的详细信息，请参阅 ......
Rsync脚本部署
服务端 [root@junwu_server /]# cat rsync_server.sh #!/bin/bash yum install rsync -y echo \ "uid = rsync gid = rsync fake super = yes use chroot = no max c ......
VB运行库+FlashPlayer国际去广告版安装脚本（支持静默安装封装部署时调用）
前言： 此脚本可静默安装VB运行库和flash国际版三合一程序，flash是去广告最新版，已测试不会有乱七八糟的弹窗广告，绿色无毒！！ 制作脚本的目的主要是为了离线封装系统时方便在部署阶段调用安装支持库。个人认为，离线封装系统是最绿色的，避免了二次封装破坏系统的稳定性，而且第三方封装工具都会偷偷修改 ......
Hadoop - HDFS 概述
什么是HDFS HDFS的优缺点 HDFS的文件块大小 HDFS的写数据流程 HDFS的副本配置策略 HDFS读数据的流程 什么是HDFS HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器 ......
刷数脚本
# 刷数脚本 以下脚本为github主页如下图片的数字，具体如何设置网上教程很多：  ``` import ......
linux shell脚本函数
目录 一、函数 二、返回值 三、终止符 四、实验 一、函数 概念：函数是定义一个函数名，可以调用函数方法，完成便捷处理。 函数作用： 1.避免方法名重复。 2.将代码分割成一块一块，便于查看。 例子演示： 加法 二、返回值 return：返回值 作用：继续执行脚本 范围：0-255，（超过255取余 ......
IIS 应用程序池 PowerShell 脚本更改高级属性的方法
## IIS WebAdmin Module Import-Module WebAdministration $AppPool = "mqttService(8011)" $Site = "mqttService(8011)" $AppPoolInstance = Get-Item IIS:\App ......
c# winform 网页录制执行脚本功能
支持输入指定的网址 支持配置点击位置 支持查找网页元素 支持模拟输入内容，不影响其他操作 支持循环运行 支持调整执行顺序 支持删除指令行 支持adsl拨号 支持清楚浏览器cookie ......
flink安装（无hadoop）
下载Flink：访问Flink的官方网站（https://flink.apache.org/），在下载页面找到适合你操作系统的预编译二进制包。选择与你的操作系统和版本相对应的下载链接，点击下载。 解压二进制包：下载完成后，将二进制包解压到你想要安装Flink的目录中。你可以使用命令行工具（如tar命 ......
SSH交互式脚本StrictHostKeyChecking选项 benchmode=yes
SSH 公钥检查是一个重要的安全机制，可以防范中间人劫持等黑客攻击。但是在特定情况下，严格的 SSH 公钥检查会破坏一些依赖 SSH 协议的自动化任务，就需要一种手段能够绕过 SSH 的公钥检查。 什么是SSH公钥检查SSH 连接远程主机时，会检查主机的公钥。如果是第一次该主机，会显示该主机的公钥摘 ......
hadoop 生态环境
HDFS角色及概念 hadoop体系中数据存储管理的基础，是一个高度蓉错的系统，用于在低成本的通用硬件上运行 角色和概念 — Client — NameNode — Secondarynode — Datanode NameNode — Master节点，管理HDFS的（名称空间和数据块映射信息)就 ......
shell脚本用来定时删除一些文件以及date的一些加减操作
date命令加减操作：date +%Y%m%d #显示当天年月日date -d “+1 day” +%Y%m%d #显示明天的日期date -d “-1 day” +%Y%m%d #显示昨天的日期date -d “-1 month” +%Y%m%d #显示上一月的日期date -d “+1 mont ......
【博学谷学习记录】超强总结，用心分享 | Hadoop
【博学谷IT技术支持】 # 一、介绍 ## 概念 [Apache™ Hadoop®](https://hadoop.apache.org/) 项目为可靠、可扩展的分布式计算开发开源软件。允许简单的编程模型在大量计算机集群上对大型数据集群进行分布式处理。 项目包含以下模块： - `Common`: 支 ......
【博学谷学习记录】超强总结，用心分享 | hadoop的组成
【博学谷IT技术支持】 公众号: 积雷山摩云洞，欢迎关注！！！ # hadoop的构成 hadoop集群主要包含：HDFS集群、MapReduce、YARN集群。HDFS集群复制海量数据的存储，MapReduce负责海量计算，Yarn集群存在数据运算时的资源调度。 - hdfs集群主要包含了角色na ......
大数据面试题集锦-Hadoop面试题(二)-HDFS
> 你准备好面试了吗?这里有一些面试中可能会问到的问题以及相对应的答案。如果你需要更多的面试经验和面试题，关注一下"张飞的猪大数据分享"吧，公众号会不定时的分享相关的知识和资料。 [TOC] ## 1、 HDFS 中的 block 默认保存几份？ 默认保存3份 ## 2、HDFS 默认 BlockS ......
微软正在研究使 Linux 脚本更安全
导读 据悉，微软正在研究使 Linux 脚本更安全 微软正在研究使 Linux 脚本更安全 在本周的 Linux 安全峰会上，systemd 的创建者 Lennart Poettering 发表了演讲，他在过去的一年中被微软雇佣，他和微软的其它工程师们正在努力提高 Linux 的安全性。微软的工程师 ......
Windows 配置 Hadoop and Spark
一 JDK环境配置 由于项目用的JDK17，所以单独给Hadoop配了JDK11，建议直接配置JAVA_HOME环境变量为JDK11，因为后面Spark需要用到JAVA_HOME 下载JDK11 链接：https://www.oracle.com/java/technologies/javase/j ......
Windows通过使用批处理.bat脚本文件修改DNS值
在公司内网有自己的DNS服务器，但是在使用某些软件时又经常需要特定的DNS地址，每次切换都非常麻烦，所以写了个.bat批处理脚本文件方便切换，如果是修改IP等信息做些修改后同样可以使用。 ```bat @echo off :start echo 1:设置DNS为手动 2:设置DNS为自动 set / ......
shell脚本中特殊筛选文件
问题描述：在写shell中，总会遇到一些各式各样筛选文件的需求，整理了一些特殊情况 1.查找目标文件下大于100Mb的文件 find $target_dir -type f -size +70M 2.查找目标文件下大于100Mb的文件，并显示详细信息 find $target_dir -type f ......
shell脚本语言
## shell文件后缀 > xxx.sh ## shell编程的的开头 > ＃!/bin/bash ## shell的执行方式  IT牛客 IT牛客 2023-05-02 21:00 发表于河南 收录于合集 #linux13个 #awk1个 #sed1个 原文： blog.csdn.net/weixin_43291944/article/det ......
IPTABLES脚本命令
iptables命令 原创 Cloud研习社 Cloud研习社 2023-05-30 08:33 发表于山东 收录于合集 #linux248个 #计算机219个 #云计算235个 #防火墙6个 #iptables4个 教程每周二、四、六更新 iptables命令 查看帮助文档： [root@m01 ......