脚本hadoop

遍历本地嵌套文件夹获取文件，上传到远程linux服务器，上传文件过程中展示进度条，生成的程序运行日志按时间存放本地，双击exe即可运行 ......

文件表达式-e filename 如果 filename存在，则为真-d filename 如果 filename为目录，则为真 -f filename 如果 filename为常规文件，则为真-L filename 如果 filename为符号链接，则为真-r filename 如果 filena ......

1.查看有多少远程的 IP 在连接本机 #!/bin/bash #!/bin/bash # 查看有多少远程的 IP 在连接本机(不管是通过 ssh 还是 web 还是 ftp 都统计) # 使用 netstat ‐atn 可以查看本机所有连接的状态,‐a 查看所有, # -t仅显示 tcp 连接的信 ......

今天再写shell的时候，感觉字符串截取不是特别顺利，最后用切割字符串获取的，就随便整理一些 定义变量 [root@iZ1la3d1xbmukrZ ~]# net=https://www.cnblogs.com/dalianpai/ [root@iZ1la3d1xbmukrZ ~]# 1、# 号截取 ......

搭建三个hadoop集群的时候,master没有启动namenode和datanode， 报错: Starting namenodes on [hadoop01]hadoop01: root@hadoop01: Permission denied (publickey,gssapi-keyex,gs ......

Hadoop概述 Hadoop是什么 hadoop是一个由Apache基金会所开发的分布式系统基础框架 其主要解决，海量数据的存储和海量数据的的分析计算问题 广义上，Hadoop通常是指一个更加广泛的概念——Hadoop生态圈 Hadoop的发展历史 Hadoop创始人Doug Cutting，为了 ......

LR模型快速生成SQL脚本 由于经常需要部署新LR模型，需要以SQL的方式在数仓环境中运行。固化LR模型的形式是excel文件，所以写了一个脚本解析这个excel文件，完成模型的快速SQL化 LR模型部署模板 第一行是名称列可以不用管，第二行是线性模型基础得分第三行开始：第一列是表中的列，第二列是表 ......

服务器总是要定时运行某个程序，而我在解决这个问题的时候遇到很多困难， 特此记录下来。 1.编辑crontab配置 crontab -e 服务器一般会安装好crontab，若没有安装请按命令安装 yum install crontabs 2.编写配置文件 当打开配置文件的时候，我们可以看到类似的配置代 ......

创建Mysql备份脚本后，将sh文件加入crontab，命令未执行，日志信息未读取到Mysql库信息 #!/bin/bash DATE=$(date +%F_%H) HOST=127.0.0.1 USER=root PASS=123123 BACKUP_DIR=/root/tmp/ DB_LIST= ......

1、 流程说明 在单机测试wordcount没问题后，开始配置集群模式 说明: hadoop有几个功能 ​ ① hdfs存 ​ NameNode ​ SecondNameNode ​ DataNode ​ ②yarn资源调度 ​ ResourceManager ​ NodeManager ​ ③ma ......

###【Hadoop-HDFS压测】针对HDFS进行读写性能测试 1）测试工具 2）写入数据测试 3）读取数据测试 4）清除数据 ####1)测试工具 Hadoop自身集成的工具包：hadoop-mapreduce-client-jobclient-3.1.1.jar 注意： 1、如果是Apache ......

#!/bin/bash #Author: #Date: #Version: v1 #记录脚本开始执行时间 starttime=`date +'%Y-%m-%d %H:%M:%S'` #变量 SHELL_DIR="/data/scripts" SHELL_NAME="$0" K8S_CONTROLLE ......

对这两天搭建Hadoop集群做个经验总结 master节点:Ubuntu 22.04，也就是我的台式机主机 slave节点：Debian 11，通过VMware虚拟出来 （1）集群节点设置和角色分配 master namenode,datanode,resourcemanager,nodemanag ......

1、 流程说明 本文参考尚硅谷大数据教程加以整理 1、win10, 安装好xshell/xftp/vmware，搭建虚拟机，克隆3台 2、 配置网络，防火墙，host,hostname ， 创建新用户，配置ssh免密 3、上传jdk/hadoop安装包，解压，配置环境变量，wordcount测试 注 ......

前言 Dockerfile.focal可用于在 Docker 环境中运行 Playwright 脚本。这些镜像包括在 Docker 容器中运行浏览器所需的所有依赖项，还包括浏览器本身。 playwright 在linux 系统上目前只支持Ubuntu 系统的部分版本，centos 和debian系统 ......

一、新建bat脚本文件，并写入执行exe脚本命令： 二、执行bat脚本： 1 String fullPath = "E:\\model-script\\ComSim-master.bat"; 2 File file = new File(fullPath); 3 if (file.exists()) ......

@echo off start "" "E:\soft\WeChat\WeChat.exe" start "" "E:\soft\WeChat\WeChat.exe" exit() ......

##第1关：配置开发环境 - JavaJDK的配置 （1）创建一个/app文件夹，命令 mkdir /app （2）配置环境变量 解压好JDK之后还需要在环境变量中配置JDK，才可以使用，接下来就来配置JDK。输入命令：vim /etc/profile 编辑配置文件；在文件末尾输入如下代码（不可以有 ......

1、使用mysql -u root -p 命令连接数据库 2、将数据库文件上传到/root目录下 3、使用use命令打开数据库 4、设置编码格式：set names utf8; 5、使用命令source /root/+文件名，屏幕上就会不断的滚，直到最后提示导入成功。 ......

添加字段 ALTER TABLE 表名 ADD COLUMN 字段名 字段类型 NOT NULL COMMENT '字段说明' AFTER 字段名（哪个字段后面）; 修改字段 ALTER TABLE 表明 MODIFY COLUMN 字段名 DATETIME NULL COMMENT '字段说明'; ......

// ==UserScript== // @name 延时跳转页面示例 // @description 自动延时跳转到指定的一系列页面，页面跳转时间为2秒 // @include * // ==/UserScript== // 指定要跳转的页面 URL 列表 var urls = ["https:/ ......

准备需要启动执行的shell。 例如： -PC:~$ sudo vi auto-start-shell.sh #!/bin/bash echo "系统启动shell自动运行时间：$(date)" >> /home/{用户名}/Desktop/ceshi/cs.txt exit 方案1： 1、创建脚本 ......

1 #!/bin/bash 2 # Redis 通过 scan 找出不过期的 key 3 # SCAN 命令是一个基于游标的迭代器（cursor based iterator）：SCAN 命令每次被调用之后，都会向用户返回一个新的游标，用户在下次迭代时需要使用这个新游标作为 SCAN 命令的游标参数 ......

安装基本的 bash 自动完成 yum install bash-completion 添加自动完成脚本 kubectl completion bash | sudo tee /etc/bash_completion.d/kubectl > /dev/null 设置别名 echo 'alias k= ......

手工操作2个办法： 1.新建一个纯文本文件，修改后缀名为.py，然后用IDLE或pycharm打开编辑即可。 2.启动IDE工具（比如IDLE或Pycharm），选择新建脚本，然后选择位置并保存脚本即可。 有没有方法能让这个步骤变得更简单一点呢？ 方法1：修改注册表 运行regedit打开注册表，找 ......

1.Hello World 程序员经常通过学习 hello world 程序来学习新语言。这是一个简单的程序，将字符串 “HelloWorld” 打印到标准输出中。然后，使用 vim 或 nano 等编辑器创建 hello-world.sh 文件，并将以下行复制到其中。 #!/bin/bashech ......

####一、dos/cmd脚本 #####1、cmd界面 * 快捷键win+r -> 输入cmd -> 点击确定 * 点击开始菜单 -> 右击命令提示符 -> 以管理员身份运行 #####2、命令和变量 内部命令 * dir：显示目录列表 * cd：切换目录 - 快捷键tab：可自动补全和切换文件名 ......

在当前shell会话中加载自动补全： source <(helm completion bash) 为每个新的会话加载自动补全，执行一次： helm completion bash > /etc/bash_completion.d/helm ......

背景 当角色到达65级之后，主要的工作就是凑装备，强化，打造词条，附魔等细节。其中投入最大，周期最长的就是强化了，从15到16保底至少需要500万泰拉，到20就更遥不可及，除了活动能够加快一些进度，主要就是靠【搬砖】。 这篇文章旨在解决【搬砖的枯燥】与【人类对美好生活向往】之间的矛盾。 毛估估一下 ......

[root@harbor tools]# cat test.sh #!/bin/bash # 生成随机密码 password=$(openssl rand -base64 12) # 输出生成的密码 echo "生成的密码为: $password" ......