脚本hadoop
扫描并清除重复文件的Python脚本
电脑里存的照片越来越多，其中有很多是重复的。如果依赖人边去一张一张对比，需要的工作量太大了。 下面的Python脚本在一个目录树上递归地对所有文件作MD5校验，将重复的文件找出来。保留用户指定的文件，将多余的文件全部删除掉。 #!/usr/bin/env python3 import sys imp ......
Linux基线安全检查脚本（很全）
Linux安全基线加固 点击关注👉👉 Linux技术宅 2023-11-04 07:30 发表于广东 收录于合集#Linux59个 点击上方：Linux技术宅，关注我！！！ Every Day 山行 [作者] 杜牧 [朝代] 唐 远上寒山石径斜，白云生处有人家。 停车坐爱枫林晚，霜叶红于二月花。 ......
Hadoop 配置的优先级
从低到高 1.默认配置 默认文件 文件存放在Hadoop的jar包中的位置 core-default.xml hadoop-common-3.3.6.jar/core-default.xml hdfs-default.xml hadoop-hdfs-3.3.6.jar/hdfs-default.xm ......
jmeter常用配置、脚本
一、CSV 数据文件读取、和写入CSV 读取MYSQL数据库的配置可参考：https://www.cnblogs.com/snailon/articles/17102671.html 1.读取CSV文件（读取文件可以放bin目录下，就可以不用写绝对路径，写文件名称即可） 2.提取的值（encryTo ......
Java实现对Hadoop HDFS的API操作
1.配置Hadoop的Windows客户端 Hadoop 配置Windows 客户端 2.新建Maven项目[略] 3.添加依赖 <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client --> <dependen ......
Hadoop 配置Windows 客户端
1.根据Hadoop版本下载Windows依赖，并放置到非中文目录下 https://github.com/cdarlint/winutils 2.配置环境变量 HADOOP_HOME -> 放置的目录地址 PATH -> 追加%HADOOP_HOME%\bin 3.测试环境 双击winutils. ......
centos 运维 jar 包脚本
新建sh 文件 #!/bin/bash # Define variables JAR_FILE="your-application.jar" JAVA_OPTS="-Xmx512m -Xms256m" PID_FILE="pid.txt" # Function to check if the app ......
Hadoop HDFS 文件块大小
HDFS中的文件在物理上是分块存储(Block),块的大小可以通过配置参数(dfs.blocksize)来配置，默认大小在Hadoop2.x/3.x版本中是128M，1.x版本中是64M. 建议配置为物理机硬盘每秒的读取速度,如机械硬盘则建议为128M，SSD则配置为256M。 ......
基于Docker容器搭建hadoop完全分布式集群环境
简介 物理机：windows10 宿主机：Centos7虚拟机，需要安装Docker服务 hadoop集群节点：3个centos7的容器，hadoop1、hadoop2、hadoop3 组件： 容器镜像：Centos7 Docker CE 24.0.7 JDK1.8.0_181 Hadoop3.1. ......
Hadoop 常用端口号
端口名称 Hadoop2.x Hadoop3.x HDFS NameNode内部通信端口 8020 / 9000 8020 / 9000 / 9820 HDFS NameNode HTTP UI 50070 9870 YARN MapReduce查看执行任务端口 8088 8088 历史服务器通信端 ......
Windows系统批处理脚本，bat文件，命令打开指定应用（一键开启工作环境）
示例代码 ::设置UTF-8编码 chcp 65001 ::打开应用 start "" "应用exe文件完整路径" ::打开文件 start "" "文件所在完整路径" ::执行其它脚本 start other.bat ::打开浏览器指定网页 start "" "网址" ......
【转】PLSQL执行SQL脚本文件「适用批量」
PLSQL：File > New > Command Windows 创建一个窗口后，输入 @ 符号，然后敲回车。 然后会弹出一个文件选择窗口，选择需要执行的 SQL 文件即可运行。 扩展批量文件执行 假设在这我们需要执行的 SQL 文件有「参考上图」：CLIENTDB.sql、CLIENTDB2. ......
虚拟机运行Hadoop | 各种问题解决的心路历程
ps：完成大数据技术实验报告的过程，出项各种稀奇古怪的问题。(知道这叫什么吗？经济基础决定上层建筑，我当时配置可能留下了一堆隐患，总之如果有同样的问题，希望可以帮到你) 一、虚拟机网络连接不通的各种情况 我这里遇到的是，三台虚拟机，两台piing百度不同 原因：改了下内存，重启就又未知的网络名称 解 ......
Linux编写Shell脚本获取指定目录下所有文件并处理
Linux编写Shell脚本获取指定目录下所有文件进行处理并保存到新目录 #!/bin/bash app_name="shell" path="/dir" #原目录 last_path="/newDir" #新目录 echo " start ${app_name} " if [ -n "$(ls $ ......
Window上归档日志删除脚本
Window上归档日志删除脚本del_arch.bat ##计划任务中配置自动任务 del_arch.bat set ORACLE_SID=orcl rman target / cmdfile='D:\autojob\del_arch_src.sql' msglog='D:\autojob\del_ ......
Python脚本导入Excel文件可视化导出统计工时情况
在当今快节奏的工作环境中，对员工工时的有效管理和分析变得至关重要。 我开发了一个Python脚本，专门用于从Excel文件中导入工时数据，并将这些数据以直观的图表形式进行可视化展示。这一工具的目的是为了帮助企业和组织更好地理解和优化员工的工时分配，进而提升整体的工作效率和决策质量。 该Excel包含 ......
我有一个长时间运行的 RMAN 作业，我需要一个脚本来监视 RMAN 执行的进度。如何监控 RMAN 进度？
Oracle 有多个视图可以监视长时间运行的作业，包括v$session_longops和v$process 和v$session。另请参阅RMAN 自动备份的 Windows DOS 脚本中的 RMAN 备份脚本 以及RMAN shell 脚本示例。 sselect sid, start_time ......
麒麟桌面版实现开机后自动执行python脚本
学习地址：https://blog.csdn.net/weixin_41010198/article/details/113646331 需求 自动化用例：需要开机后检查桌面显示是否异常，并且需要执行10次 解决思路 如果涉及开关机，就无法完全在测试机器执行，需要通过C/S架构实现。 服务端启动一个 ......
powerDesigner导出Excel脚本
导出excel的脚本 如何将里面的表结构导出来到本地excel呢？ 步骤：（1）打开powerDesigner，同时按住ctrl+shift+X，脚本框就会弹出来 同时按住ctrl+shift+X，脚本框就会弹出 （2）在脚本框中输入下面的代码（无需修改，直接复制粘贴就可），按下“Run” 分目录递 ......
67.redis批量写入ip地址脚本
#要使用Python脚本连接到Redis主机、选择数据库、并执行设置操作，你可以使用redis库。请确保在运行脚本之前安装了该库（可以通过运行pip install redis安装）。 import redis import re # Redis连接信息 redis_host = 'hostname ......
pg数据库 定时备份脚本
!/bin/bash 使用环境变量设置pg密码 export PGUSER=xxxx export PGPASSWORD=xxxx pghost="xxxxx" logfile="/db/log/dump/pg_dump_backup_$(date '+%d').log" touch $logfil ......
ubuntu服务器初始化脚本
!/bin/bash 挂载磁盘路径，脚本运行之前先sudo fdisk -l查看要挂载的盘 vmpath='/dev/sdb' 卷组名 vgname='vg01' echo ' 开始修改源 ' 备份源列表 sudo cp -a /etc/apt/sources.list /etc/apt/sourc ......
最新版本——Hadoop3.3.6单机版完全部署指南
大家好，我是独孤风，大数据流动的作者。 本文基于最新的 Hadoop 3.3.6 的版本编写，带大家通过单机版充分了解 Apache Hadoop 的使用。本文更强调实践，实践是大数据学习的重要环节，也能在实践中对该技术有更深的理解，所以一些理论知识建议大家多阅读相关的书籍（都在资料包中）。 本文档 ......
hive执行sql报错 FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
前言： 执行hive sql报错，sql逻辑是两个表左连接并将数据插入新的表中。 报错信息： [ERROR] 2023-12-05 15:49:49.165 +0800 - execute sql error: Error while processing statement: FAILED: Ex ......
ubuntu中vim乱码以及执行shell脚本时出现乱码
vim打开文件中文出现乱码情况，可以参考如下办法： 在vim /usr/share/vim/vimrc文件末尾中加入 （这个vimrc文件是Vim 的系统级配置文件、文档、插件、语法高亮定义、颜色方案等） set encoding=utf-8 set fileencodings=utf-8,gbk ......
hadoop大数据安装
一、hadoop的安装1、hadoop的安装wget https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz2、解压tar -zxvf hadoop-3.1.3.tar.gz -C /opt/mod ......
hadoop优化之yarn调优
yarn.nodemanager.resource.memory-mb表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。 yarn.nodemanager.vmem-pmem-rat ......
4、爬虫脚本采集中科商务网区域工商信息
1、需求：采集中科商务网区域工商信息2、需求数据字段： '名称': [title],'摘要': [content],'联系人': [lx_b],'联系电话': [tel],'电子邮件': [email],'公司地址': [address],'法定代表人': [fr],'经营状态': [state], ......
perl：mysql binlog iud （insert、update、delete）分析 小脚本：实用程序
1 #!/usr/bin/perl 2 # utf-8 3 4 use strict; 5 use POSIX; 6 use Time::HiRes qw/sleep time/; 7 8 $| = 1; 9 10 my $line='# '; 11 my $debug= 0 ; 12 13 ## ......
shell脚本-两个list查找匹配项
#!/bin/bash search_list='xx/search_list.txt' list='xx/revise_list.txt' result='xx/result.txt' # 逐行读取list文件 while IFS= read -r line; do # 在search_list文 ......