脚本hadoop
大数据hadoop理论面试题
1、列举几个hadoop生态圈的组件并做简要描述？ （1）Zookeeper:是一个开源的分布式应用程序协调服务,基于zookeeper可以实现同步服务，配置维护，命名服务。 （2）Flume:一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 （3）Hbase:是一个分布式的、面向列 ......
你知道跨站脚本攻击吗?一篇带你了解什么叫做XSS 转载
XSS简介 （1）XSS简介 XSS作为OWASP TOP 10之一。 XSS中文叫做跨站脚本攻击（Cross-site scripting），本名应该缩写为CSS，但是由于CSS（Cascading Style Sheets，层叠样式脚本）重名，所以更名为XSS。XSS（跨站脚本攻击）主要基于ja ......
批量修改maven版本号脚本
#! /bin/bash ls | grep -v sh | while read line do cd $line echo $line echo "开始" git checkout dev-20241001-01 find -name pom.xml|xargs -i sed -i 's/1.0 ......
报错：org.apache.hadoop.hbase.util.GetJavaProperty
hbase和flume查看版本时显示如下 [root@slave1 flume-1.9.0]# hbase version 错误: 找不到或无法加载主类 org.apache.hadoop.hbase.util.GetJavaProperty SLF4J: Class path contains m ......
写一个MATLAB脚本删除一个.m文件的所有注释和空行，输出到一个新.m文件，文件名加上_modified后缀
请注意，这个脚本仅处理了最简单的情况，真正的Matlab代码可能包含更复杂的结构，如多行字符串、嵌套的字符串、转义字符等，处理这些情况可能需要更复杂的逻辑。 % Specify the input .m file name inputFileName = 'originalScript.m'; ou ......
PowerDesigner SqlServer 表列描述脚本无法执行问题
1.原脚本，sp_addextendedproperty的0级别类型写的是user，这个类型在高版本中已经删除，无法使用，应该切换成SCHEMA [if exists(select 1 from sys.extended_properties p where p.major_id = object_ ......
备用小工具脚本
-不定期更新，问就是没啥用 1.base64自定义编码表解码 import base64 yourTable=""yourstr="" d=base64.b64decode(yourstr.translate(str.maketrans(yourTable,"ABCDEFGHIJKLMNOPQRST ......
DataX配置文件生成脚本
创建文件 cd /opt/software mkdir gen_import_config.py vim gen_import_config.py gen_import_config.py # coding=utf-8 import json import getopt import os impo ......
自动化查找并记录含图片文件夹的Python脚本
功能介绍 此Python脚本用于遍历指定的父目录，自动识别并记录所有包含图片文件（如PNG、JPG、GIF等格式）的子文件夹。脚本运行后，将在父目录下生成一个名为“文件夹名统计”的Excel表格，其中列出了所有含有图片的文件夹名称。这对于整理大量分散在不同子文件夹中的图片文件特别有用，尤其是在图像管 ......
shell脚本检测ssl证书有效时间
[ytx@work shell]$ cat ssl_check.sh #!/bin/bash # 设置要检查的域名和端口 DOMAIN="www.xxx.com" #域名 PORT=443 #端口 # 获取SSL证书信息 CERT_INFO=$(openssl s_client -connect $ ......
hadoop集群常见错误
虚拟及没有启动任何服务器查看jps会显示jps，如果没有显示任何东西 [root@slave2 ~]# jps 9647 Jps 解决方案 # 进入/tmp查看 [root@slave1 dfs]# cd /tmp [root@slave1 tmp]# ll 总用量 48 drwxr-xr-x. 2 ......
Linux开机启动自定义脚本
方式一：chkconfig命令 首先编写好自启的脚本 /etc/init.d/test.sh #!/bin/sh # chkconfig: 2345 10 90 # 创建个文件 touch /opt/script/1.txt 再给脚本添加上可执行权限： chmod +x test.sh 将脚本添加到 ......
nginx日志切割脚本
#!/bin/bash # utf-8 # description: nginx滚动切割脚本,按照500M进行滚动切割 # log_directory="/export/servers/nginx/logs" # 日志文件目录 max_size=500 # 日志文件的最大大小，单位为MB log_a ......
hadoop启动时报错process information unavailable
启动hadoop，jps查看报错 [root@slave1 home]# jps 7798 -- process information unavailable 7081 -- process information unavailable 查看进程是否存在 [root@slave1 home]# ......
标题：Python脚本：将Excel文件拆分成多个工作表
简介： 本博客介绍了一个实用的Python脚本，旨在帮助用户处理和重塑Excel数据。这个脚本允许用户将一个包含多列数据的Excel文件拆分成多个新的Excel文件，每个文件包含10列数据。特别适用于需要将大型数据集分解为更小、更易管理的部分的场合。 功能特点： 用户友好的交互：脚本通过命令行界面运 ......
Hadoop的“前世今生”
Hello，小伙伴们，作为大数据的第一篇博文，肯定要先介绍一下大数据中的“大哥大”Hadoop了，别急，咱们慢慢介绍。 一：Hadoop名称由来 与很多其他的开源框架不同，Hadoop的名字并不是一个缩写，而是一个生造出来的词。据说是Hadoop之父Doug Cutting用儿子毛绒玩具大象的名字命 ......
[自动化]bash linux脚本编程
今天新开一个知识点。linux脚本编程。先开着。 知识点1： bc计算数学运算 更多知识点可以参考https://www.cnblogs.com/emanlee/p/4351889.html 故意用了不同的算法： #!bin/bash read a read b echo $[a+b] echo ` ......
Hadoop Yarn Tool接口接入
项目搭建参考 Java实现对Hadoop HDFS的API操作 1.驱动类 package cn.coreqi.mapreduce.tool; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.util.Too ......
Hadoop Yarn 调度器多队列
1.容量调度器多队列 1.为何需要多队列 调度器默认就1个default队列，不能满足生产的要求。 1个队列在任务极限的情况下，容易资源耗尽。 特殊时期通过对任务的区分可以保证重要的任务队列资源充足 按照框架区分队列，如hive/spark/flink 每个框架的任务放入指定的队列(企业用的不是特别 ......
Hadoop YARN生产环境核心配置参数
1.ResourceManager相关 配置参数 说明 默认值 备注 yarn.resourcemanager.scheduler.class 配置调度器,默认为容量调度器(Apache) org.apache.hadoop.yarn.server.resourcemanager.scheduler ......
使用JS脚本修改页面内容
在学习RPA时，我对使用JS脚本修改页面内容进行了深入学习。 记录如下： 获取元素的方法： 1.document.getElementById("xxx") 2.document.getElementsByClassName("xxx") 3.document.getElementsByTagNam ......
Hadoop YARN
1.Yarn资源调度器 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 1.Yarn基础架构 Yarn主要由ResourceManager、NodeManager、Applicatio ......
Hadoop 数据压缩
1.概述 1.好处 & 坏处 优点：减少磁盘IO、减少磁盘存储空间 缺点：增加CPU开销 2.压缩的原则 运算密集型的Job，少用压缩 IO密集型的Job，多用压缩 2.MR 支持的压缩编码 1.压缩算法对比介绍 压缩格式 Hadoop自带? 算法 文件扩展名 是否可切片 换成压缩格式后,原来的程序 ......
Hadoop快速入门
Hadoop快速入门 一、大数据思维 分而治之 所谓“分而治之”，就是把一个复杂的算法问题按一定的“分解”方法分为等价的规模较小的若干部分，然后逐个分别找出各部分的解，再把各部分的解组成整个问题的解。 传统的计算都是基于内存去完成的，但是内存是有限的，数据量太大，导致无法在较短时间内迅速解决，也就是 ......
金蝶云星空协同开发环境应用内执行单据类型脚本
一、业务界面 二、查询 单据类型表数据 先使用类型中文在单据类型多语言表T_BAS_BILLTYPE_L找到主键后再查询单据类型主表T_BAS_BILLTYPE SELECT * FROM T_BAS_BILLTYPE_L WHERE FNAME='现场' SELECT * FROM T_BAS_B ......
HHDESK个性化脚本功能
HHDESK可以把脚本配置在对话框中，生成按钮，便捷操作。 在界面下方的脚本框中，点击“+”，选择新建； 随后在弹出框内填写名称及脚本，按需求选择填写参数，及运行过程中是否弹出参数框； 点击“新建”。 出现脚本按钮，点击即可实现脚本要求。 ......
python 脚本的启动模式（python -m以模块方式启动）
今天再看python的项目时，发现GitHub中给出的python脚本的执行格式是python -m pip install somepackage。于是开始了python模式启动之旅。 其中很多相关借鉴了该博客，同时感谢博主：http://www.cnblogs.com/xueweihan/p/5 ......