脚本hadoop
魔改的vcpkg编译脚本
`bash !/bin/sh Find .vcpkg-root. vcpkgRootDir=$(X= cd -- "$(dirname -- "$0")" && pwd -P) while [ "$vcpkgRootDir" != "/" ] && ! [ -e "$vcpkgRootDir/.vc ......
Hadoop问题解决记（2）
1. 发现问题 在对HBase集群进行压力测试过程中发现，当实际写入HBase和从HBase查询的量是平时的若干倍时（集群规模10~20台，每秒读写数据量在几十万条记录的量级），导致集群的读写出现一定程度的波动。具体如下： 1）写端抛出以下异常信息： org.apache.hadoop.hbase. ......
Hadoop问题解决记（1）
最近在测试HBase时遇到一个非常奇怪的问题：集群有7台机器，其中1台Master，6台RegionServer。但是Master只能控制其中1台RegionServer，而无法控制其他5台RegionServer。 打开master的日志文件，发现以下错误信息： 2011-04-22 16:37: ......
LINUX：FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
如图，问题表现为linux中可直接通过hive进行数据插入 但在通过datagrip却更改不了 此时，可能时yarn的运行分配的内存较少，或堆内存溢出。在yarn-site.xml中更改，以及mapred-site.xml中更改，完成。 yarn的 <property> <name>yarn.sch ......
Linux脚本扩展
《Linux脚本基础扩充》 在之前的!《Linuxshell脚本基础知识》中，介绍了编写脚本的基础语法知识；现根据B站教程，对脚本编写实践部分进行总结； 1. 编写脚本，遍历目录下的所有txt文件，且将文件做备份，备份的格式为源文件名后缀增加日期；如：a.txt备份为a.txt_20230122 # ......
Windows 每天定时执行 bat 脚本
创建包含如下内容的 bat 文件： forfiles /p "." /s /m *.temp* /d -31 /c "cmd /c del @file" 它会删除当前路径下的所有以.temp结尾的超过 31 天的旧文件（详见 bat 删除当前路径指定天数前的旧文件）。 现在想每天中午 12 点定时执 ......
编程和脚本编写
编程指南 断言 assert 在开发期间帮助检测和诊断不正常或无效的运行时条件。且不会存在于发布代码中。其默认值必须一律为true。 assert主要有三个不同族系：check、verify和ensure，底层代码在Engine/Source/Runtime/Core/Public/Misc/Ass ......
hadoop部署
mapred-site.xml <configuration><property> <name>mapreduce.framework.name</name> <value>yarn</value></property><property> <name>mapreduce.jobhistory.ad ......
hadoop HA高可用集群搭建
首先是四项配置 core-site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Licensed under the Apach ......
【脚本】统计视频的帧数、fps、时长、以固定fps进行采样后的时长
输入：存放有很多视频文件的文件夹路径 输出：包含采样前后视频信息的csv文件 import os import cv2 import pandas as pd import numpy as np from PIL import Image def get_videos(vidname, read_ ......
go go代码中调用python脚本
目录go go代码中调用python脚本写个简单的py脚本再写个go的脚本 go go代码中调用python脚本 有的官方文档只提供了java和python的sdk，而我们需要用他们封装的服务，只能调用python或java的接口，接下来演示怎么调用python 写个简单的py脚本 import s ......
搭建Hadoop环境
搭建Hadoop环境 一、虚拟机的安装 二、 安装JDK 1.下载jdk wget https://download.java.net/openjdk/jdk8u41/ri/openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz 使用上述命令安装 2.执行以下命令 ......
赛事星平台的作答脚本Python实现(适用于刷时间)
灵感来源:白嫖 某文理的一次答题竞赛,前一百名有奖品正好缺个蓝牙耳机索性就刷个时间白嫖一波吧.咳咳,正式开始分享咯. 准备工作: 谷歌浏览器以及自带开发者工具 页面分析: 由于此次白嫖活动已经结束,就采用其他竞赛URL进行分析,原理相同. URL: https://saishi.cnki.net/M ......
Python脚本连接Oracle数据库并验证成功
# yaml文件存储数据->root\Data\oracle_admin_f_shozaiko.yaml # Test Data for Oracle DB: ADMIN->F_SHOZAIKO- name: connect to Oracle request: uname: admin upwd: ......
add-migration : 无法将“add-migration”项识别为 cmdlet、函数、脚本文件或可运行程序的名称
遇到的问题： vs2019+EF的项目中，数据库迁移本来用的好好的，突然出现add-migration提示：“无法将“add-migration”项识别为 cmdlet、函数、脚本文件或可运行程序的名称”，实在莫名奇妙，因为前一天还用得好好的，第二天突然出现这个问题，网上查了很多资料，步骤很复杂，总 ......
shell脚本批量自动分发文件
1、安装expect yum -y install expect 2、创建iplist.txt文件（要分发的IP地址） vim iplist.txt 192.168.100.22 192.168.100.23 3、创建pwd.txt（里面包含密码） vim pwd.txt 123456 123123 ......
磁盘坏道检测脚本
磁盘坏道检测脚本 说明： hp服务器有一定概率执行命令会卡主， #!/bin/bash # utf-8 # 说明: 其他型号服务器获取raid信息通过MegaCli # 说明: HP服务器获取raid信息通过hpacucli # 安装包信息定义 HP_SSACLI_COMMAND_RPM_NAME= ......
PhpStorm 2021.3.3最新激活破解教程_PhpStorm破解教程（一键脚本激活5000年！）
之前给大家分享的激活方案步骤过于繁琐，导致很多小伙伴不能一步到位的激活软件。现在最新的方案已经不需要这么繁琐了，分享给大家！ 本教程支持 JetBrains 全家桶产品，支持 Windows、macOS 和 Linux 系统。 激活教程 1、为了确保一次性激活成功，我建议大家将电脑上原有的 PhpS ......
Trubo Intruder 按条件重试脚本
由于 burpsuite 自带的 intruder 没有按照特定的条件进行重放请求的设置。所以使用 Trubo Intruder 来定制爆破脚本。 import string #26个小写字母 payloads = list(string.ascii_lowercase) #26个大写字母 #pay ......
Hadoop介绍
一，Hadoop介绍 狭义上Hadoop指的是Apache软件基金会的一款开源软件，用java语言实现。允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理 Hadoop核心组件 Hadoop HDFS(分布式文件存储系统):解决海量数据存储 Hadoop YARN(集群资源管理和任 ......
Hadoop集群搭建(完全分布式)
一，Hadoop集群简介 1.1 Hadoop集群整体概述 Hadoop集群包括两个集群:HDFS集群、YARN集群 两个集群逻辑上分离、通常物理上在一起 两个集群都是标准的主从架构集群 Hadoop两种集群内容： 逻辑上分离，物理上合并的理解： 逻辑上分离：两个集群互相之间没有依赖、互不影响 物理 ......
shell脚本中的EOF是什么
概述 在Shell脚本中，EOF（End of File）是一个特殊标记，用于指示一段文本的开始和结束位置。但它并不是Shell脚本中的关键字或保留字。您可以自由选择EOF之前的标记，只需确保开始和结束标记匹配即可。基本上<<EOF告诉 shell 您将输入多行字符串，直到“标记” EOF。您可以根 ......
Applescript脚本实现全自动无痕检测手机号码是否注册iMessage的原理
一、检测数据的两种方式:1.人工筛选，将要验证的号码输出到文件中，以逗号分隔。再将文件中的号码粘贴到iMessage客户端的地址栏，iMessage客户端会自动逐个检验该号码是否为iMessage账号，检验速度视网速而定。红色表示不是iMessage账号，蓝色表示iMessage账号。2.编写脚本控 ......
bash的start脚本
#!/bin/bash #这里可替换为你自己的执行程序，其他代码无需更改 APP_NAME=gateway-1.0-SNAPSHOT.jar INSTALL_PATH=/home/server/immp/gateway #使用说明，用来提示输入参数 usage() { echo "Usage: sh ......
linux巡检脚本常用
Linux系统服务巡检脚本 原创 李逸皓 运维book思议 2023-09-24 18:01 发表于河北 收录于合集 #linux系统63个 #运维103个 #shell66个 先放个链接，万一有人关注呢 运维book思议 李小白，一个北漂的运维。希望能够通过本公众号与业内各位大神交流技术问题。 1 ......
JMeter 基于脚本实现代码共享
需求描述 需求是这样的：执行某次压测任务时，压测涉及的前端接口，要求携带一个userName请求头，该请求头值为实际用户名经过DES加密后，再采用Base64加密后的值，为此，编写了一段加密代码，发送请求前，对用户名进行加密，并将加密结果存储为变量。最后将代码添加到 JSR233采样器中，如下 DE ......
hadoop和hive的兼容问题
本人之前搭建的集群是hadoop3.3.5+hive3.1.3版本，后来发现这两个版本不兼容，虽然官方文档里面说hive3.1.3版本兼容hadoop3.x.y版本，但是当我在使用hive 执行插入语句时发现一直报同一个错误 java.lang.ClassCastException: org.apa ......
shell-进程管理脚本
功能函数列表： 1、function get_all_group 返回进程组列表字符串 2、function get_all_process 返回进程名称列表字符串 3、function get_process_info 返回进程详细信息列表字符串，详细信息包括：运行状态、 PID、CPU、MEM、 ......
windows+iis脚本映射方式实现伪静态(包括asp.net)
一 . Windows2008、2012或更高系统 只需要在设置脚本影射的目录下创建web.config文件，其内容为 <?xml version="1.0" encoding="UTF-8"?> <configuration> <system.webServer> <handlers> <add ......
关于Hadoop和hive启动关闭的一些命令
Hadoop启动/关闭：start-all.sh / stop-all.sh HDFS：start-dfs.sh / stop-dfs.sh YARN：start-yarn.sh / stop-yarn.shhive 启动metastore服务： 前台启动 /export/server/apache ......