脚本hadoop
yum本地仓库脚本编写
Linux内网Yum仓库自动化部署脚本 原创 李逸皓 运维book思议 2023-05-29 18:57 发表于河北 收录于合集 #Linux26个 #脚本71个 #运维38个 #服务器30个 #shell54个 先放个链接，万一有人关注呢 运维book思议 李小白，一个北漂的运维。希望能够通过本公 ......
bat脚本在C:\Program Files (x86)使用普通权限运行与使用管理员权限运行获取当前路径的差异
bat脚本在C:\Program Files (x86)使用管理员权限运行获取当前路径不对。 bat脚本如下： @echo off set "current_dir=%cd%" echo Current directory: %current_dir% set "filepath=%current_ ......
VS2022跨项目文件输出到指定文件夹脚本
脚本 ： copy $(TargetPath) $(SolutionDir)”路径地址“$(TargetFileName) /y 举个栗子： ”路径地址“ = TestClient\bin\Debug\net5.0-windows\Modules\ => copy $(TargetPath) $(S ......
linux C中调用shell命令和运行shell脚本
1、system（执行shell 命令） 相关函数 fork，execve，waitpid，popen表头文件 #include<stdlib.h>定义函数 int system(const char * string);函数说明 system()会调用fork()产生子进程，由子进程来调用/bin ......
关于Hadoop集群无法正常关闭的问题
### 原生命令 正常情况我们是通过以下命令来停止和开启集群的 ```sh sbin/stop-all.sh sbin/start-all.sh ``` 但有时候不生效，通过ps还能查看到，但jps命令查看不到 ### 自定义停止命令 ```sh #!/bin/bash # 停止hadoop进程 h ......
kali-linux运行python脚本时出现”word unexpected (expecting ")")“错误的解决
# 前言 在刚刚开始学习网络安全时候，装好了kali准备测试一下。 运行了py结尾的脚本出现了以下错误：  #解决方 ......
Hadoop之YARN详解
### YARN的由来 从Hadoop2开始，官方把资源管理单独剥离出来，主要是为了考虑后期作为一个公共的资源管理平台，任何满足规则的计算引擎都可以在它上面执行。所以YARN可以实现HADOOP集群的资源共享，不仅仅可以跑MapRedcue，还可以跑Spark、Flink。 ### YARN架构分析 ......
ld链接脚本(Linker Scripts)
参考博客： 比较全的解释内容。 链接脚本(Linker Scripts)语法和规则解析(自官方手册） https://www.cnblogs.com/jianhua1992/p/16852784.html ld文件（链接器脚本）是一个文本文件，用于描述可执行文件或者目标文件的内存布局和分配。在编译和 ......
Python 执行Javascript脚本
### 一、安装第三方库 `pip install PyExecJS` ### 二、创建一个js文件 ``` //test.js function add(a,b){ return a+b } ``` ### 三、创建一个python文件 ``` #testJs.py import execjs c ......
Hadoop - hadoop介绍
Hadoop是什么 Hadoop的发展历史 Hadoop的优势 Hadoop是什么 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要解决海量数据的存储和海量数据的分析计算问题。广义上讲，Hadoop通常是指一个更广泛的概念 —— Hadoop生态圈。 Hadoop的发展历史 L ......
批量解除es索引只读状态脚本
背景：elasticsearch磁盘超过80%后，会出现连接都正常，写接口也不报错，只是数据没有写入，当然也就无法查询到。 经过查找原因，原来磁盘超过80%后，es默认会变成只读模式，扩容后，也不会自动还原。 判断是否索引只读命令 curl -u admin:xxxxxxxxx -k https:/ ......
Oracle 性能慢排查脚本
查看总消耗时间最多的前100条SQL语句 select * from ( select v.sql_id,v.child_number, v.sql_text,last_load_time,v.PARSING_USER_ID, ROUND(v.ELAPSED_TIME / 1000000 / (CA ......
zabbix监控脚本02-进程使用的cpu率计算
1 基础说明(1)配合的监控工具 zabbix，被监控端操作系统版本信息操作系统：CentOS Linux release 7.4.1708 (Core)内核版本：3.10.0-693.el7.x86_64 (2)说明：此处的脚本直接使用的是linux下进程文件的数据做计算 (3)文件内容说明：/p ......
hadoop3.x-ec
一、EC原理 二、常用命令与对应解释 1.查看当前支持的EC策略 hdfs ec -listPolicies 2023-05-30 10:10:43,251 WARN util.NativeCodeLoader: Unable to load native-hadoop library for yo ......
无限制下载器脚本
# 无限制下载器下载视频,利用bat脚本使用FFmpeg合并音视频文件 ## 油猴脚本 ```js // ==UserScript== // @name Unlimited_downloader // @name:zh-CN 无限制下载器 // @namespace ooooooooo.io // ......
zabbix监控脚本01-磁盘监控一
1 基础说明 (1)配合的监控工具 zabbix (2)说明：此处的脚本直接使用的是linux下进程文件的数据做计算 (3)文件内容说明：/proc/pid/iorchar: 读出的总字节数，read或者pread()中的长度参数总和*pagecache中统计而来，不代表实际磁盘的读入)，累加计数w ......
《软件测试52讲》读书笔记（十三） —— 数据脚本解耦+页面对象模型
数据脚本与数据解耦 “测试脚本和数据解耦”的本质是实现了数据驱动的测试，让操作相同但是数据不同的测试可以通过同一套自动化测试脚本来实现，只是在每次测试执行时提供不同的测试输入数据 数据驱动很好地解决了大量重复脚本的问题，实现了“测试脚本和数据的解耦”。 数据驱动测试的数据文件中不仅可以包含测试输入数 ......
Linux(Ubuntu)下设置开机自启shell脚本执行Java程序jar包
Linux(Ubuntu)下设置开机自启shell脚本执行Java程序jar包 原创 软件测试日常记录2023-01-19 07:19:29博主文章分类：ubuntu©著作权 文章标签ubuntujarlinuxJAVAjava文章分类运维阅读数122 经常需要在Linux服务器上设置开机启动jar ......
通用巡检脚本
#CPU、内存、硬盘部分，部分awk取值需要根据实际情况修改#进程需要选择要关注的进程#数据库部分，如无巡检备机状态需要，可修改为 mysql -u -p -h [备机ip] 来远程检查#会在指定位置生成一个当日的.log文件，内部有命令执行的结果部分 1 #!/bin/bash 2 3 . /et ......
Hadoop之MapReduce性能优化
现在大家已经掌握了MapReduce程序的开发步骤，注意了，针对MapReduce的案例我们并没有讲太多，主要是因为在实际工作中真正需要我们去写MapReduce代码的场景已经是凤毛麟角了，因为后面我们会学习一个大数据框架Hive，Hive支持SQL，这个Hive底层会把SQL转化为MapReduc ......
Unity脚本常用类和组件介绍
# Vector 结构体 ## Vector3 ```csharp using System.Collections; using System.Collections.Generic; using UnityEngine; public class Vector : MonoBehaviour { ......
Hadoop之MapReduce详解
### 前言 前面我们学习了Hadoop中的HDFS，HDFS主要是负责存储海量数据的，如果只是把数据存储起来，除了浪费磁盘空间，是没有任何意义的，我们把数据存储起来之后是希望能从这些海量数据中分析出来一些有价值的内容，这个时候就需要有一个比较厉害的计算框架，来快速计算这一批海量数据，所以MapRe ......
Shell脚本实战（一）
1、前言 Shell脚本的语法规则不复杂，在Linux系统很重要，一些操作可以整合成一个shell脚本，节省时间，本文不去讲述shell的语法规则，相关的资料网上很多，只需要多使用即可，此处记录在实际工作中用到shell脚本，积累一些常用的用法，后续也可以参考。 2、功能点 因为项目原因，c++代码 ......
EBS: FORM窗体开发使用VIEW模式开发，plsql DEVELOPER 自动生成PLSQL脚本
FORM窗体开发使用VIEW模式开发，plsql DEVELOPER 自动生成PLSQL脚本, CREATE OR REPLACE PACKAGE APPS.HAND_PLSQL_AUTOCREATE AUTHID CURRENT_USER AS /* $Header: HDPLSATC.pls 1 ......
hadoop安装使用
# hadoop相关介绍 ## 1.什么是hadoop？ Hadoop是一个开源的分布式计算框架，它可以让我们在大规模集群中存储和处理海量数据。Hadoop基于Google的MapReduce和Google文件系统（GFS）的思想而设计。它的目标是能够在成百上千台普通计算机上并行处理大数据，提供高可 ......
hadoop序列化相关问题
**什么时候需要使用序列化？** *需要在不同服务器传递内存数据时，用序列化。* **序列化后的所有属性需要再反序列化，那么有先后顺序反序列化吗？** *有的，比如序列化的属性有a b c* *则反序列化的属性必须是 ca b c* **数据切片一般为数据块的倍数，为什么？** *一般一个数据切片对 ......
UE蓝图脚本类结构
UObjectBase UObjectBaseUtility UObject USubsystem UDynamicSubsystem UEditorSubsystem UEditorActorSubsystem -- SpawnActorFromObject UObjectBase UObject ......
U3DFrameWorkDemo：三、脚本模块
# 代码参考 代码文件参考下述详解的类图，工程参考第零章工程说明 # 概述 在现代项目的开发中，通常会使用一些脚本语言来提升开发效率。现在使用最普遍的脚本语言是Lua，它可以大大方便我们开发业务模块，且可以在运行期快速编译，以及方便热更。在U3D中，lua作为脚本使用比较广泛，这里使用tolua方案 ......
Hadoop全分布部署
安装包下载（百度网盘）链接: https://pan.baidu.com/s/1XrnbpNNqcG20QG_hL4RJoQ?pwd=aec9 提取码: aec9 ## 基础配置（所有节点） ### 关闭防火墙，selinux安全子系统 ````bash #关闭防火墙，设置开机自动关闭 [root@ ......