脚本hadoop

18 个一线工作的常用 Shell 脚本,建议收藏!

来源:进击云原生 ### 1、检测两台服务器指定目录下的文件一致性 ``` #!/bin/bash ###################################### 检测两台服务器指定目录下的文件一致性 ##################################### #通过对 ......
脚本 一线 常用 建议 Shell

mysql-对应删除 dict 脚本

-- 1. 此 dict 是在不同租户下的数据字典,查询时需要根据 departid 进行分类查询 -- 2. 删除dict, dict分类主表类型与挂载的子表数据 -- 3. 通过查询到的主表的 group_code(分类code), 查询主表的 id -- 4. 通过主表的 id,查询到子表关联 ......
脚本 mysql dict

Ubuntu制作图标利用脚本实现双击图标快速启动

### 新建桌面图标 1. 在主目录/桌面文件夹内利用touch命令新建后缀为`.desktop`的文件 2. 利用文本编辑器编辑该文件,输入以下代码并保存: ``` [Desktop Entry] Name=sdWebUI Comment=sdWebUI Exec=/home/linhai/sta ......
图标 脚本 Ubuntu

Ansible 的脚本 --- playbook 剧本

Ansible 的脚本 是laybook 剧本,类似于shell脚本,可以实现自动化的部署。 目录 一、playbook的相关知识 二、playbooks 各部分组成 三、基础的playbook剧本编写实例 四、playbook的定义、引用变量 五、playbook中的when条件判断和变量循环使用 ......
脚本 剧本 playbook Ansible

linux设置定时任务执行脚本

1、执行 crontab -e 命令,添加定时任务 命令参考:https://www.runoob.com/w3cnote/linux-crontab-tasks.htm 2、任务添加完成后,执行命令 crontab -l 查看已添加的命令 3、crontab执行时间计算 - 在线工具 完成上述步骤 ......
脚本 任务 linux

ESP32 idf常用脚本命令及git命令

####一、Linux环境 1.下载并安装相关的工具 `./install.sh ` 2.添加ESP-IDF工具到PATH中 `. ./export.sh ` 3.打开配置界面 `idf.py menuconfig` 4.设置编译的芯片型号 `idf.py set-target esp32c3` 5 ......
命令 脚本 常用 ESP idf

HDFS的shell命令(Hadoop fs [参数])

hadoop fs -ls file:/// 操作linux本地文件系统 hadoop fs -ls hdfs://node1:8020/ 操作HDFS分布式文件系统 hadoop fs -ls / 直接根目录,没有指定协议 将加载读取fs.defaultFS值 标准的hadoop上传文件命令: h ......
命令 参数 Hadoop shell HDFS

redis执行lua脚本

[toc] ## redis执行lua脚本 ### 简介 ```markdown 1. 原子操作: redis对lua脚本执行具备原子性 不需要事务维护 2. 复用高效: 客户端发送的脚本除非通过script flush清除 否则会一直被缓存 且lua由c编写而成 加载和运行速度都很快 支持不同平台 ......
脚本 redis lua

nginx同步脚本

1. 检测nginx进程是否存在异常 `#!/bin/bash #收集nginx进程pid pid=$(ps -ef |grep nginx|grep worker|awk '{print $2}') #收集第一个nginx进程的pid,打上时间戳 pid0=$(ps -ef |grep nginx ......
脚本 nginx

redis分布式锁,setnx+lua脚本的java实现

本文是基于redis缓存实现分布式锁,其中使用了setnx命令加锁,expire命令设置过期时间并lua脚本保证事务一致性。Java实现部分基于JIMDB提供的接口。 ......
分布式 脚本 redis setnx java

bat 脚本

@echo offsetlocal enabledelayedexpansion set "inputFile=rs.txt"set "outputFile=outputrs.txt" if not exist "%inputFile%" ( echo Input file "%inputFile% ......
脚本 bat

Shell - 脚本入门

<!-- 开头部分我准备设置目录 --> 脚本格式 脚本以 #!/bin/bash 开头(指定解析器) HelloWorld 【需求描述】 创建一个Shell脚本(helloWorld.sh),输出Hello World! #!/bin/bash echo "Hello World!" 【脚本执行】 ......
脚本 Shell

request请求但脚本爬取

import requestsfrom lxml import etreeurl = "https://duanzixing.com/"headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/5 ......
脚本 request

使用source执行shell脚本和直接执行的区别

使用 `source` 命令和 `./` 形式来执行 shell 脚本有一些重要的区别: 1. **作用域:** - **`source` 或 `.`:** 使用 `source` 命令(或 `.`)来执行脚本时,脚本在当前 shell 环境中执行。这意味着,脚本中的任何变量、函数定义等在执行后仍然 ......
脚本 source shell

第一个shell脚本

#### 需求背景: ​ 公司需要把服务器本地备份的sql数据,备份到另一台ftp服务器上。 #### 需求分析: ​ 1.因本地数据库备份为最近5天的数据集,故需要找到当天的数据文件 ​ 2.备份至ftp服务器上,故需要ftp命令。 ​ 3.定时任务每天执行 代码一:异地本分脚本 ```bash ......
脚本 shell

Docker 一键安装脚本

## Docker 一键安装脚本[#](https://linuxmirrors.cn/other/#docker-一键安装脚本) | [](https://www.debian.org/) Debian | [](https://www.centos.org/) CentOS | | | | | ......
脚本 Docker

linux一键换源脚本,centos,debian,ubuntu通用脚本

# 国内使用 ```python bash 软件源格式 `:///` ## 示例[#](https://linuxmirrors.cn/use/command-options/#示例) ### 指定软件源地址[#](https://linuxmirrors.cn/use/command-option ......
脚本 centos debian ubuntu linux

js脚本发起请求的方式

一、使用XMLHttpRequest发起请求 <script> console.log("使用XMLHttpRequest发起请求"); var xhr = new XMLHttpRequest(); xhr.open('GET', 'http://ccc.4.dns.snadfml.cn/http ......
脚本 方式

自动签到脚本

# 使用Python + selenium + ChromeDriver实现一个自动签到脚本 本文是在以下网址实现自动签到: ```url https://www.wenpblog.com/login.html ``` 供参考 ## 我的配置: 系统:windows10 python: Python ......
脚本

buildroot 构建根文件系统(2)开机自启动脚本

一、开发背景 构建最小系统后成功运行后,有些应用或者脚本需要开机自启动,不要手动操作 二、开发需求 开机启动用户路径下的 test.sh脚本 /root/test.sh 三、开发环境 Linux Ubuntu 4.15.0-65-generic + buildroot-2023.02.3 + i.m ......
脚本 buildroot 文件 系统

Obsidian插件Excalidraw安装slideshow脚本

原文地址:https://www.cnblogs.com/liqinglucky/p/slideshow.html 插件介绍:[Excalidraw的动态演示效果来了,伟大的匈牙利大叔又放狠招了,你的Obsidian更好用了_哔哩哔哩_bilibili](https://www.bilibili.c ......
脚本 Excalidraw slideshow 插件 Obsidian

promethus二进制文件安装脚本

``` #!/bin/bash useradd -M -r -s /bin/false prometheus mkdir /etc/prometheus /var/lib/prometheus tar xf prometheus-*.tar.gz && cd prometheus-* cp ./{p ......
二进制 脚本 promethus 文件

Applescript脚本实现全自动无痕检测手机号码是否注册iMessage的原理

一、检测数据的两种方式:1.人工筛选,将要验证的号码输出到文件中,以逗号分隔。再将文件中的号码粘贴到iMessage客户端的地址栏,iMessage客户端会自动逐个检验该号码是否为iMessage账号,检验速度视网速而定。红色表示不是iMessage账号,蓝色表示iMessage账号。2.编写脚本控 ......

使用hadoop进行单词统计

# 1、启动hadoop ![](https://img2023.cnblogs.com/blog/2808014/202308/2808014-20230826104105334-529863994.png) 启动成功! # 2、将result.txt文件放到/root/software/hado ......
单词 hadoop

抢占GPU的脚本

我主要利用Python多进程编程,通过占用GPU内存,从而达到占用GPU的目的。关于代码的解释见我的[个人博客](https://yigengjiang.github.io/the_art_of_gpu_occupation/),以下主要介绍如何使用该脚本。 我的Python版本为3.11,执行命令 ......
脚本 GPU

sql Server利用其create脚本来创建表

1 -- 这是依据系统自动生成的create脚本,填入所需字段来创建表 2 3 USE [csnprod] 4 GO 5 6 /****** Object: Table [dbo].[message_master] Script Date: 2023/8/25 12:57:06 ******/ 7 ......
脚本 Server create sql

centos7实现开机自启动Python脚本

在Linux系统中,你可以使用不同的方法来实现开机自启动Python脚本和确保守护进程不挂掉。以下是一些常用的方法: ### 1. 开机自启动Python脚本: #### 使用rc.local文件(适用于一些旧的系统): 编辑`/etc/rc.local`文件,将你希望在系统启动时运行的命令或脚本添 ......
脚本 centos7 centos Python

mysql 常用脚本语法

mysql 常用脚本语法 创建表: CREATE TABLE test_db1.test_table1 ( id INT auto_increment NOT NULL, my_name varchar(100) NOT NULL, memo varchar(100) NULL, CONSTRAIN ......
语法 脚本 常用 mysql

SecureCRT通过脚本实现自动化登录

1、配置登录主机名、用户和密码 2、配置登录后操作脚本目录 3、vbs操作脚本如下(crt也支持python) #$language = "VBScript" #$interface = "1.0" crt.Screen.Synchronous = True Sub Main crt.Screen. ......
脚本 SecureCRT

Hadoop 和 Spark 简介

# Hadoop 和 Spark 简介 Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop 过去一直是大数据的经典解决方案,它包含两个部分:Hadoop HDFS 和 Ha ......
简介 Hadoop Spark