脚本hadoop
四、Hadoop-HA 与 Hadoop-federation
一、Hadoop-HA 1.1 Hadoop1.x带来的问题 1、单点故障 a. 每个群集同一时刻只能有一个NameNode，NameNode存在单点故障（SPOF）。 b. 如果该计算机或进程不可用，则整个群集在整个NameNode重新启动或在另一台计算机上启动之前将不可用 c. 如果发生 ......
二、Hadoop集群搭建与学习
Hadoop集群搭建（完全分布式版本） 一、准备工作 三台虚拟机：master、node1、node2 时间同步（3.x版本不用做） ntpdate ntp.aliyun.com 调整时区 3.x版本不用做） cp /usr/share/zoneinfo/Asia/Shanghai /etc/loc ......
使用cursor编写python脚本
环境 python3.7 pycharm cursor 需要安装pandas库 python基本常用语法 注释 #后面写的是注释 # 单行注释 变量 python是一种弱类型的语言,一个变量得到类型可以变化 变量名区分大小写 # 创建数据 n1 = 1 # 整数 n2 = 1.2 # 浮点数 # 字 ......
只需根据接口文档，就能轻松开发 get 和 post 请求的脚本，你会做吗？
一般的接口文档描述的内容： 开发get请求的脚本，接口文档的描述如下： 在loadrunner里面创建一个空脚本： 在action空白处，点击insert—>step 输入web_custom_request，双击选择该函数，填入如下几个参数值： 生成的脚本如下： 运行编译，看有没有语法错误： 在日 ......
docker离线一键安装脚本
下载安装文件 https://download.docker.com/linux/static/stable/x86_64/ https://github.com/docker/compose/releases 本例安装文件下载地址 https://download.docker.com/linux ......
python脚本中调用django环境
# 在脚本中调用djagno服务import osif __name__ == '__main__': #1 引入django配置文件 os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'day67.settings') # 2 让djagno启动 im ......
Hadoop MapReduce 历史服务器配置
1.在mapred-site.xml中配置历史服务器 <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <!-- 设置MapReduce程序默认运行模式： ......
cmd与bat批处理脚本入门
字符串替换 @echo off set a1=你是good好孩子 ::去掉good set res=%a1:good=% echo %res% ::把变量a1中的"你"替换为"她们" set res=%a1:你=她们% echo %res% pause 字符串截取 @echo off set myv ......
Hadoop 常用命令
1.文件类 1.新建文件夹 hadoop fs -mkdir {folderName} hadoop fs -mkdir /coreqi 2.上传文件 hadoop fs -put {localPath} {hadoopPath} hadoop fs -put /home/coreqi.txt /c ......
随手写了个博客多平台发布脚本：Python自动发布文章到Wordpress
引言 作为一名技术博主，提高博客发布效率是我们始终追求的目标。在这篇文章中，我将分享一个基于Python的脚本，能够实现博客多平台发布，具体来说，是自动发布文章到WordPress。通过这个简单而高效的脚本，我们能够省去繁琐的手动发布步骤，提升工作效率。 技术栈 在编写这个自动发布脚本的过程中，我采 ......
如何使用Tampermonkey开发并使用一个浏览器脚本
准备工作 简介 Tampermonkey 是一款强大的浏览器扩展，它允许您定制网页的行为，改变和优化网页的展示方式或者功能以满足个人需求。通过编写自定义脚本，您可以实现许多有趣的功能，从自动化任务到改进网页界面，一切尽在掌握。 脚本一般指用户脚本(User Script)，他是一段 Javascri ......
Hadoop-3.3.6分布式集群搭建步骤
1.下载JDK8 Linux 安装Openjdk 2.下载Hadoop3.3.6 Hadoop 安装及环境变量配置 3.创建hadoop数据存储的目录 mkdir -p /opt/hadoop/tmp /opt/hadoop/hdfs/data /opt/hadoop/hdfs/name 4.配置h ......
【Jmeter】编写java脚本
Jmeter开发java脚本主要的依赖包 使用idea 创建项目 1、创建java项目 2、导入依赖包 3、创建一个类，继承 AbstractJavaSamplerClient 类，并实现 runtest 方法和重写 getDefaultParameters 方法 getDefaultParamet ......
3、python脚本连接本地mysql数据库读取表数据
#coding:utf-8 from pymysql import connect data_list=[] # 将数据存入数据库 conn = connect(host="10.36.128.83", port=20002, database="sthjj_sthj", user="lw_lwc" ......
vi编写shell脚本之解决无法正常使用小键盘的问题
问题现象 用过xshell的小伙伴，可能会发现，在xshell默认配置下，在使用vi命令编辑文档的时候，从小键盘输入的时候，会出现异常的字母和自动换行。如下图 解决方案 1. 依次点击（xshell 7.x版本）文件 - 当前会话属性，文件 - 默认会话属性 2.将VT模式由默认的普通，修改为设置为 ......
Hadoop运行模式之本地模式（wordcount）
本地模式总结起来大概有以下几点： 单机运行，常用来演示，生产环境不适用 文件存储在操作系统的文件系统中而非Hadoop的HDFS中 1.安装JDK https://www.cnblogs.com/fanqisoft/p/16949738.html 2.安装Hadoop https://www.cnb ......
Hadoop 环境变量配置
1.下载 https://hadoop.apache.org/releases.html 2.环境变量配置 在/etc/profile.d中配置 1.新建hadoop.sh vi /etc/profile.d/hadoop.sh export HADOOP_HOME=/usr/hadoop/hado ......
XSS跨站脚本攻击以及配置DWVA环境
一． 实验目的 了解XSS漏洞的攻击原理及相关知识 能够进行简单的攻击分析 dwva下载链接：https://pan.baidu.com/s/10OEyN_r7cZ-IP_bgKIERAA?pwd=lj91 提取码：lj91 二． 实验环境 Win7虚拟机 三． 实验工具 VMWare、、PHPSt ......
全拼双拼切换 bat 脚本
@echo off set Mainkey=HKEY_CURRENT_USER\SOFTWARE\Microsoft\InputMethod\Settings\CHS for /f %%i in ('reg query %MainKey% /v "Enable Double Pinyin" ^| f ......
shell脚本使腾讯云动态解析ipv6
目的：由于家用ipv6分配地址经常变动，故采用脚本和腾讯云提供的免费域名解析服务，进行动态解析，保证家用ipv6和域名的绑定 1.检查家用ipv6是否能使用：访问ipv6 测试网站查看 2.编写动态获取ipv6的脚本，在本地服务启动时调用并存入redis 3.https://console.clou ......
一、Hadoop概述与初步学习
一、Hadoop的发展史 Google 爬取全球的网站，然后计算页面的PageRank 要解决网站的问题： a：这些网站怎么存放 b：这些网站应该怎么计算 发布了三篇论文 a：GFS(Google File System) b：MapReduce(数据计算方法) c：BigTable-->HBase ......
脚本自动化定制开发：实现高效工作的魔法钥匙
在当今这个快节奏的工作环境中，自动化已成为提高工作效率的黄金标准。如果你是一名Windows用户，那么通过Windows脚本自动化，你可以将你的工作流程化繁为简，实现高效工作。而在众多Windows脚本自动化工具中，Python以其简洁易学的特点，逐渐成为了许多人的首选。 一、Python与Wind ......
PlayMaker 扩展额外创建更多的脚本
自定义设置Image 扩展 using System; using UnityEngine.UI; using UnityEngine; namespace HutongGames.PlayMaker.Actions { [ActionCategory(ActionCategory.UI)] [To ......
fgui在 cocos creator 如何让一个文本做成一个滚动的效果，使用 ts 脚本来实现
在 Cocos Creator 中使用 FGUI（FairyGUI）实现文本的滚动效果，可以通过 TypeScript 脚本来实现。以下是一个简单的示例： 首先，确保已经安装了 FGUI 插件，并且已经正确配置了 TypeScript。然后，创建一个 TypeScript 脚本，例如 ScrollT ......
一键删除Oracle alert,audit,background,core,user,Clusterware logs脚本
#!/bin/bash # # Script used to cleanup any Oracle environment. # # Cleans: audit_log_dest # background_dump_dest # core_dump_dest # user_dump_dest # C ......
shell脚本——函数与数组
函数 函数和别名很像 有些脚本会被反复使用 alias 脚本比较复杂 函数 脚本的别名 使用函数可以避免代码重复，增加可读性，简化脚本 定义 函数名 （） { 脚本 } function 函数名 （）{ 脚本 } 先定义在调用 #!/bin/bash os () { if grep -iq cent ......
安装docker脚本-一步到位
#!/bin/bashyum install -y yum-utils device-mapper-persistent-data lvm2yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/ ......
软件测试/人工智能|如何使用ChatGPT帮我们写自动化测试脚本
简介 当今软件开发中，自动化测试脚本的编写是确保软件质量和稳定性的重要步骤。随着人工智能和自然语言处理技术的进步，像ChatGPT这样的语言模型已经成为编写自动化测试脚本的有力工具。ChatGPT可以根据给定的指令和条件生成代码，简化了测试流程并提高了效率。 演练示例 假设我们有一个简单的网站，需要 ......
Linux(Centos)上使用crontab实现定时任务(定时执行脚本)
场景 Windows中通过bat定时执行命令和mysqldump实现数据库备份： https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/119024990 上面讲windows中使用bat实现定时任务的方式，如果是在linux上可以通过c ......
python脚本把日志转成excel
之前go写的，转成了python版本，日志是json格式的，按行读取 {"aid":"1111","cid":"2222","callback_url":"http:\/\/ad.toutiao.com\/track\/activate\/?callback=B.eDCQxxxxxGCB&os=0& ......