wordcount案例 官方hadoop
mysqldump企业案例
mysqldump企业案例 背景： 正在运行的网站系统，MySQL数据库，数据量25G，日业务增量10-15M。 备份策略： 每天23：00，计划任务调用mysqldump执行全备脚本 故障时间点： 上午10点开发人员误删除一个核心业务表，如何恢复？ vim /root/6.sh #!/bin/ba ......
PLC通过Modbus转Profinet网关连接变频器控制电机案例
在本案例中，通过使用Modbus转Profinet网关（XD-MDPN100），PLC可以通过Profinet协议与变频器进行通信和控制。这样，PLC可以实现对电机的转速调节、启停控制等功能。
同时，通过Modbus转Profinet（XD-MDPN100）网关协议转换的应用，可以实现对电机运行状... ......
hadoop集群搭建及编程实践
Hadoop集群搭建 前期准备及JDK，hadoop安装 设置主机名和添加主机映射 验证连通性 SSH无密码登录 配置集群/分布式环境 修改workers 修改文件core-site.xml 修改hdfs-site.xml 修改mapred-site.xml 修改yarn-site.xml 分发到其 ......
Hadoop问题解决（3）
在启动hadoop过程中，出现如下错误： 192.168.10.100: Invalid maximum heap size: -Xmx0m192.168.10.100: Could not create the Java virtual machine.192.168.10.100: jobtra ......
hadoop问题解决（4）
默认配置是将datanode,namenode,jobtracker,tasktracker,secondarynamenode的pid存放在/tmp目录下, 随着linux的定期清理, 这些pid就不见了,当然就无法停止了, 怎么解决呢?在/tmp目录创建或者修改hadoop-hadoop用户名- ......
[转]oracle listener.ora中PLSExtPro 和ExtProc的作用(过时组件,官方建议删除以避免漏洞攻击)
默认安装时，会安装一个PL/SQL外部程序（ExtProc）条目在listener.ora中，是oracle为调用外部程序默认配置的监听，它的名字通常是ExtProc或PLSExtProc，但一般不会使用它，可以直接从listener.ora中将这项移除，因为对ExtProc已经有多种攻击手段了，在 ......
盘点一个Python自动化办公Excel数据填充实战案例（上篇）
大家好，我是皮皮。 一、前言 前几天在Python白银交流群【上海新年人】问了一个Python自动化办公的问题，一起来看看吧。有个表格，里面每行信息，如下图所示： 现在需要将数据贴到另一个文件指定单元格中，另一个文件是这样子的。 下图是他的原始数据和他想得到的目标数据，一页有三个，如下所示： 预期得 ......
【进阶16】Python多线程实战案例
一、Python实现多线程的几种方式 _thread：模块提供了基本的线程和互斥锁支持；更底层的的线程管理实现模块 threading：threading模块则通过封装_thread，提供了更加全面的线程使用方法。 _thread案例： # *coding:utf-8 * #用_thread启动多个 ......
【Azure Function App】Python Function调用Powershell脚本在Azure上执行失败的案例
问题描述 编写Python Function，并且在Function中通过 subprocess 调用powershell.exe 执行 powershell脚本。 import azure.functions as func import logging import subprocess app ......
GaussDB(DWS)案例丨MERGE场景下语句不下推引起的性能瓶颈问题
本文分享自华为云社区《GaussDB(DWS)性能调优：MERGE场景下语句不下推引起的性能瓶颈问题案例》，作者：O泡果奶~。 1、【问题描述】 语句执行时间过长，且该语句performance执行计划中SQL Diagnostic Information显示SQL语句不下推，理由为：Type of ......
解决DOS攻击生产案例:根据web日志或者或者网络连接数，监控当某个IP 并发连接数或者短时内PV达到100，即调用防火墙命令封掉对应的IP，监控频 率每隔5分钟
方法一：在awk中已经判断好并发连接数量的ip地址，传给while read执行防火墙规则封掉对应的ip。root@centos8 ~]# cat ddos.sh#!/bin/bashss -nt |awk -F '[ :]+' '/ESTAB/{ip[$(NF-2)]++}END{for(i in ......
【大数据】Hadoop配置（文档版本）
主机配置： 192.168.88.101 test1 192.168.88.102 test2 192.168.88.103 test3 Hadoop 上传压缩包并且解压 hadoop百度云：链接：https://pan.baidu.com/s/1DRV_x7Q_ZTUO4KMkr2-6Qg? ......
html 全选或全不选小案例
lf 你爱好的运动是？ 全选/全不选 足球 篮球 羽毛球 乒乓球 <!DOCTYPE html> <html> <head> <meta charset="utf-8" /> <title>lf</title> <script type="text/javascript"> function sel ......
实践一下前几天的wordCount案例
1、自己准备一个数据量比较小的txt文件 然后将其上传到虚拟机本地： 之后上传到hdfs里面： 2、编写代码 1、引入相关依赖 <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common ......
架构案例收集
淘宝技术这十年 饿了么交易系统 5 年演化史：https://mp.weixin.qq.com/s/pZlFov4irxAMclY_628Zug 50份架构文档荟萃（分布式事务-缓存-消息-搜索、电商、支付，多活... https://mp.weixin.qq.com/s/nPjTV11NgPUvv ......
MapReduce学习二之WordCount案例
一、案例概述 1、第一步--变成偏移量的K1，V1（这一步不需要我们自己写） 2、进入Map阶段 输出新的<K2,V2>的键值对； 3、Shuffle阶段 分区、排序、规约、分组 输出新的键值对： 4、Reduce阶段 转换为<K3,V3>的新的形式的键值对； 利用TextOutputFormat的 ......
连接SQL Server数据库（详细步骤+登录注册案例）
数据库入门～连接数据库（详细步骤+登录注册案例+简单界面） 步骤一：SQL Server使用sql server身份验证登录，方便与编写的程序连接 <1> 首先使用Windows登录进去，右键实例，点击属性，再选择安全性，将该选项卡中的服务器身份验证改为sql server和windows身份验证模 ......
Hadoop问题解决记（2）
1. 发现问题 在对HBase集群进行压力测试过程中发现，当实际写入HBase和从HBase查询的量是平时的若干倍时（集群规模10~20台，每秒读写数据量在几十万条记录的量级），导致集群的读写出现一定程度的波动。具体如下： 1）写端抛出以下异常信息： org.apache.hadoop.hbase. ......
Hadoop问题解决记（1）
最近在测试HBase时遇到一个非常奇怪的问题：集群有7台机器，其中1台Master，6台RegionServer。但是Master只能控制其中1台RegionServer，而无法控制其他5台RegionServer。 打开master的日志文件，发现以下错误信息： 2011-04-22 16:37: ......
基本入门案例、视图类
flask-restful中有两个基本的类，一个是Api、一个是Resource Api（用于构建restful风格的主类，需要将flask实例app传递给其实例化。） Resource（视图类，类似django的View，理念上和django、drf都是类似的，以请求方式名作为每个视图函数入口）， ......
Spark算子实现wordCount的十种方法
//groupBy def wordCount1(sc:SparkContext) = { val rdd = sc.makeRDD(List("hello scala","hello spark")) val words: RDD[String] = rdd.flatMap(_.split(" " ......
Zabbix调优不完全指南（共12个优化案例）
从学习搭建zabbix到完成各类监控、调优、二次开发已经过去了两年，期间通过QQ学习群、zabbix官方社区、各个技术博客整理学习了不少关于各种报错的处理方法，现在将常见的一些报错处理方法整理出来分享给大家。 现在开始介绍常见报错处理方法： 问题一、Zabbix server内存溢出，无法启动 问题 ......
[官方培训]09-UE粒子基础 肖月 Epic 笔记
UE粒子基础 我们将讨论Niagara的 基础操作和框架 Module>Emitter>System Game thread.Render thread Custom Module Sequencer,Debugger Data Sharing Attribute,Data Interface 场景 ......
[官方培训]10-UE实时渲染后期 李文磊 Epic 笔记
实时渲染后期 什么是后期 需求：快速地基于镜头对最终画面内容及形式（节奏，色调，气氛）的控制 传统后期：像素 UE后期：像素和对象 UE后期 UE后期对象：对象和像素（Buffer） 对象调节：光影，材质，特效，雾效，Sequencer 像素Buffer处理：AA，相机及镜头效果，ColorGrad ......
[官方培训]07-UE材质基础 孙丹璐 Epic 笔记
UE材质基础 什么是材质 定义了场景中对象的表面属性 决定光源是如何与物体表面交互 反射——漫反射，镜面反射 折射 透射 本质上应用于Mesh并控制Mesh的视觉外观 固体——塑料，岩石，木板，铁块... 次表面——皮肤，树叶，玉石... 透明——玻璃，水 基于物理-PBR（Physically B ......
[官方培训]08-UE动画基础 戴浩军 Epic 笔记
UE动画基础 UE动画概述 UE动画功能强大，复杂，灵活 不同类型项目对动画系统应用范围各不相同 “动画”作为一个宽泛概念，在引擎中有多种实现方式，需要灵活选择 影视CG相关常见动画种类浏览 骨骼网格体动画（动画序列，变形目标，动画曲线，Pose Asset） 物理动画（刚体，布料，破碎，实时毛发模 ......
Odoo 页面-‘action’-官方文档解释
1、图示总概览-动作分类窗口动作（Window Actions） (ir.actions.act_window)网址URL动作（URL Actions） (ir.actions.act_url)服务器动作（Server Actions） (ir.actions.server)报告动作（Report ......
LINUX：FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
如图，问题表现为linux中可直接通过hive进行数据插入 但在通过datagrip却更改不了 此时，可能时yarn的运行分配的内存较少，或堆内存溢出。在yarn-site.xml中更改，以及mapred-site.xml中更改，完成。 yarn的 <property> <name>yarn.sch ......