wordcount案例hadoop2 hadoop
医学案例|正交表
正交表是一种用于多因素实验设计的表格。它可以帮助我们在尽可能少的试验次数下确定各个因素对结果的影响，从而提高实验效率。接下来将从以下几个方面介绍正交表的相关内容。 一、正交表基本概念 正交表是一种特制的表格，用于多因素实验设计研究。根据正交表的正交性，可以从全面试验中挑选尽可能少有代表性的组合进行实 ......
医学案例|概要t检验
一、案例介绍 通过以往大量资料得知某地20岁男子平均身高为168cm，今随机测量当地16名20岁男子，得到其身高均数为172cm，标准差为14，问当地现在20岁男子的平均身高是否比以往高？ 二、问题分析 从案例来看，要分析16名男性平均身高是否高于以往平均身高168cm，即比较样本均数所来自的总体均 ......
flume采集文件到HDFS案例
（1）：采集需求：比如业务系统使用log4j生成的日志，日志内容不断增加，需要把追加到日志文件中的数据实时采集到hdfs （2）：根据需求，首先定义以下3大要素 采集源，即source——监控文件内容更新 : exec ‘tail -F file’ 下沉目标，即sink——HDFS文件系统 : hd ......
flume采集目录到HDFS案例：
（1）采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去 （2）根据需求，首先定义以下3大要素 a）：采集源，即source——监控文件目录 : spooldir b）：下沉目标，即sink——HDFS文件系统 : hdfs sink c）：sou ......
flume监视文件夹案例
###监视文件夹 #####1.`在flume的conf的目录下创建文件名称为：vim spool-logger.conf的文件` ``` # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = ......
HDFS的shell命令（Hadoop fs [参数]）
hadoop fs -ls file:/// 操作linux本地文件系统 hadoop fs -ls hdfs://node1:8020/ 操作HDFS分布式文件系统 hadoop fs -ls / 直接根目录，没有指定协议 将加载读取fs.defaultFS值 标准的hadoop上传文件命令： h ......
医学案例|Cochran's Q检验
一、案例介绍 当前有一名医生拟评价药物A对50名高血压患者的降压效果。在患者服用药物A后的第3天、第5天和第7天时分别进行记录。该医生想知道服用药物A的高血压患者血压是否一直在好转。血压好转赋值为1，血压没变化赋值为0,。部分数据如下： 二、问题分析 比较三组或多组二分类变量平均值是否存在显著差异， ......
使用Docker-数据卷挂载案例1
把镜像文件上传到虚拟机中 加载镜像 创建mysql文件夹和data、conf两个子文件夹 把写好的配置文件上传到文件夹中 去hub.docker.com网址中找到mysql的run运行指令 找到配置文件挂载的文件位置 找到数据储存文件挂在的文件位置 修改指令 ......
实用指令_实操作_磁盘分区磁盘挂载经典案例
##### 磁盘分区挂载的经典案例 如何增加一块硬盘 1. 虚拟机添加硬盘 2. 分区 ~~~shell ### fdisk /dev/sdb m ###显示命令列表 n ###新增分区 p ###显示磁盘分区同 fdisk -l 回车 ###分区编号 回车 w ###写入并退出 ###说明，开始分 ......
实用指令_实操作_任务调度常用案例
##### crond 任务调度实例 - crond 相关指令： ~~~shell ###1.终止任务调度 crontab -r ###2.列出当前有哪些任务调度 crontab -l ###3.重启任务调度 service crond restart ~~~ - 应用实例 ~~~shell ### ......
实用指令_实操作_文件目录权限实践案例
##### 最佳实践举例_警察和土匪游戏 阵营分未 police ,bandit(土匪) police: 有jack,jerry bandit: 有xh,xq - 具体案例 ~~~shell ###步骤 ##1.创建组 groupadd police groupadd bandit ##2.创建用户 ......
实训案例名称——“宅急送”订餐管理系统[2023-08-27]
# 实训案例名称——“宅急送”订餐管理系统[2023-08-27] 说明文档 本实例为外卖商家提供了一款“宅急送”订餐管理系统，可为用户提供订餐、派送等相关信息的管理。主要功能包括：上班、订单管理、派送订单、基础数据维护、统计和下班。模块图如图1-1所示。  第二步: 数据转发设置: (请参考我的博文: kepserver作为ModbusTcp服务器与外围设备通信) 第三步: 数据采集和 数据转发关联 ......
hive SQL案例
上个月用户连续n天登录天数 用户登录记录表user_login，包括用户id（user_id）、日期（login_date） user_id login_date 12333256 2021-01-03 84272916 2021-01-03 94038271 2021-01-02 20193401 ......
vuex--day71--vuex 写的求和案例
1.store/index.js //改文件用于创建vuex 最为核心的 store import Vue from 'vue' //引入vuex import Vuex from 'vuex' Vue.use(Vuex) // 准备actions 用于响应组件中的动作 const actions= ......
一次Java内存占用高的排查案例，解释了我对内存问题的所有疑问
> 原创：扣钉日记（微信公众号ID：codelogs），欢迎分享，非公众号转载保留此声明。 ### 问题现象 7月25号，我们一服务的内存占用较高，约13G，容器总内存16G，占用约85%，触发了内存报警(阈值85%)，而我们是按容器内存60%(9.6G)的比例配置的JVM堆内存。看了下其它服务，同 ......
使用hadoop进行单词统计
# 1、启动hadoop  启动成功！ # 2、将result.txt文件放到/root/software/hado ......
Hadoop 和 Spark 简介
# Hadoop 和 Spark 简介 Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop 过去一直是大数据的经典解决方案，它包含两个部分：Hadoop HDFS 和 Ha ......
钡铼技术BL102 PLC网关案例：远程升级西门子PLC程序，让设备管理更加便捷
网口PLC 远程下载 1、打开网关配置软件，点击“搜索”，搜索局内网网关BL102 编辑切换为居中 添加图片注释，不超过 140 字（可选） 2、搜索到的网关设备，选择要配置的设备，双击登录 编辑切换为居中 添加图片注释，不超过 140 字（可选） 3、输入登录密码登录，默认是123456 ......
org.apache.hadoop.hive.metastore.HiveMetaException: Schema initialization FAILED! Metastore state would be inconsistent !!问题的解决
# 问题描述 上次还是初始化很快，这次直接出错，我觉得可能是已经初始化一次的原因；  # 问题解决 进入到mysql ......
软件管理测试案例
# 案例1 ：显示目录树 tree ```shell ┌──(root㉿kali)-[~] └─# tree --help usage: tree [-acdfghilnpqrstuvxACDFJQNSUX] [-L level [-R]] [-H baseHREF] [-T title] [-o ......
Hadoop概念地图
## Hadoop 发展史及生态圈 1，hadoop 的发展史，基于GFS,MAPREDUCE，BIGDATA >Hive 2，hadoop 生态圈。core,hdfs,mapreduce,hive,zookeeper.hbase,kafka，Flume，Sqoop,Mahout,Pig等 3，ha ......
Hadoop概述
# Hadoop 作用 解决分布式存储和分布式计算的可靠的，可扩展的，高容错的开源框架 其下面有四个模块的内容： Hadoop Common：支持其他Hadoop模块的常用工具。 Hadoop分布式文件系统（HDFS™）：提供对应用程序数据的高吞吐量访问的分布式文件系统。 Hadoop YARN：作 ......
Hadoop集群环境安装
### 1,集群环境准备 ``` 准备jdk 环境，本文用的版本是，java version "1.8.0_102" 为机器准备ssh 客户端和服务端，ubuntu 环境下默认安装了客户端，那么，请安装服务端， apt-get install openssh-server 可以的话尽量不要用root ......