wordcount案例hadoop2 hadoop
Hadoop问题解决记（2）
1. 发现问题 在对HBase集群进行压力测试过程中发现，当实际写入HBase和从HBase查询的量是平时的若干倍时（集群规模10~20台，每秒读写数据量在几十万条记录的量级），导致集群的读写出现一定程度的波动。具体如下： 1）写端抛出以下异常信息： org.apache.hadoop.hbase. ......
Hadoop问题解决记（1）
最近在测试HBase时遇到一个非常奇怪的问题：集群有7台机器，其中1台Master，6台RegionServer。但是Master只能控制其中1台RegionServer，而无法控制其他5台RegionServer。 打开master的日志文件，发现以下错误信息： 2011-04-22 16:37: ......
基本入门案例、视图类
flask-restful中有两个基本的类，一个是Api、一个是Resource Api（用于构建restful风格的主类，需要将flask实例app传递给其实例化。） Resource（视图类，类似django的View，理念上和django、drf都是类似的，以请求方式名作为每个视图函数入口）， ......
Spark算子实现wordCount的十种方法
//groupBy def wordCount1(sc:SparkContext) = { val rdd = sc.makeRDD(List("hello scala","hello spark")) val words: RDD[String] = rdd.flatMap(_.split(" " ......
Zabbix调优不完全指南（共12个优化案例）
从学习搭建zabbix到完成各类监控、调优、二次开发已经过去了两年，期间通过QQ学习群、zabbix官方社区、各个技术博客整理学习了不少关于各种报错的处理方法，现在将常见的一些报错处理方法整理出来分享给大家。 现在开始介绍常见报错处理方法： 问题一、Zabbix server内存溢出，无法启动 问题 ......
LINUX：FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
如图，问题表现为linux中可直接通过hive进行数据插入 但在通过datagrip却更改不了 此时，可能时yarn的运行分配的内存较少，或堆内存溢出。在yarn-site.xml中更改，以及mapred-site.xml中更改，完成。 yarn的 <property> <name>yarn.sch ......
金融量化项目案例 -- 双均线策略制定
博客地址：https://www.cnblogs.com/zylyehuo/ 开发环境 anaconda 集成环境：集成好了数据分析和机器学习中所需要的全部环境 安装目录不可以有中文和特殊符号 jupyter anaconda提供的一个基于浏览器的可视化开发工具 使用tushare包获取某股票的历史 ......
金融量化项目案例 -- 股票分析
博客地址：https://www.cnblogs.com/zylyehuo/ 股票分析 使用tushare包获取某股票的历史行情数据。 输出该股票所有收盘比开盘上涨3%以上的日期。 输出该股票所有开盘比前日收盘跌幅超过2%的日期。 tushare财经数据接口包 !pip install -i htt ......
编写循环小案例
打印等腰三角形 第1次推导 public class test9 { public static void main(String[] args) { // 行数 int a = 3; System.out.println(); System.out.print(" "); System.out.p ......
hadoop部署
mapred-site.xml <configuration><property> <name>mapreduce.framework.name</name> <value>yarn</value></property><property> <name>mapreduce.jobhistory.ad ......
hadoop HA高可用集群搭建
首先是四项配置 core-site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Licensed under the Apach ......
线性回归和时间序列分析北京房价影响因素可视化案例|附代码数据
全文链接：http://tecdat.cn/?p=21467 最近我们被客户要求撰写关于北京房价的研究报告，包括一些图形和统计输出。 在本文中，房价有关的数据可能反映了中国近年来的变化 目的 人们得到更多的资源（薪水），期望有更好的房子 人口众多 独生子女政策：如何影响房子的几何结构？更多的卧室，更 ......
Kubernetes 上的数据已跨越鸿沟：在 GKE 上运行有状态应用程序的案例
如今，Kubernetes 越来越多地用于运行有状态和数据应用程序，例如数据库（Kafka、MySQL、PostgreSQL 和 MongoDB）、大数据（Hadoop 和 Spark）、数据分析（Hive 和 Pig）以及机器学习（TensorFlow 和 PyTorch） 。 ......
搭建Hadoop环境
搭建Hadoop环境 一、虚拟机的安装 二、 安装JDK 1.下载jdk wget https://download.java.net/openjdk/jdk8u41/ri/openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz 使用上述命令安装 2.执行以下命令 ......
每日总结2023/9/27（mapreduce案例）
参考例文、 MapReduce经典案例实战_mapreduce编程案例-CSDN博客 map代码 package cn.com.sise.mapreduce.invertedindex; import java.io.IOException; import org.apache.hadoop.io. ......
SpringBoot学习3(01整合案例项目数据层、业务层、表现层)
1.整合第三方技术 1.整合JUnit target测试类和引导类为什么要有对应关系，如果没有相似的包结构导致出现的问题原因如下： 基础篇-24-整合JUnit——classes属性_哔哩哔哩_bilibili 2.整合MyBatis 创建的时候选上mybatis和sql驱动 创建之后，进入sett ......
案例实操基础版--加载数据+数据清洗(5W条数据)
我看到了这个 跟着实操一下！ 1、加载数据（已经提供了csv文件） 建库建表 >这个比较简单，根据文件的字段名创建合适的表； create table msg( msg_time string comment "消息发送时间", sender_name string comment "发送人昵称", ......
spark环境部署之wordCount初体验
一.安装spark 1.1 下载并解压 官方下载地址：http://spark.apache.org/downloads.html ，选择 Spark 版本和对应的 Hadoop 版本后再下载： 解压安装包 # tar -zxvf spark-2.2.3-bin-hadoop2.6.tgz 1.2 ......
案例8：将"picK"的大小写互换
最终输出结果为PICk。 需要先计算两个字母之间的间隔，比如a和A之间的间隔为多少。 然后在将大写字母转换为小写字母，加上间隔的值； 将小写字母转换为大写字母，减去间隔的值。 示例代码如下: #define _CRT_SECURE_NO_WARNINGS 1#include <stdio.h> vo ......
案例7：将"picK"译成密码
密码规则:用当前字母后面的第五各字符来代替当前字符。比如字符'a'后面的第5个字符为'f'， 则使用'f'代替'a'。编写程序，实现该功能。 示例代码如下: #define _CRT_SECURE_NO_WARNINGS 1#include <stdio.h> void main() { char ......
案例6：输入一个小写字母，然后输出一个大写字母
本题主要是考察大小写字母的转换，大写字母A~Z的ascii码分别是65~90，小写字母a~z的ascii码分别是97~122， 它们之间的差值是32。比如小写字母a的ascill码的值97，减去大写字母A的ascii的值65，结果为32。 示例代码如下: #define _CRT_SECURE_NO ......
案例5：输入一个五位数，求各个位数之和
这个题目和前面讲解的求一个四位数各个位数之和非常类似，只是在本题修改为了动态输入。 示例代码如下 #define _CRT_SECURE_NO_WARNINGS 1#include <stdio.h> void main() { int num, w, q, b, s, g, sum; printf ......
案例5：计算100个小时共有多少天零多少个小时
这个题目主要是考察两个整数相除只会保留整数，然后使用取余运算符求两个数的余数。 示例代码如下: #define _CRT_SECURE_NO_WARNINGS 1#include <stdio.h> void main() { int total = 100; int days = total / ......
第九节 小兔鲜（案例）
day09-小兔鲜儿 01-搭建项目目录 xtx-pc images 文件夹：存放固定使用的图片素材，例如：logo、样式修饰图等等 uploads 文件夹：存放非固定使用的图片素材，例如：商品图、宣传图需要上传的图片 iconfont 文件夹：字体图标素材 css 文件夹：存放 CSS 文件（li ......
12-web前端轮播图案例 （小米商城）
说明： 轮播图在前端开发中是一种常见的元素，通常用于展示一系列的图片或者内容，并通过滑动或者点击的方式进行切换。使用JavaScript来实现轮播图有以下几个意义： 提升用户体验：轮播图可以在有限的空间内展示更多的内容，为用户提供更多的信息。同时，轮播图也具有较好的视觉效果，可以吸引用户的注意力。 ......
案例4：求四个数中的最大值
本题可以考虑使用三元表达式来做比较适合。定义四个变量，然后使用动态输入， 接着在使用三元运算符来分别判断两个数的大小。始终让一个变量的值为最大值。 示例代码如下: #define _CRT_SECURE_NO_WARNINGS 1#include <stdio.h> void main() { in ......
案例3：判断370这个数字是否为水仙花数
水仙花数举例: 153 = 13 + 53 + 33 本题主要的考点还是分解一个整数，然后在使用等等与来进行判断，获取结果。 示例代码如下: #define _CRT_SECURE_NO_WARNINGS 1#include <stdio.h> void main() { int num = 370 ......
案例2：求一个四位数的各个位上数字之和
比如一个数9527，需要计算9 + 5 + 2 + 7 = 23 主要是考察如何分解一个四位数，学会分解一个整数之后，然后求和即可。 示例代码如下： #define _CRT_SECURE_NO_WARNINGS 1#include <stdio.h> void main() { int num = ......
案例：求圆的面积和周长
圆的面积=π * r * r; 圆的周长=2 * π * r; π可以定义一个符号常量，然后输入一个半径r，即可求出圆的面积和周长。 示例代码如下: #define _CRT_SECURE_NO_WARNINGS 1#include <stdio.h>#define PI 3.1415 void m ......
新手指引：前后端分离的springboot + mysql + vue实战案例
使用springboot + mysql + vue实现前后端分离的用户查询功能：
1、mysql：创建test数据库 -> 创建user数据表 -> 创建模拟数据；
2、springboot: 配置mysql -> 使用mybatis操作mysql数据库 -> 接口开发；
3、vue：使用a... ......