总分 序列mapreduce hadoop
hadoop优化之yarn调优
yarn.nodemanager.resource.memory-mb表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。 yarn.nodemanager.vmem-pmem-rat ......
代码随想训练营第五十五天（Python）｜ 392.判断子序列、115.不同的子序列
392.判断子序列 1、双指针 class Solution: def isSubsequence(self, s: str, t: str) -> bool: m, n = len(s), len(t) i, j = 0, 0 while m > i and n > j: if s[i] == t ......
start-dfs.sh启动hadoop，jps没显示
查看当前系统的名称 [root@master dfs]# cat /etc/hosts 192.168.128.78 hadoop01 查看core-site.xml <property> <name>fs.defaultFS</name> <value>hdfs://hadoop01:9000</ ......
代码随想训练营第五十三天（Python）｜ 1143.最长公共子序列 、1035.不相交的线 、53. 最大子序和
1143.最长公共子序列 class Solution: def longestCommonSubsequence(self, text1: str, text2: str) -> int: m, n = len(text1), len(text2) # dp 数组代表 text1 以 i-1 结尾 ......
关于hadoop hive中使用hive分区功能
很多人习惯了使用第三方的工具 去连接hive或者hbase数据库，并且 使用其中的sql编辑器进行失去了语句 的使用来进行数据的分析等一系列的 操作，但是一些shell命令也可以在其中 运行例如： 1. set hive.exec.dynamic.partition=true; 2. set hiv ......
七、Hadoop优化
优化1：Combiner 使用之前 使用之后 减少的了reduce 从map拉取数据的过程，提高计算效率。 hadoop 的计算特点：将计算任务向数据靠拢，而不是将数据向计算靠拢。 特点：数据本地化，减少网络io。 首先需要知道，hadoop数据本地化是指的map任务，reduce任务并不具备数据本 ......
六、MapReduce
一、MapReduce设计理念 map >映射 reduce >归纳 mapreduce必须构建在hdfs之上的一种大数据离线计算框架 在线：实时数据处理 离线：数据处理时效性没有在线那么强，但是相对也需要很快得到结果 mapreduce不会马上得到结果，他会有一定的延时（磁盘IO） 如果数据量小， ......
两道题浅析PHP反序列化逃逸
两道题浅析PHP反序列化逃逸 一、介绍 反序列化逃逸的出现是因为php反序列化函数在进行反序列化操作时，并不会审核字符串中的内容，所以我们可以操纵属性值，使得反序列化提前结束。 反序列化逃逸题一般都是存在一个filter函数，这个函数看似过滤了敏感字符串，其实使得代码的安全性有所降低；并且分为fil ......
apache的序列化工具类SerializationUtils
Java中序列化是指，将Java对象转换为可存储传输的字节序列的过程。 序列化作用： 网络传输：网络可以传输字节化的java对象 数据安全：字节数据，方便在磁盘上存储 便于存储：可以将其存储在磁盘上，以供以后使用 <dependency> <groupId>org.apache.commons</g ......
ARIMA模型，ARIMAX模型预测冰淇淋消费时间序列数据|附代码数据
全文下载链接：http://tecdat.cn/?p=22511 最近我们被客户要求撰写关于ARIMAX的研究报告，包括一些图形和统计输出。 标准的ARIMA（移动平均自回归模型）模型允许只根据预测变量的过去值进行预测 。 该模型假定一个变量的未来的值线性地取决于其过去的值，以及过去（随机）影响的值 ......
centos7.5 hadoop NAT 静态IP网络环境搭建
1 设置 VMware 网络环境 1. 选择VMNet8 并将子网IP 修改为 192.168.10.0，保证集群ip都在这个网段下 2. 选择NAT 设置，配置NAT的网关为 192.168.10.2 2 设置 windows11 网络环境 1. 打开 控制面板\网络和 Internet\网络连接 ......
Hadoop集群部署后相关WEB界面打不开大概原因
集群部署完毕后，查看相关WEB界面，打不开的原因可能如下： 1、可以先去检查LINUX（CentOS7）机器的防火墙是否关闭，命令如下： systemctl status firewalld.service （查看防火墙状态） (如果显示为关闭状态，则进行下一步； 如果显示尚未关闭，则进行关闭并设定 ......
大数据 - MapReduce：从原理到实战的全面指南
本文深入探讨了MapReduce的各个方面，从基础概念和工作原理到编程模型和实际应用场景，最后专注于性能优化的最佳实践。 关注【TechLeadCloud】，分享互联网架构、云服务技术的全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验、团队管理经验，同济本复旦硕，复旦机器人智能实验室成员 ......
51nod 2620 序列问题
原题 首先 \(O(n \log n)\) 的贪心很好想，显然用堆，每次合并两个权值最小的即可 然后考虑 \(O(n)\) 怎么做？我们发现这个权值 \(\max(a_i,a_{i+1})\) 的 \(\max\) 很不好处理，因此我们考虑把他优化一下 使用单调栈可以求出权值为 \(a_i\) 的合 ......
序列化
一，序列化 主要分为通过函数进行序列化与反序列化达到传输数据的效果。根据情况可分为两种。 第一种，python与不同语言间进行交流，比如，后端语言，java c c++ c#等，因为需要使用都可以识别的数据类型进行传输，所有便诞生了Json模块。Json模块主要分为四个功能，dumps、dump、l ......
安装hadoop
hadoop:https://blog.csdn.net/weixin_44898710/article/details/109832031 将压缩包上传到服务器 # 上传到/home/software路径 # 设置权限 chmod 755 hadoop-3.2.1.tar.gz # 解压 tar ......
MATLAB时间序列数据重建与平滑：HANTS滤波
本文介绍在MATLAB中，实现基于HANTS算法（时间序列谐波分析法）的长时间序列数据去噪、重建、填补的详细方法~ ......
Hadoop 一些脚本总结
1.各个模板分开启动/停止 1.整体启动/停止 HDFS start-dfs.sh / stop-dfs.sh 2.整体启动/停止 YARN start-yarn.sh / stop-yarn.sh 2.各个服务组件逐一启动/停止 1.分别启动/停止 HDFS组件 hdfs --daemon sta ......
[LeetCode Hot 100] LeetCode128. 最长连续序列
题目描述 思路 将数组所有点映射到一个数轴上，可以发现问题变为求每段区间首元素到尾元素的长度的最大值。 区间的长度：区间尾元素值-区间首元素值 + 1 方法一：超出时间限制 这个方法是最初自己想到的，但是超时了，主要原因是程序会有冗余的遍历过程，增加了开销。 思路：(时间复杂度太高) 先把所有元素加 ......
Hadoop 配置日志聚集
本文章的前置Hadoop-3.3.6分布式集群搭建步骤 概念： 集群中的每台Hadoop节点的运行都会产生日志，开启日志聚集后，将所有运行日志信息上传到Hadoop HDFS系统上，可以更好的查看运行详情，方便开发及调试。 注意：需要重启NodeManage、ResourceManager和Hist ......
代码随想训练营第五十二天（Python）｜ 300.最长递增子序列、674. 最长连续递增序列、718. 最长重复子数组
300.最长递增子序列 class Solution: def lengthOfLIS(self, nums: List[int]) -> int: if len(nums) <= 1: return len(nums) # dp 数组代表以 nums[i] 结尾的最长递增子序列长度为 dp[i] ......
hadoop高可用集群集成hive
hive和hadoop的关系 从上图可以看出实际上外界是通过thrift server这个节点和hadoop的hdfs以及rm进行交互的，中间为driver 因此当我修改完hadoop集群为高可用的时候，hive也需要重新配置环境以下是我hive的全新配置 <configuration> <!-- ......
Golang中如何自定义时间类型进行xml、json的序列化/反序列化
在日常开发工作中，我们进行会遇到将 struct 序列化 json字符串以及将 json字符串 反序列化为 struct 的场景，大家也对此十分熟悉。 最近工作中，遇到了需要将 struct 序列化 xml字符串以及将 xml字符串 反序列化为 struct 的场景，对于普通类型的字段，比如int、 ......
Hadoop API 通过租户代理访问 Kerberos 安全 Hadoop 集群
这里记录一些方法，具备下面的特征：
* 通过租户代理访问 Kerberos 认证的 HADOOP 资源
* 获取 FileSystem 对象的技巧：FileSystem.get(URI, configuration)
* 通用 doAs模板
* 通用 hdfsCommand模板，使用 try-wit... ......
使用RabbitMQ时使用MemoryPack序列化和反序列化对象
[MemoryPackable] public partial class UserEto { public String Name { get; set; } } 发送端 public class EventBus : IEventBus { public void Publish(string ......
[LeetCode-中等] 最长连续序列
这道题是这样的，给你一个没有排序的整形数组 intArr, 要求找出这个数组中数字连续的最长序列 (不要求序列元素在原数组中连续)的长度 需要写出一个时间复杂度为O(n)的算法 比如 intArr = [70,8,100,6,7,5] 应该返回4， 因为最长的数字连续序列是 [5,6,7,8] 它的 ......
windows 获取 序列号 wwid方法
以下任意一条命令都可以： wmic diskdrive get serialnumber wmic path win32_physicalmedia get SerialNumber wmic path Win32_DiskDrive get SerialNumber 运行结果： **注意**：wi ......
四、Hadoop-HA 与 Hadoop-federation
一、Hadoop-HA 1.1 Hadoop1.x带来的问题 1、单点故障 a. 每个群集同一时刻只能有一个NameNode，NameNode存在单点故障（SPOF）。 b. 如果该计算机或进程不可用，则整个群集在整个NameNode重新启动或在另一台计算机上启动之前将不可用 c. 如果发生 ......
二、Hadoop集群搭建与学习
Hadoop集群搭建（完全分布式版本） 一、准备工作 三台虚拟机：master、node1、node2 时间同步（3.x版本不用做） ntpdate ntp.aliyun.com 调整时区 3.x版本不用做） cp /usr/share/zoneinfo/Asia/Shanghai /etc/loc ......