脚本 源码centos7 apache
redis georadius源码分析与性能优化
原文地址: https://blog.fanscore.cn/a/51/ 背景 最近接到一个需求，开发中使用了redis georadius命令取附近给定距离内的点。完工后对服务进行压测后发现georadius的性能比预期要差，因此我分析了georadius的源码，并对原始的实现方案进行了优化，总结 ......
Apache Hudi 流转批 场景实践
背景 在某些业务场景下，我们需要一个标志来衡量hudi数据写入的进度，比如：Flink 实时向 Hudi 表写入数据，然后使用这个 Hudi 表来支持批量计算并通过一个 flag 来评估它的分区数据是否完整从而进一步写入分区数据进行分区级别的ETL，这也就是我们通常说的流转批。 EventTime计 ......
Apache Hudi 负载类Payload使用案例剖析
在 Hudi 中可以根据业务场景为 Hudi 表配置负载类Payload，它用于在更新期间合并同一记录的两个版本。本文将深入了解有效负载类的用途以及可以使用的所有不同方式。 配置：hoodie.datasource.write.payload.class 注意：对于新的记录合并API ，这些可能会发 ......
云原生时代顶流消息中间件Apache Pulsar部署实操-上
本篇先部署Apache Pulsar 最新版本2.11.0的 Locally Standalone，并通过创建Topic、生产消息和消费消息验证基础环境;接着通过二进制也即是所谓裸机部署方式一步步演示如何部署Pulsar的分布式集群，并通过Admin客户端验证基于租户、命名空间一些消息管理和使用简单... ......
调式源码解决 seata 报错 can not get cluster name 问题
最近在使用Spring Cloud整合分布式事务seata,项目启动之后，控制台一直报错： can not get cluster name in registry config 'service.vgroupMapping.nacos-provide-order-seata-service-gro ......
Centos7系统编译Hadoop3.3.4
1、背景 最近在学习hadoop，此篇文章简单记录一下通过源码来编译hadoop。为什么要重新编译hadoop源码，是因为为了匹配不同操作系统的本地库环境。 2、编译源码 2.1 下载并解压源码 [root@hadoop01 ~]# mkdir /opt/hadoop [root@hadoop01 ......
Centos7搭建hadoop3.3.4分布式集群
1、背景 最近在学习hadoop，本文记录一下，怎样在Centos7系统上搭建一个3个节点的hadoop集群。 2、集群规划 hadoop集群是由2个集群构成的，分别是hdfs集群和yarn集群。2个集群都是主从结构。 2.1 hdfs集群规划 | ip地址 | 主机名 |部署服务| |--|--| ......
使用 shell 脚本拼接 srt 字幕文件 (srtcat)
将多个 srt 文件拼接成一个，找了好多工具，都太重了，自己用 shell 手搓一个。一开始没觉得这个小工具有多么难，以为半天肯定能搞定，结果足足搞了三天。绊倒我的居然是时间字段的拆分和前导零的删除，看看 shell 里有多少种实现方案，以及我为何选择了当前的方案。 ......
slate源码解析（一）- 序言
笔者从大学时期就开始接触的前端，在刚去实习的时候就被导师安排去做内网的一个小富文本工具。之后从毕业后干的第一份工作游戏客户端，到现在做着可视化相关的前端工作，都有在做富文本相关的内容。可以说是和**富文本编辑器（Rich Text Editor）**有着不解之缘。 WYSIWYG 如无特别指出，该系 ......
slate源码解析（二）- 基本框架与数据模型
源码架构 首先来看下最核心的slate包下的目录： 可以看到，作为一个开源富文本库，其源码是相当之少。在第一篇文章中说过，Slate没有任何开箱即用的功能，只提供给开发者用于构建富文本所需的最基本的一套schema及操作API。因此源码的体量自然就要少许多。 我们来预览上图中各个目录下文件所负责的功 ......
《关于我因为flink成为spark源码贡献者这件小事》
各位读者老爷请放下手上的板砖，我可真没有标题党，且容老弟慢慢道来。 spark和flink本身相信我不用做过多的介绍，后端同学不管搞没搞过大数据，应该都多多少少听过。 如果没听过，简单说，spark和flink之于大数据，就好比vue和react之于前端，就好比spring家族之于java。 从20 ......
SpringCloud 源码学习笔记2——Feign声明式http客户端源码分析
系列文章目录和关于我 一丶Feign是什么 Feign是一种声明式、 模板化的HTTP客户端。在Spring Cloud中使用Feign,可以做到使用HTTP请求访问远程服务，就像调用本地方法一一样的， 开发者完全感知不到这是在调用远程方法，更感知不到在访问HTTP请求。接下来介绍一下Feign的特 ......
文件格式引起的脚本执行错误
问题 当我们使用 Windows 桌面下的编辑器编写一个 Shell 文件时，很容易将文件使用的换行符保存为 dos 格式。如果将文件上传到 Linux 服务器执行时，可能会遇到下面的错误。这是因为 # 显示一个简单的shell文件 $ cat dosnewline.sh #!/bin/sh ech ......
CentOS7加入AD域（winbind）
作者：独笔孤行 官网： http://anyamaze.com 公众号：云实战 前言 AD域（Active Directory）是Windows服务器的活动目录，在目录中可以收录公司的电脑账号，用户账号，组等信息，以提供更好的安全性和更便捷的管理能力。域的最大好处之一就是其安全性 – 所有 ......
Golang HTTP编程及源码解析-路由分发
1、网络基础 基本TCP客户-服务器程序Socket编程流程如如下图所示。 TCP服务器绑定到特定端口并阻塞监听客户端端连接， TCP客户端则通过IP+端口向服务器发起请求，客户-服务器建立连接之后就能开始进行数据传输。 Golang的TCP编程也是基于上述流程的。 2、Golang HTTP编程 ......
0源码基础学习Spring源码系列（一）——Bean注入流程
通过本文，读者可以0源码基础的初步学习spring源码，并能够举一反三从此进入源码世界的大米！
由于是第一次阅读源码，文章之中难免存在一些问题，还望包涵指正！ ......
高复用性自动化脚本设计实践
作者：京东物流 刘红妍 导读： 在自动化测试实践中，为了更好的契合被测业务场景，需要不断优化框架分层结构。本文结合产品模块化思路，意在介绍通过策略模式改造原本复杂分支语句代码，通过理论讲解、思路分析、方案设计、及代码演示，提供自动化脚本重构的落地方案。 在今年的敏捷团队建设中，我通过Suite执行器 ......
OpenMP Sections Construct 实现原理以及源码分析
在本篇文章当中主要给大家介绍 OpenMP 当中主要给大家介绍 OpenMP 当中 sections construct 的实现原理以及他调用的动态库函数分析。如果已经了解过了前面的关于 for 的调度方式的分析，本篇文章就非常简单了。 ......
OPENMP FOR CONSTRUCT GUIDED 调度方式实现原理和源码分析
OPENMP FOR CONSTRUCT GUIDED 调度方式实现原理和源码分析 前言 在本篇文章当中主要给大家介绍在 OpenMP 当中 guided 调度方式的实现原理。这个调度方式其实和 dynamic 调度方式非常相似的，从编译器角度来说基本上是一样的，在本篇文章当中就不介绍一些相关的必备 ......
如何去阅读源码，我总结了18条心法
大家好，我是三友~~ 这篇文章我准备来聊一聊如何去阅读开源项目的源码。 在聊如何去阅读源码之前，先来简单说一下为什么要去阅读源码，大致可分为以下几点原因： 最直接的原因，就是面试需要，面试喜欢问源码，读完源码才可以跟面试官battle提升自己的编程水平，学习编程思想和和代码技巧熟悉技术实现细节，提高 ......
【Django drf】视图层大总结 ViewSetMixin源码分析 路由系统 action装饰器
九个视图子类 # 两个视图基类 1.APIView 2.GenericAPIView APIView： renderer_classes响应格式类 parser_classes请求解析类 跟数据库解耦合 GenericAPIView：queryset数据集 serializer_class序列化类 ......
基于Apache Hudi 构建Serverless实时分析平台
NerdWallet 的使命是为生活中的所有财务决策提供清晰的信息。 这涵盖了一系列不同的主题：从选择合适的信用卡到管理您的支出，到找到最好的个人贷款，再到为您的抵押贷款再融资。 因此，NerdWallet 提供了跨越众多领域的强大功能，例如信用监控和警报、用于跟踪净值和现金流的仪表板、机器学习 ( ......
让Apache Beam在GCP Cloud Dataflow上跑起来
简介 在文章《Apache Beam入门及Java SDK开发初体验》中大概讲了Apapche Beam的简单概念和本地运行，本文将讲解如何把代码运行在GCP Cloud Dataflow上。 本地运行 通过maven命令来创建项目： mvn archetype:generate \ -Darche ......
Django框架之drf：5、反序列化器校验部分源码分析，断言，drf之请求与响应，视图组件介绍及两个视图基类，代码部分实战
Django框架之drf 一、反序列化类校验部分源码解析 反序列化校验什么时候开始执行校验？ 剖析流程一：在视图中使用反序列化器实例化的对象调用is_valid()的时候就会进行校验，通贩校验返回True，反之False class BookView(APIView): # 新增 def post( ......
大数据实时多维OLAP分析数据库Apache Druid入门分享-上
Apache Druid是⼀款针对海量数据进⾏⾼性能实时分析OLAP引擎的实时分析型数据库，本篇了解其特征和适用场景，并与其他框架横向对比；最后部署一个最新版本25.0.0单机版演示本地文件摄取入库,并演示基于Json API本地查询和SQL两种查询方式 ......
大数据实时多维OLAP分析数据库Apache Druid入门分享-下
了解Apache Druid的基础概念后，本篇进一步研究其核心架构和核心设计原理部分，了解相关外部依赖，对其数据摄取和查询有一定认识，然后通过搭建分布式集群进一步理解其架构组成，最后用一个示例从HDFS将数据摄取到Druid并演示两种查询方式 ......
开源分布式支持超大规模数据分析型数据仓库Apache Kylin实践-上
再下一城又一个实时多维交互式分析数仓利器，了解其特性和架构组成，进一步阐述相关概念和其生态圈；介绍作为开发测试最快捷方式的Docker单机部署；也基于Hadoop环境一步步部署最新v4.0.3二进制并解决遇到的问题，最后通过一个读取hive数据示例介绍kylin创建项目、选择数据源、创建Model、... ......
开源分布式支持超大规模数据分析型数据仓库Apache Kylin实践-下
本篇先通过Kylin对连接条件、维度和度量限制的示例弄清Kylin的使用注意事项，在此基础上研究Kylin查询引擎，并配置spark查询下压实现没有cube的查询；理解Cube的构建优化，通过官方提供RestAPI实现动态灵活查询和cube构建，最后通过集成JDBC的Java代码实现简单查询操作。 ......
ua5.4源码剖析：三. C++与Lua相互调用
概述 从本质上来看，其实说是不存在所谓的C++与lua的相互调用。lua是运行在C上的，简单来说lua的代码会被编译成字节码在被C语言的语法运行。在C++调用lua时，其实是解释运行lua文件编译出来的字节码。lua调用C++其实还是解释运行lua文件编译出来的字节码的语义是调用lua栈上的C++函 ......
[DuckDB] 多核算子并行的源码解析
DuckDB 是近年来颇受关注的OLAP数据库，号称是OLAP领域的SQLite，以精巧简单，性能优异而著称。笔者前段时间在调研Doris的Pipeline的算子并行方案，而DuckDB基于论文《Morsel-Driven Parallelism: A NUMA-Aware Query Evalua ......