apache2 apache linux https
Apache Hudi 流转批 场景实践
背景 在某些业务场景下，我们需要一个标志来衡量hudi数据写入的进度，比如：Flink 实时向 Hudi 表写入数据，然后使用这个 Hudi 表来支持批量计算并通过一个 flag 来评估它的分区数据是否完整从而进一步写入分区数据进行分区级别的ETL，这也就是我们通常说的流转批。 EventTime计 ......
Apache Hudi 负载类Payload使用案例剖析
在 Hudi 中可以根据业务场景为 Hudi 表配置负载类Payload，它用于在更新期间合并同一记录的两个版本。本文将深入了解有效负载类的用途以及可以使用的所有不同方式。 配置：hoodie.datasource.write.payload.class 注意：对于新的记录合并API ，这些可能会发 ......
不花钱几分钟让你的站点也支持https
前言 现在，免费SSL证书已经很普遍了，但是，申请和配置SSL证书仍然是一件较为繁琐的事，修改web服务配置在所难免，且不同的web服务配置方法不一样，不具备通用性。本文介绍一种通用的快速配置方法，web服务只需要做很少的改动（只需要修改端口号即可），支持任何web服务，只需要满足以下条件： 你的服 ......
云原生时代顶流消息中间件Apache Pulsar部署实操-上
本篇先部署Apache Pulsar 最新版本2.11.0的 Locally Standalone，并通过创建Topic、生产消息和消费消息验证基础环境;接着通过二进制也即是所谓裸机部署方式一步步演示如何部署Pulsar的分布式集群，并通过Admin客户端验证基于租户、命名空间一些消息管理和使用简单... ......
HTTPS基础原理和配置 - 1
近期又碰到了SSL相关的事情, 就心血来潮开个新专题 - 《HTTPS基础原理和配置》 本文是第一篇文章， 主要介绍SSL TLS加密协议的相关内容。 加密协议历史概要 SSL TLS加密协议其实并没有很长的历史，1995年网景发布了SSL v2.0，这也是web加密的开始。这使得电子商务领域，人们 ......
HTTPS基础原理和配置-2
〇、概述 作为概述，以下是本文要讲的内容。HTTPS 是什么? 每个人都可能从浏览器上认出 HTTPS，并对它有好感。然后再讲一遍基础知识，再详细讲一下协议版本，密码套件（Cipher Suites），本文的重点会落在如何配置 NGINX，让你的网站使用 HTTPS 服务。 除此之外，还有一个使用 ......
HTTPS基础原理和配置-3
书接上文：HTTPS 基础原理和配置 - 2，接下来介绍： 配置 NGINX 后端 HTTPS 检查配置 配置 HSTS OCSP Stapling 重要部分来了。如何使用这些选项并配置NGINX? 一、NGINX 的 HTTPS 配置 这里有一些基本的原语（或叫做指令），你可以使用:ssl_cer ......
聊一聊HTTPS双向认证的简单应用
背景 在三方接口对接中，偶尔会遇到需要传递证书的情况，这种方式其实是在SSL握手过程中会同时验证客户端和服务器的身份，这就是我们常说的 双向认证。 双向认证需要服务器和客户端提供身份认证，只能是服务器允许的客户方能访问，安全性相对于要高一些。 下面老黄用几个小例子来演示一下双向认证的简单应用。 准备 ......
嵌入式Linux—FreeType矢量字体
freetype矢量字体 常用API 1.FT_Init_FreeType函数是FreeType库中的一个函数，其作用是初始化FreeType库，并返回一个指向FT_Library对象的指针。下面是该函数的参数详解： FT_Error FT_Init_FreeType(FT_Library *ali ......
嵌入式Linux—输入子系统
输入系统 常见的输入设备有键盘、鼠标、遥控杆、书写板、触摸屏等等,用户通过这些输入设备与Linux系统进行数据交换。 内核中怎样表示一个输入设备 // include/linux/input.h struct input_dev { const char *name; //设备名称 const ch ......
从Linux Bridge引发的网桥、交换机与路由器区别探究
背景 最近接触docker的网络配置方式，发现其默认会创建一个docker0的Linux Bridge，宿主机上运行的容器可以通过连接该birdge实现与外网的通信，根据bridge这个命名很自然的认为这就是一个传统意义上的硬件网桥的软件实现，然而进一步探究后发现并非如此，Linux Bridge其 ......
C#实现聊天消息渲染、图文混排（支持Windows、Linux）
在实现聊天软件时，渲染文字表情图文混排是一项非常繁琐的工作，再加上还要支持GIF动图、引用消息、撤回消息、名片等不同样式的消息渲染时，就更加麻烦了。那么有简单的实现办法吗？嗯，有的。 ......
linux 基础（6）简单认识 bash
shell 和 bash 是什么？ shell 是一种应用程序，在这个程序里输入文字指令，系统就会做出响应的操作。这个“壳程序”是我们使用系统各种功能的接口，学会了 shell 就是学会操作 linux 系统。检索/etc/shells，可以看到当前系统的 shell 有哪些。而 bash （Bou ......
linux 基础（7）账号和群组的管理
了解账号和群组的基本信息 账号使用 如何查看 linux 计算机上有哪些账号呢？账号的信息储存在/etc/passwd中，打开就可以看到： less /etc/passwd root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologi ......
.NET 6学习笔记（7）——ASP.NET Core通过配置文件启用HTTPS
本质上我还是一个Windows App Developer，所以虽然会做一些ASP.NET Core的工作，但通常这些ASP.NET Core的程序会托管在Windows Service上，并且大部分时候跑在局域网环境。说实话传统行业的Win DEV对Web这一套其实不怎么精通，今天我们来看一下AS ......
Linux上安装jdk Tomcat mysql redis等
1.安装JDk 1.1这里使用xshell中xfxp进行文件的上传，将jdk二进制包上传到Linux服务器上 下载地址：https://www.oracle.com/java/technologies/downloads/#java8 或者这里有下载好的安装包：链接：https://pan.baid ......
基于Apache Hudi 构建Serverless实时分析平台
NerdWallet 的使命是为生活中的所有财务决策提供清晰的信息。 这涵盖了一系列不同的主题：从选择合适的信用卡到管理您的支出，到找到最好的个人贷款，再到为您的抵押贷款再融资。 因此，NerdWallet 提供了跨越众多领域的强大功能，例如信用监控和警报、用于跟踪净值和现金流的仪表板、机器学习 ( ......
让Apache Beam在GCP Cloud Dataflow上跑起来
简介 在文章《Apache Beam入门及Java SDK开发初体验》中大概讲了Apapche Beam的简单概念和本地运行，本文将讲解如何把代码运行在GCP Cloud Dataflow上。 本地运行 通过maven命令来创建项目： mvn archetype:generate \ -Darche ......
linux 高效压缩工具之xz的压缩解压使用
xz是什么 高压缩率的工具，它使用 LZMA2 压缩算法，生成的压缩文件比传统使用的 gzip、bzip2 生成的压缩文件更小， 不过xz也有一个坏处就是压缩时间比较长，比7z压缩时间还长一些。不过压缩主要用于归档，不介意的可以忽略。 擅长压缩文本和日志文件，针对这块的压缩率，是目前我发现效率最高的 ......
linux环境编程(3): 使用POSIX IPC完成进程间通信
1. 写在前面 之前的文章总结了使用管道进行进程间通信的方法，除了pipe和fifo，Linux内核还为我们提供了其他更高级的IPC方式，包括共享内存，消息队列，信号量等，本篇文章会通过一个具有完整逻辑功能的示例说明如何使用这些IPC方法。毕竟单纯地查手册，写代码...周而复始，这个过程还是比较枯燥 ......
大数据实时多维OLAP分析数据库Apache Druid入门分享-上
Apache Druid是⼀款针对海量数据进⾏⾼性能实时分析OLAP引擎的实时分析型数据库，本篇了解其特征和适用场景，并与其他框架横向对比；最后部署一个最新版本25.0.0单机版演示本地文件摄取入库,并演示基于Json API本地查询和SQL两种查询方式 ......
大数据实时多维OLAP分析数据库Apache Druid入门分享-下
了解Apache Druid的基础概念后，本篇进一步研究其核心架构和核心设计原理部分，了解相关外部依赖，对其数据摄取和查询有一定认识，然后通过搭建分布式集群进一步理解其架构组成，最后用一个示例从HDFS将数据摄取到Druid并演示两种查询方式 ......
开源分布式支持超大规模数据分析型数据仓库Apache Kylin实践-上
再下一城又一个实时多维交互式分析数仓利器，了解其特性和架构组成，进一步阐述相关概念和其生态圈；介绍作为开发测试最快捷方式的Docker单机部署；也基于Hadoop环境一步步部署最新v4.0.3二进制并解决遇到的问题，最后通过一个读取hive数据示例介绍kylin创建项目、选择数据源、创建Model、... ......
开源分布式支持超大规模数据分析型数据仓库Apache Kylin实践-下
本篇先通过Kylin对连接条件、维度和度量限制的示例弄清Kylin的使用注意事项，在此基础上研究Kylin查询引擎，并配置spark查询下压实现没有cube的查询；理解Cube的构建优化，通过官方提供RestAPI实现动态灵活查询和cube构建，最后通过集成JDBC的Java代码实现简单查询操作。 ......
Linux音频采集和在国产化平台中遇到的坑（一）
最近在做一个国产化平台的软件项目的开发，是基于国产芯片的银河麒麟系统。其中有一个重要模块，是采集和播放音频数据，播放不用多说了，采集的话，包括采集麦克风和采集桌面系统声音。很多人都觉得银河麒麟不就是linux么，那不直接用ALSA就好了，我原本也是这么想的，但是实际开发下来才发现，还是有各种坑需要自... ......
Linux音频采集和在国产化平台中遇到的坑（二）
ALSA采集这条路走不通，只能尝试其他途径，这里通过PulseAudio的接口成功实现了国产化平台上采集麦克风和系统声音的功能。 ......
《爆肝整理》保姆级系列教程-玩转Charles抓包神器教程(5)-Charles如何设置捕获Https会话
1.简介 在大数据时代，互联网时代，个人信息安全尤为重要，网络安全在近日多起电信诈骗事情发酵下的情况下，引起国家，企业，个人对于互联网安全进一步的重视。而之前很多以http协议传输的网站出现的网站信息泄露，个人信息裸露在大数据的泳池中，让我们在遇到一个陌生网站的时候，都会格外考虑其安全性。通过认证S ......
深度剖析 Linux 伙伴系统的设计与实现
在上篇文章 《深入理解 Linux 物理内存分配全链路实现》 中，笔者为大家详细介绍了 Linux 内存分配在内核中的整个链路实现： 但是当内核执行到 get_page_from_freelist 函数，准备进入伙伴系统执行具体内存分配动作的相关逻辑，笔者考虑到文章篇幅的原因，并没有过多的着墨，算是 ......
嵌入式Linux—Framebuffer应用编程
Framebuffer 应用编程 Frame的意思是帧，buffer的意思是缓冲区。Framebuffer就是一块内存(硬件设备)，里面保存着一帧图像。 ioctl()函数解析 ioctl()函数非常强大。不同的驱动程序内部会实现不同的 ioctl() ，可以使用各种 ioctl() 跟驱动程序交互 ......
嵌入式Linux—文件IO
文件IO 在 Linux 系统中，一切都是“ 文件”：普通文件、驱动程序、网络通信等等。所有的操作，都是通过“文件 IO”来进行的。所以，很有必要掌握文件操作的常用接口。 Linux系统的文件有哪些 Linux 的文件既可以是真实保存到存储介质的文件也可以是自身内核提供的虚拟文件，还可以是设备节点 ......