区块tugraph方案kafka
基于ERNIELayout&pdfplumber-UIE的多方案学术论文信息抽取
基于ERNIELayout&pdfplumber-UIE的多方案学术论文信息抽取，小样本能力强悍，OCR、版面分析、信息抽取一应俱全。 ......
粘包拆包及解决方案
一、粘包与拆包是什么？ TCP在接受数据的时候，有一个滑动窗口来控制接受数据的大小，这个滑动窗口你就可以理解为一个缓冲区的大小。缓冲区满了就会把数据发送。数据包的大小是不固定的，有时候比缓冲区大有时候小。如果一次请求发送的数据量比较小，没达到缓冲区大小，TCP则会将多个请求合并为同一个请求进行发送， ......
使用 Bitnami Helm 安装 Kafka
服务器端 K3S 上部署 Kafka Server Kafka 安装 📚️ Quote: charts/bitnami/kafka at master · bitnami/charts (github.com) 输入如下命令添加 Helm 仓库： > helm repo add tkemarket ......
火山引擎DataLeap数据调度实例的 DAG 优化方案
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，并进入官方交流群 实例 DAG 介绍 DataLeap 是火山引擎自研的一站式大数据中台解决方案，集数据集成、开发、运维、治理、资产管理能力于一身的大数据研发治理套件。在平台中，一个核心的功能为任务的调度，会根据任务设置的调度频率（月级，日 ......
Apache Kafka 移除 ZK Proposals
Zookeeper 和 KRaft 这里有一篇 Kafka 功能改进的 proposal 原文。要了解移除 ZK 的原因，可以仔细看看该文章。以下是对该文章的翻译。 动机 目前，Kafka 使用 Zookeeper 保存与分区（patitions）、brokers 相关的元数据，以及选举 Kafka ......
All in one入门之All in one和三种PVE、ESXI、Windows Server方案
前言 All in one 前段时间，在某多多上花了446大洋弄了一台J4125准系统小主机，再花了一点钱买个杂牌msata和“全新”三星内存条，入坑了All in one。 All in one是什么呢？从英文直译为“多合一”，所谓的All in one就是将若干个设备的特殊功能赋予一个高性能设备 ......
区块链,中心去,何曾着眼看君王?用Go语言实现区块链技术,通过Golang秒懂区块链
区块链技术并不是什么高级概念，它并不比量子力学、泡利不相容原则、哥德巴赫猜想更难以理解，但却也不是什么类似“时间就是金钱”这种妇孺皆知的浅显道理。区块链其实是一套统筹组织记录的方法论，或者说的更准确一些，一种“去中心化”的组织架构系统。 去中心化 众所周知，任何一个公司、组织、或者是机构，都遵循同一 ......
订单自动确认或取消设计方案
订单自动确认或取消设计方案 前不见古人，后不见来者。念天地之悠悠，独怆然而涕下。 简介 系统订单自动确认或取消的设计方案，最常见的一个业务比如N天后自动确认订单，达到动态修改订单状态的目的。大多数项目采用的都是如下两种方案。 方案1：使用传统的数据库如MySQL，通过轮询来判断数据库表中订单的状态。 ......
微前端中实现沙箱环境的方案调研
前言 在微前端实践过程中有一个必然会遇到的问题：全局作用域变量的污染问题，具体来说就是window对象挂载数据会被主子应用获取和修改导致数据相互污染问题，这时候如果能在应用之间做个数据隔离，最好能实现一个沙箱环境，对解决问题很有帮助。 iframe方案 说到沙箱隔离，首先想到的是iframe，自带数 ......
VUE项目无法启动NODE版本与NODE-SASS、SASS-LOADER版本不兼容解决方案
一、错误分析 在VUE项目开发中，我们经常会遇到报错： Node Sass version 7.0.1 is incompatible with ^4.0.0。 网上解决方案也千奇百怪，最终操作下来，也是搞了个寂寞，项目依旧无法正常运行，通常这种情况普遍都是团队或者项目使用的NODE版本不一致。 二 ......
客户端视频渲染目前最理想的解决方案
很多客户端产品有视频渲染需求。视频渲染有软件渲染和硬件渲染两种方案。 软件渲染一般来说需要将常见的yuv视频流转换成rgb/rgba视频流，再通过GDI绘制到窗口上。软件渲染的优势在于可以方便的和客户端界面做融合，达到更好的界面效果，比如通过alphablend等API实现前景，背景的混合。 然后软 ......
Python 大数据量文本文件高效解析方案代码实现
大数据量文本文件高效解析方案代码实现 测试环境 Python 3.6.2 Win 10 内存 8G，CPU I5 1.6 GHz 背景描述 这个作品来源于一个日志解析工具的开发，这个开发过程中遇到的一个痛点，就是日志文件多，日志数据量大，解析耗时长。在这种情况下，寻思一种高效解析数据解析方案。 解决 ......
企业级自定义表单引擎解决方案（十八）--列表视图属性设置
表格对于后台管理类的系统来说，至关重要，系统大多数功能都需要以表格的方式展示业务内容，系统开发人员多数时间也是围绕着表格进行业务编码，接触过很多后台管理系统的框架，我个人第一首先也是看表格功能是否强大。 对于低代码平台来说，也是非常核心的内容，关系到系统好不好用，功能能不能支撑各种业务场景的需求，所 ......
本地同时启停多个中间件的优雅方案
"I don’t care if it works on your machine! We are not shipping your machine!" - Vidiu Platon “我才不管它能不能在你的机器上运行捏！我们又不会给你提供机器！” —— 韦都·柏拉图 0x00 大纲 0x01 前 ......
动态更改Spring定时任务Cron表达式的优雅方案
"Most of you are familiar with the virtues of a programmer. There are three, of course: laziness, impatience, and hubris." - Larry Wall “程序员的美德：懒惰，不耐烦 ......
Kafka技术专题之「性能调优篇」消息队列服务端出现内存溢出OOM以及相关性能调优实战分析
本篇文章介绍Kafka处理大文件出现内存溢出 java.lang.OutOfMemoryError: Direct buffer memory，主要内容包括基础应用、实用技巧、原理机制等方面，希望对大家有所帮助。 ......
【分布式技术专题】「架构设计方案」盘点和总结秒杀服务的功能设计及注意事项技术体系
分析秒杀的业务场景，最重要的有一点就是超卖问题，假如备货只有100个，但是最终超卖了200，一般来讲秒杀系统的价格都比较低，如果超卖将严重影响公司的财产利益，因此首当其冲的就是解决商品的超卖问题。 ......
作者推荐 | 【分布式技术专题】「架构设计方案」图解学习法总结集群模式下的各种软负载均衡策略实现及原理分析
通常来说，负载均衡分为硬件负载均衡及软件负载均衡。硬件负载均衡，顾名思义，在服务器节点之间安装专门的硬件进行负载均衡的工作，F5或者A10便为其中的佼佼者。软件负载均衡则是通过在服务器上安装的特定的负载均衡软件或是自带负载均衡模块完成对请求的分配派发。例如，平时我们使用的Nginx或者API-Gat... ......
【秒杀购物商城业务服务】「分布式架构服务」盘点中间件服务的高可用模式及集群技术的方案分析
- 基于MySQL数据库集群技术实现服务的高可用
- 基于Tomcat的集群负载机制实现Tomcat服务器的高可用
- 基于Nginx负载均衡机制实现负载均衡（介绍和配置）
- 基于Redis缓存服务实现数据缓存控制相关介绍和技术点分析
- 对未来的分布式技术架构扩展和延伸介绍（包含云原生部分） ......
RabbitMQ、RocketMQ、Kafka延迟队列实现
延迟队列在实际项目中有非常多的应用场景，最常见的比如订单未支付，超时取消订单，在创建订单的时候发送一条延迟消息，达到延迟时间之后消费者收到消息，如果订单没有支付的话，那么就取消订单。 那么，今天我们需要来谈的问题就是RabbitMQ、RocketMQ、Kafka中分别是怎么实现延时队列的，以及他们对 ......
高可用系列文章之二 - 传统分层架构技术方案
前文链接 高可用系列文章之一 - 概述 - 东风微鸣技术博客 (ewhisper.cn) 三 技术方案 3.1 概述 单点是系统高可用最大的风险和敌人，应该尽量在系统设计的过程中避免单点。 保障系统的高可用, 方法论上，高可用保证的原则是「集群化」(或 「冗余」), 只有一个单点，该单点宕机所有服务 ......
监控Kubernetes集群证书过期时间的三种方案
前言 Kubernetes 中大量用到了证书, 比如 ca证书、以及 kubelet、apiserver、proxy、etcd等组件，还有 kubeconfig 文件。 如果证书过期，轻则无法登录 Kubernetes 集群，重则整个集群异常。 为了解决证书过期的问题，一般有以下几种方式： 大幅延长 ......
高可用系列文章之三 - NGINX 高可用实施方案
前文链接 高可用系列文章之一 - 概述 - 东风微鸣技术博客 (ewhisper.cn) 高可用系列文章之二 - 传统分层架构技术方案 - 东风微鸣技术博客 (ewhisper.cn) 四 NGINX 高可用实施方案 高可用的实施, 主要步骤概述如下: NGINX 的安装及基础配置 负载均衡层高可用 ......
现代 CSS 高阶技巧，不规则边框解决方案
本文是 CSS Houdini 之 CSS Painting API 系列第四篇。 现代 CSS 之高阶图片渐隐消失术 现代 CSS 高阶技巧，像 Canvas 一样自由绘图构建样式！ 现代 CSS 高阶技巧，完美的波浪进度条效果！ 在上三篇中，我们详细介绍了 CSS Painting API 是如 ......
手把手教你一套完善且高效的k8s离线部署方案
作者：郝建伟 背景 面对更多项目现场交付，偶而会遇到客户环境不具备公网条件，完全内网部署，这就需要有一套完善且高效的离线部署方案。 系统资源 | 编号 | 主机名称 | IP | 资源类型 | CPU | 内存 | 磁盘 | | -- | | | | | | | | 01 | k8s-master1 ......
Kafka事务「原理剖析」
一、事务概览 提起事务，我们第一印象可能就是ACID，需要满足原子性、一致性、事务隔离级别等概念，那kafka的事务能做到什么程度呢？我们首先看一下如何使用事务 Producer端代码如下 KafkaProducer<String, String> producer = new KafkaProdu ......
浏览器打印方案
前言 在web端打印是比较常见的需求，实际工作中也接触了不少，在这里对工作中用到的做一下总结 1.通过媒体查询隐藏元素 通过style标签内联引入，或者使用媒体查询media="print"外链样式表。然后将无关元素隐藏，只将需要打印的内容展示出来；这时候需要专门写一套打印样式，页面修改，打印样式可 ......
万字长文！对比分析了多款存储方案，KeeWiDB最终选择自己来
大数据时代，无人不知Google的“三驾马车”。“三驾马车”指的是Google发布的三篇论文，介绍了Google在大规模数据存储与计算方向的工程实践，奠定了业界大规模分布式存储系统的理论基础，如今市场上流行的几款国产数据库都有参考这三篇论文。 《The Google File System》，200 ......
SpringBoot3.x中spring.factories功能被移除的解决方案
背景 笔者所在项目组在搭建一个全新项目的时候选用了SpringBoot3.x，项目中应用了很多SpringBoot2.x时代相关的第三方组件例如baomidou出品的mybatis-plus、dynamic-datasource等。在配置好相关依赖、最小启动类和配置之后，发现项目无法启动。于是根据启 ......