分布式 中间件 专题 系统
开源分布式支持超大规模数据分析型数据仓库Apache Kylin实践-下
本篇先通过Kylin对连接条件、维度和度量限制的示例弄清Kylin的使用注意事项，在此基础上研究Kylin查询引擎，并配置spark查询下压实现没有cube的查询；理解Cube的构建优化，通过官方提供RestAPI实现动态灵活查询和cube构建，最后通过集成JDBC的Java代码实现简单查询操作。 ......
.Net Core对于`RabbitMQ`封装分布式事件总线
首先我们需要了解到分布式事件总线是什么； 分布式事件总线是一种在分布式系统中提供事件通知、订阅和发布机制的技术。它允许多个组件或微服务之间的协作和通信，而无需直接耦合或了解彼此的实现细节。通过事件总线，组件或微服务可以通过发布或订阅事件来实现异步通信。 例如，当一个组件完成了某项任务并生成了一个事件 ......
鸿蒙系统应用开发之基于API6的蓝牙开发
写在前面 由题意得，我今天讲的是基于鸿蒙系统的兼容JS的类Web开发范式的软件应用开发之蓝牙开发，它是基于API6的，至于为什么是基于API6,请你花几分钟看一下我之前写的这个系列教程的第四篇“ 鸿蒙系统应用开发之入门解说",地址是：https://www.yuque.com/ataola/cpts ......
(一) MdbCluster分布式内存数据库——基础架构介绍
(一) MdbCluster分布式内存数据库——基础架构介绍 这个项目是怎么开始的我已经有些记不清楚了，大概是原来的内存数据库很不好用，一次次地让我们踩坑，我又自以为是地觉得可以做一个更好的出来。自从拥有自己的团队以来，我思考最多的总是如何带着团队做出有意义和有价值的产品，而不是将时间浪费在无谓的琐 ......
深度剖析 Linux 伙伴系统的设计与实现
在上篇文章 《深入理解 Linux 物理内存分配全链路实现》 中，笔者为大家详细介绍了 Linux 内存分配在内核中的整个链路实现： 但是当内核执行到 get_page_from_freelist 函数，准备进入伙伴系统执行具体内存分配动作的相关逻辑，笔者考虑到文章篇幅的原因，并没有过多的着墨，算是 ......
分布式协议与算法-Raft算法
本文总结自：极客时间韩健老师的分布式协议与算法实战课程。 大家都知道，Raft算法属于Multi-Paxos算法，它是在Multi-Paxos思想的基础上，做了一些简化和限制。关于Paxos算法，博主在之前的文章有过总结，大家可以从这里跳转：分布式协议与算法-Paxos算法 关于Raft算法相关的开 ......
多云监控告警系统的优势
前一篇文章基于多云构建监控告警系统讲了我们是如何构建多云监控告警的，监控告警系统的基础数据来源于云上，也就是说我们监控系统里所有用到的基础数据云上都有，既然如此，为什么不直接去云控制台上查看，而是要构建自己的监控告警系统呢？这篇文章我们就来聊下这个话题 之所以会基于多云构建我们自己的监控告警系统，有 ......
这一年我们上线的自动化系统
新年之初我就写了篇文章2022，房车使用这一年总结过去一年的日常生活，2022年除了认真的生活之外，在工作上也有了不小的变化，首先是2021年底从工作了近10年的公司离职，在2022年的第一个工作日就入职了新公司，算是无缝衔接，在新公司的这一年主要负责运维自动化的规划、开发及推动落地，挑战很大，尤其 ......
用Java写一个分布式缓存——缓存管理
之前也用过一些缓存中间件，框架，也想着自己是不是也能用Java写一个出来，于是就有了这个想法，打算在写的过程中同步进行总结
源码：https://github.com/weloe/Java-Distributed-Cache ......
用Java写一个分布式缓存——缓存淘汰算法
前言 之前也用过一些缓存中间件，框架，也想着自己是不是也能用Java写一个出来，于是就有了这个想法，打算在写的过程中同步进行总结。 源码：weloe/Java-Distributed-Cache (github.com) 本篇代码： Java-Distributed-Cache/src/main/j ......
物以类聚人以群分,通过 GensimLda文本聚类构建人工智能个性化推荐系统(Python3.10)
众所周知，个性化推荐系统能够根据用户的兴趣、偏好等信息向用户推荐相关内容，使得用户更感兴趣，从而提升用户体验，提高用户粘度，之前我们曾经使用协同过滤算法构建过个性化推荐系统，但基于显式反馈的算法就会有一定的局限性，本次我们使用无监督的Lda文本聚类方式来构建文本的个性化推荐系统。 推荐算法:协同过滤 ......
面对集中式缓存实现上的挑战，Redis交出的是何种答卷？聊聊Redis在分布式方面的能力设计
对于一个集中式缓存的分布式能力构建，必须要额外提供一些机制，来保障数据在各个节点上的安全与一致性。本文以Redis为代表，看下集Redis面对上述问题交出的是怎样一份答卷。 ......
react 高效高质量搭建后台系统 系列 —— 登录
其他章节请看： react 高效高质量搭建后台系统 系列 登录 本篇将完成登录模块。效果和 spug 相同： 需求如下： 登录页的绘制 支持普通登录和LDAP登录 登录成功后跳转到主页，没有登录的情况下访问系统会重定向到登录页，登录成功后再次回到之前的页面。系统会话过期后，请求会重定向到登录页。 T ......
使用Logstash工具导入sqlserver数据到elasticSearch及elk分布式日志中心
首先记下这个笔记，Logstash工具导入sqlserver数据到elasticSearch。 因为logstash使用java写的，我本地开发是win11，所以javade jdk必须要安装。具体安装不介绍了，就是网上下个java8，不要去官网要账号什么的,不是java开发不太折腾，目前只用jav ......
.Net开发的系统安装或更新时如何避免覆盖用户自定义的配置
我们开发的系统，有时候会包含一些配置信息，需要用户在系统安装后自己去设置，例如我们有一个GPExSettings.xml文件，内容如下。 <GPExSettings ArcPythonPath="C:\Python27\ArcGIS10.8\python.exe" IsUseArcPython="F ......
安装Ubuntu系统到中国移动电视盒子
根据B站的视频资料，貌似这个盒子的性价比要比树莓派高一些，所以做了这个安装实验。新年伊始，armbian库也加紧升级，感觉大家都在想尽一切办法告别3年疫情给大家带来的伤害。 B站视频推荐把系统安装在盒子的内部，但是家的盒子平时还连接着电视，如果安装到内部，就会破坏原有的Android系统，就无法看电 ......
【深入浅出Seata原理及实战】「入门基础专题」带你透析认识Seata分布式事务服务的原理和流程（1）
分布式事务的背景 随着业务的不断发展，单体架构已经无法满足我们的需求，分布式微服务架构逐渐成为大型互联网平台的首选，但所有使用分布式微服务架构的应用都必须面临一个十分棘手的问题，那就是“分布式事务”问题。 在分布式微服务架构中，几乎所有业务操作都需要多个服务协作才能完成。对于其中的某个服务而言，它的 ......
【深入浅出Seata原理及实战】「入门基础专题」探索Seata服务的AT模式下的分布式开发实战指南（2）
承接上文 上一篇文章说到了Seata 为用户提供了 AT、TCC、SAGA 和 XA 事务模式，为用户打造一站式的分布式解决方案。那么接下来我们将要针对于AT模式下进行分布式事务开发的原理进行介绍以及实战。 Seata AT模式 在AT、TCC、SAGA 和 XA 这四种事务模式中使用最多，最方便的 ......
【Redis实战专题】「性能监控系列」全方位探索Redis的性能监控以及优化指南
Redis基本简介 Redis是一个开源（BSD 许可）、内存存储的数据结构服务器，可用作数据库，高速缓存和消息队列代理。它支持字符串、哈希表、列表、集合、有序集合等数据类型。内置复制、Lua 脚本、LRU收回、事务以及不同级别磁盘持久化功能，同时通过 Redis Sentinel 提供高可用，通过 ......
【Java应用服务体系】「序章入门」全方位盘点和总结调优技术专题指南
专题⽬标 本系列专题的目标是希望可以帮助读者们系统和全访问掌握应⽤系统调优的思路与方案以及相关的调优工具的使用，虽然未必会覆盖目前的所有的问题场景，但是还是提供了较为丰富的案例和调优理论，会帮助大家打开思维去⽀撑系统服务体系优化能力。 适合人员 Java相关的开发人员、系统架构师、数据库DB人员以及 ......
【SpringBoot实战专题】「开发实战系列」从零开始教你舒服的使用RedisTemplate操作Redis数据
SpringBoot快速操作Redis数据 在SpringBoot框架中提供了spring-boot-starter-data-redis的依赖组件进行操作Redis服务，当引入了该组件之后，只需要配置Redis的配置即可进行链接Redis服务并且进行操作Redis服务数据。 针对于不同的版本有了不 ......
【SpringBoot实战专题】「开发实战系列」从零开始教你舒服的使用RedisTemplate操作Redis数据
SpringBoot快速操作Redis数据 在SpringBoot框架中提供了spring-boot-starter-data-redis的依赖组件进行操作Redis服务，当引入了该组件之后，只需要配置Redis的配置即可进行链接Redis服务并且进行操作Redis服务数据。 针对于不同的版本有了不 ......
【分布式技术专题】「LVS负载均衡」全面透析Web基础架构负载均衡LVS机制的原理分析指南
前提概要 在大规模互联网应用中，负载均衡设备是必不可少的组成部分，源于互联网应用的高并 发和大流量的冲击压力场景下，通常会在服务端部署多个无状态的应用服务器和若干有状态的存储服务器（数据库、缓存等等）实现高可用特点和机制。 LVS的介绍说明 官方站点：http://www.linuxvirtuals ......
[apue] Unix 系统数据文件那些事儿
如何免密 ssh 登录空密码账户？getpwent 为何会返回比 /etc/passwd 文件更多的内容？同样是修改附加组 ID，usermod -G 和 gpasswd -a/-d 有何区别？/etc/networks 有什么用处？gethostbyname / getservbyname 和 g... ......
鸿蒙系统应用开发之开发准备
Hi，欢迎大家在有空的时候做客【江涛学编程】，这里是2023年的第10篇原创文章，今天我们来聊一聊鸿蒙系统应用开发之前，要做什么准备工作，如下图所示，我们要做的就是安装DevEco Studio，然后配置开发环境。 老规矩，拍拍手👏，上菜。 安装DevEco Studio 首先我们打开链接http ......
鸿蒙系统应用开发之入门解说
Hi，欢迎大家在有空的时候做客【江涛学编程】，这里是2023年的第11篇原创文章，同学，我们又见面啦，今天我们继续聊下上一期讲的那个话题 鸿蒙系统应用开发入门解说 老规矩，拍拍手👏，上菜。 模拟器选型解说 开始之前我们先看一张图，从中提炼出三个观点，第一个，你是个JSer，你只需要关心eTs和JS ......
请求量突增一下，系统有效QPS为何下降很多？
原创：扣钉日记（微信公众号ID：codelogs），欢迎分享，转载请保留出处。 简介 最近我观察到一个现象，当服务的请求量突发的增长一下时，服务的有效QPS会下降很多，有时甚至会降到0，这种现象网上也偶有提到，但少有解释得清楚的，所以这里来分享一下问题成因及解决方案。 队列延迟 目前的Web服务器， ......
聊聊分布式缓存
缓存作为磁盘以外的一种存储数据的方式，它有着比磁盘更快的存取效率，因此，可以有效提高系统的性能。在单体系统中，一般会用到本地缓存。但在分布式系统中，本地缓存就显得不够用了，这时往往要用到分布式缓存。 分布式缓存特性 本地缓存因为就在应用系统进程的内存里面，不需要网络和对象拷贝的开销所以性能非常高，不 ......
分布式协议与算法-Paxos算法
本文总结自：极客时间韩健老师的分布式协议与算法实战课程。 为什么要学习Paxos算法？其实关于这个问题的答案，每个人有不同的看法。其实对我来说，我认为当前很多常用的共识算法都是基于它改进，我学习它的初衷也是为了更好的去理解Raft算法。如果你想深入理解RAFT算法，博主在这里推荐蚂蚁金服的SOFAJ ......
分布式协议与算法-Quorum NWR
1.强一致性与最终一致性 1.1强一致性 强一致性能保证写操作完成后，任何后续访问都能读到更新后的值；强一致性可以保证从库有与主库一致的数据。如果主库突然宕机，我们仍可以保证数据完整。但如果从库宕机或网络阻塞，主库就无法完成写入操作。 1.2最终一致性 最终一致性只能保证如果对某个对象没有新的写操作 ......