clickhouse系统 日志
.NET微服务系统迁移至.NET6.0的故事
本次迁移涉及的是公司内部一个业务子系统，该系统是一个多样化的应用，支撑着公司的多个业务方向。目前，该系统由40多个基于.NET的微服务应用构成，使用数千个CPU核心和数TB内存，在数百个Linux容器中运行。每天，该系统需要处理数十亿次请求。 该系统其中大部分服务是在2018-2019年左右由老旧. ......
0x04_自制操作系统My-OS实现自定义颜色
前言： 0x03我们提到： 把12（红色）用循环写入显存，每个像素点怎么显示都要看对应的显存地址，比如0xa0000到0xaffff就是每一个像素点的显存 你问为什么12就是红色，这些东西在主板出厂的时候就是规定好的，就是有点调用主板api的味道，这是我的猜测，具体为什么还要你们来查 你会发现12是 ......
国际财务系统基于ShardingSphere的数据分片和一主多从实践
作者：京东物流 张广治 1 背景 传统的将数据集中存储至单一数据节点的解决方案，在性能和可用性方面已经难于满足海量数据的场景，系统最大的瓶颈在于单个节点读写性能，许多的资源受到单机的限制，例如连接数、网络IO、磁盘IO等，从而导致它的并发能力不高，对于高并发的要求不满足。 每到月初国际财务系统压力巨 ......
MongoDB从入门到实战之.NET Core使用MongoDB开发ToDoList系统（3）-系统数据集合设计
前言 前几章教程我们把ToDoList系统的基本框架搭建好了，现在我们需要根据我们的需求把ToDoList系统所需要的系统集合（相当于关系型数据库中的数据库表）。接下来我们先简单概述一下这个系统主要需要实现的功能以及实现这些功能我们需要设计那些数据库集合。 MongoDB从入门到实战的相关教程 Mo ......
基于多云构建监控告警系统
之前有一个系列的文章来讲我们多云系统的设计与落地，多云系统实现了云上资源的统一管理，同时基于关联关系构建了清晰的资源拓扑，其中基于业务的资源拓扑应用最为广泛，也就是我们通常所属的服务树，许多的使用场景都依赖服务树来提供基础数据 如何保证多云系统提供的基础数据是准确的？其中一个非常有效的方式就是让上层 ......
千姿百态,瞬息万变,Win11系统NeoVim打造全能/全栈编辑器(前端/Css/Js/Vue/Golang/Ruby/ChatGpt)
我曾经多次向人推荐Vim，其热情程度有些类似现在卖保险的，有的时候，人们会因为一些弥足珍贵的美好暗暗渴望一个巨大的负面，比如因为想重温手动挡的快乐而渴望买下一辆二十万公里的老爷车，比如因为所谓完美的音质而舍不得一个老旧的有线耳机，比如因为一个铜炉火锅而期待北京那漫长而寒冷的冬天。 ......
ClickHouse(12)ClickHouse合并树MergeTree家族表引擎之AggregatingMergeTree详细解析
AggregatingMergeTree引擎继承自 MergeTree，并改变了数据片段的合并逻辑。ClickHouse会将一个数据片段内所有具有相同主键（准确的说是排序键）的行替换成一行，这一行会存储一系列聚合函数的状态。 可以使用AggregatingMergeTree表来做增量数据的聚合统计， ......
react 高效高质量搭建后台系统 系列 —— 系统布局
其他章节请看： react 高效高质量搭建后台系统 系列 系统布局 前面我们用脚手架搭建了项目，并实现了登录模块，登录模块所依赖的请求数据和antd（ui框架和样式）也已完成。 本篇将完成系统布局。比如导航区、头部区域、主体区域、页脚。 最终效果如下： spug 中系统布局的分析 spug 登录成功 ......
react 高效高质量搭建后台系统 系列 —— 表格的封装
其他章节请看： react 高效高质量搭建后台系统 系列 表格 有一种页面在后台系统中比较常见：页面分上下两部分，上部分是 input、select、时间等查询项，下部分是查询项对应的表格数据。包含增删改查，例如点击新建进行新增操作。就像这样： 本篇将对 ant 的表格进行封装。效果如下： spug ......
【Django drf】视图层大总结 ViewSetMixin源码分析 路由系统 action装饰器
九个视图子类 # 两个视图基类 1.APIView 2.GenericAPIView APIView： renderer_classes响应格式类 parser_classes请求解析类 跟数据库解耦合 GenericAPIView：queryset数据集 serializer_class序列化类 ......
普冉PY32系列(五) 使用JLink RTT代替串口输出日志
JLink RTT(Real Time Transfer) 是用于嵌入式系统监控和交互的工具, 类似于SWO, 可以双向通信, 特点是性能很高, 基本上不影响嵌入式应用的实时行为, 可以对比一下使用printf输出日志时的各种限制. 而且因为和 JLink 接口集成, 不需要再浪费一个串口输出 pr... ......
Grafana 系列文章（六）：Grafana Explore 中的日志
👉️URL: https://grafana.com/docs/grafana/latest/explore/logs-integration/#labels-and-detected-fields 📝Description: Explore 中的日志 除了指标之外，Explore 还允许你在以 ......
Grafana 系列文章（九）：开源云原生日志解决方案 Loki 简介
简介 Grafana Labs 简介 Grafana 是用于时序数据的事实上的仪表盘解决方案。它支持近百个数据源。 Grafana Labs 想从一个仪表盘解决方案转变成一个可观察性 (observability) 平台，成为你需要对系统进行调试时的首选之地。 完整的可观察性 可观察性。关于这意味着 ......
Grafana 系列文章（十一）：Loki 中的标签如何使日志查询更快更方便
👉️URL: https://grafana.com/blog/2020/04/21/how-labels-in-loki-can-make-log-queries-faster-and-easier/ 📝Description: 关于标签在 Loki 中如何真正发挥作用，你需要知道的一切。它可 ......
Grafana 系列文章（十二）：如何使用Loki创建一个用于搜索日志的Grafana仪表板
概述 创建一个简单的 Grafana 仪表板, 以实现对日志的快速搜索. 有经验的直接用 Grafana 的 Explore 功能就可以了. 但是对于没有经验的人, 他们如何能有一个已经预设了简单的标签搜索的仪表板，以帮助一些团队在排除故障时快速找到他们正在寻找的东西。虽然 Explore 很适合这 ......
鸿蒙系统应用开发之基于API6的蓝牙开发
写在前面 由题意得，我今天讲的是基于鸿蒙系统的兼容JS的类Web开发范式的软件应用开发之蓝牙开发，它是基于API6的，至于为什么是基于API6,请你花几分钟看一下我之前写的这个系列教程的第四篇“ 鸿蒙系统应用开发之入门解说",地址是：https://www.yuque.com/ataola/cpts ......
深度剖析 Linux 伙伴系统的设计与实现
在上篇文章 《深入理解 Linux 物理内存分配全链路实现》 中，笔者为大家详细介绍了 Linux 内存分配在内核中的整个链路实现： 但是当内核执行到 get_page_from_freelist 函数，准备进入伙伴系统执行具体内存分配动作的相关逻辑，笔者考虑到文章篇幅的原因，并没有过多的着墨，算是 ......
Sqoop导出ClickHouse数据到Hive
背景 公司采购了外部服务，其存储为ClickHouse，按照公司要求需要将其数据采集到Hive。 验证环境 CDH: 6.3.2 ClickHouse: 19.15.4.10 Sqoop: 1.4.7 Driver 需要在脚本中明确指明所使用的Driver完整签名。 ClickHouse使用自定义协 ......
多云监控告警系统的优势
前一篇文章基于多云构建监控告警系统讲了我们是如何构建多云监控告警的，监控告警系统的基础数据来源于云上，也就是说我们监控系统里所有用到的基础数据云上都有，既然如此，为什么不直接去云控制台上查看，而是要构建自己的监控告警系统呢？这篇文章我们就来聊下这个话题 之所以会基于多云构建我们自己的监控告警系统，有 ......
这一年我们上线的自动化系统
新年之初我就写了篇文章2022，房车使用这一年总结过去一年的日常生活，2022年除了认真的生活之外，在工作上也有了不小的变化，首先是2021年底从工作了近10年的公司离职，在2022年的第一个工作日就入职了新公司，算是无缝衔接，在新公司的这一年主要负责运维自动化的规划、开发及推动落地，挑战很大，尤其 ......
物以类聚人以群分,通过 GensimLda文本聚类构建人工智能个性化推荐系统(Python3.10)
众所周知，个性化推荐系统能够根据用户的兴趣、偏好等信息向用户推荐相关内容，使得用户更感兴趣，从而提升用户体验，提高用户粘度，之前我们曾经使用协同过滤算法构建过个性化推荐系统，但基于显式反馈的算法就会有一定的局限性，本次我们使用无监督的Lda文本聚类方式来构建文本的个性化推荐系统。 推荐算法:协同过滤 ......
ClickHouse(11)ClickHouse合并树MergeTree家族表引擎之SummingMergeTree详细解析
SummingMergeTree引擎继承自MergeTree。区别在于，当合并SummingMergeTree表的数据片段时，ClickHouse会把所有具有相同主键的行合并为一行，该行包含了被合并的行中具有数值数据类型的列的汇总值。如果主键的组合方式使得单个键值对应于大量的行，则可以显著的减少存储 ......
react 高效高质量搭建后台系统 系列 —— 登录
其他章节请看： react 高效高质量搭建后台系统 系列 登录 本篇将完成登录模块。效果和 spug 相同： 需求如下： 登录页的绘制 支持普通登录和LDAP登录 登录成功后跳转到主页，没有登录的情况下访问系统会重定向到登录页，登录成功后再次回到之前的页面。系统会话过期后，请求会重定向到登录页。 T ......
使用Logstash工具导入sqlserver数据到elasticSearch及elk分布式日志中心
首先记下这个笔记，Logstash工具导入sqlserver数据到elasticSearch。 因为logstash使用java写的，我本地开发是win11，所以javade jdk必须要安装。具体安装不介绍了，就是网上下个java8，不要去官网要账号什么的,不是java开发不太折腾，目前只用jav ......
.Net开发的系统安装或更新时如何避免覆盖用户自定义的配置
我们开发的系统，有时候会包含一些配置信息，需要用户在系统安装后自己去设置，例如我们有一个GPExSettings.xml文件，内容如下。 <GPExSettings ArcPythonPath="C:\Python27\ArcGIS10.8\python.exe" IsUseArcPython="F ......
Serilog日志同步到redis中和自定义Enricher来增加额外的记录信息
Serilog 日志同步到redis队列中 后续可以通过队列同步到数据库、腾讯阿里等日志组件中，这里redis库用的新生命团队的NewLife.Redis组件 可以实现轻量级消息队列（轻量级消息队列RedisQueue (newlifex.com)），也可以自行替换熟悉的组件 类库目录 该类库需添加 ......
安装Ubuntu系统到中国移动电视盒子
根据B站的视频资料，貌似这个盒子的性价比要比树莓派高一些，所以做了这个安装实验。新年伊始，armbian库也加紧升级，感觉大家都在想尽一切办法告别3年疫情给大家带来的伤害。 B站视频推荐把系统安装在盒子的内部，但是家的盒子平时还连接着电视，如果安装到内部，就会破坏原有的Android系统，就无法看电 ......
【Redis技术专区】「优化案例」谈谈使用Redis慢查询日志以及Redis慢查询分析指南
前提介绍 本篇文章主要介绍了Redis的执行的慢查询的功能的查询和配置功能，从而可以方便我们在实际工作中，进行分析Redis的性能运行状况以及对应的优化Redis性能的佐证和指标因素。 在我们5.0左右的版本中Redis使用单线程架构和I/O多路复用模型来实现高性能的内存数据服务。接下来主要分析Re ......
SQLSERVER 事务日志的 LSN 到底是什么？
一：背景 1. 讲故事 大家都知道数据库应用程序 它天生需要围绕着数据文件打转，诸如包含数据的 .mdf，事务日志的 .ldf，很多时候深入了解这两类文件的合成原理，差不多对数据库就能理解一半了，关于 .mdf 的合成前面的文章已经有所介绍，这篇我们来聊一下 .ldf 的一些内部知识，比如 LSN。 ......