分布式 集群 影响力github
去年最火的 JS 开源项目「GitHub 热点速览」
去年最火的 JS 开源项目「GitHub 热点速览」 近日，「Best of JS」发布了过去一年在 GitHub 上 Star 数增速最快的 JavaScript 开源项目（2023 JavaScript Rising Stars），前 10 的开源项目 Star 增长竟然都是令人惊叹的 1.5w ......
分布式限流——基于Redis的Lua脚本限流实现
分布式限流 当你的应用分布式部署出现对等端（peer）时，单机的限流往往不能满足对下游保护的作用，因为它仅仅是jvm内存层面的流量控制。这个时候自然而然会想到用一些跨JVM的分布式中间件控制在单位时间窗口内的请求是否通行，本文我们将探讨如何借助Redis实现分布式限流。 1 固定窗口限流 前文已经介 ......
GitHub常用搜索技巧
普通关键词搜索 搜索关键词为javascript的所有项目，可以搜索到数量为 2 百万的项目，数量庞大，不利于筛选。 高级搜索（添加限定词） 搜索写法 含义 in:name XXX 按照项目（仓库）名称搜索 in:description XXX 按照项目（仓库）描述搜索 in:readme XXX ......
Spark版本不兼容导致Standalone集群无法连接问题
一、Spark版本不一致报错现象 当使用client模式连接Spark的standalone集群时，报错所有的spark master的节点都没有回应。 二、问题排查思路 通过client端的日志产看没有什么有价值的信息，需要看下spark端的master的日志，docker logs spark- ......
Linux 部署redis集群（三主三从）
1、由于redis是C语言编写的，安装之前需要保证有gcc的环境配置 首先使用命令，查看gcc版本，若已经存在则跳过gcc的安装：gcc -v 若不存在gcc，则使用命令安装gcc：yum install gcc-c++ 2、下载redis源文件 mkdir /usr/local/redis cd ......
分布式代码执行分析
SparkContext对象的构建 以及 Spark程序的退出, 由 Driver 负责执行 具体的数据处理步骤, 由Executor在执行. 其实简单来说就是: 非数据处理的部分由Driver工作 数据处理的部分(干活)由Executor工作 要知道: Executor不仅仅是一个, 视集群规模, ......
limit 影响性能的原因和优化方案
一、问题 当使用limit实现分页查询时，当limit的偏移量越大时，sql语句的耗时也越大。 select * from table_name limit 10000,10 select * from table_name limit 0,10 这两条查询语句都是取10条数据，但性能就相差甚远。 ......
GitHub OAuth2的授权指南
一.OAuth2简介 OAuth 2.0（开放授权 2.0）是一种用于授权的开放标准，旨在允许用户在不提供他们的用户名和密码的情况下，授权第三方应用访问其在另一网站上的信息。它是在网络服务之间安全地共享用户资源的流行协议。 以下是OAuth2的主要组成部分和概念： 资源所有者（Resource Ow ......
.net core分布式定时任务调度系统
分布式任务调度平台XXL-JOB与.net core分布式定时任务调度系统 .net core分布式定时任务调度系统前端：java web 后端：.net core3.1数据库：mysql，sqlserver 来源 银柱网 http://www.liyinzhu.com ......
分布式缓存的实现和使用
1.前言 什么是分布式缓存？ 分布式缓存是指将缓存数据存储在多个节点（通常是不同的计算机或服务器）上，以提高系统性能和可伸缩性。这种缓存方式允许应用程序通过从缓存中读取数据而不是从数据库或其他存储中读取来提高读取操作的速度。分布式缓存通常用于大规模的分布式系统，其中需要快速的数据访问，而传统的数据库 ......
Prometheus监控k8s集群节点主机内存/CPU使用率
CPU使用率： (1 - avg(rate(node_cpu_seconds_total{mode="idle"}[5m])) by (instance)) *100 说明： container_cpu_usage_seconds_total 该容器服务针对每个CPU累计消耗的CPU时间。如果有多个 ......
持续构建行业影响力|HarmonyOS SDK荣膺年度“技术卓越”奖项
自2023年9月华为宣布鸿蒙原生应用全面启动以来，HarmonyOS SDK通过将HarmonyOS系统级能力对外开放，支撑开发者高效打造更纯净、更智能、更精致、更易用的鸿蒙原生应用，和开发者共同成长。 通过在开发者社区和HarmonyOS开发者持续的内容共创与技术交流互动，HarmonyOS SD ......
TiDB 多集群告警监控-中章-融合多集群 Grafana
author：longzhuquan 背景 随着公司XC改造步伐的前进，越来越多的业务选择 TiDB，由于各个业务之间需要物理隔离，避免不了的 TiDB 集群数量越来越多。虽然每套 TiDB 集群均有两个详细的监控 Dashboard、Grafana，但对于运维来说几十套集群的监控、告警、巡检均需消 ......
持续构建行业影响力|HarmonyOS SDK荣膺年度“技术卓越”奖项
自 2023 年 9 月华为宣布鸿蒙原生应用全面启动以来，HarmonyOS SDK 通过将 HarmonyOS 系统级能力对外开放，支撑开发者高效打造更纯净、更智能、更精致、更易用的鸿蒙原生应用，和开发者共同成长。 通过在开发者社区和 HarmonyOS 开发者持续的内容共创与技术交流互动，Har ......
TiDB 在单机上模拟部署生产环境集群
参考地址：https://docs.pingcap.com/zh/tidb/dev/quick-start-with-tidb 前提条件 硬件要求 开始部署 TiDB 集群前，准备一台部署主机，确保其软件满足需求： 推荐安装 CentOS 7.3 及以上版本 运行环境可以支持互联网访问，用于下载 T ......
k8s集群手动更换证书过程
第一步部分老的证书 1. 生成etcd证书，更换etcd证书，重启etcd服务。2. 替换/etc/calico的证书为etcd的证书重启calico-node服务。3. 更换calico的pod的证书为新生成的calico-node和calico-kube-controllers.4. 更换k8s ......
开源：Taurus.DTC 微服务分布式事务框架，支持 .Net 和 .Net Core 双系列版本
在经过1年多的深思，十几年的框架编写技术沉淀下，花了近一个月的时间，终于又为 .Net 及 .Net Core 的微服务系列框架贡献当中的一个重要组件。原本的设计是作为 Taurus.Mvc 微服务系列中的一个插件，单独内部集成使用，后来想了想，还是在设计中独立了出来，支持在任意 Mvc 框架中使用... ......
Java中单体应用锁的局限性&分布式锁
互联网系统架构的演进 在互联网系统发展之初，系统比较简单，消耗资源小，用户访问量也比较少，我们只部署一个Tomcat应用就可以满足需求。系统架构图如下: 一个Tomcat可以看作是一个JVM进程，当大量的请求并发到达系统时，所有的请求都落在这唯一的一个Tomcat上，如果某些请求方法是需要加锁的，比 ......
一键构建分布式云原生平台
http://wed.xjx100.cn/news/90673.html 目录 专栏导读 一、分布式云原生平台 1、应用无所不能 2、运行无处不在 3、服务千行白业 二、分布式云原生平台关键要素 1、统一应用管理 2、统一流量自治 3、统一数据管理 4、统一运维 三、多云多集群已经广泛应用 四、分布 ......
我的 .NET/C# 开源项目清单，同步维护于 Github 和 Gitee
我的 .NET/C# 开源项目清单，同步维护于 Github 和 Gitee 我的开源项目过去一直托管在 Github 上。目前也同步上传到了国内的 Gitee 平台，同步维护。本文整理了所有开源项目的链接和简介，希望对你有用。 分类：软件产品 技术开发 标签: .Net 开源 2021/3/15 ......
Kubernetes 多集群网络方案系列 1 -- Submariner 介绍
https://cloudpods.csdn.net/657811c5b8e5f01e1e449b3e.html Kubernetes 多集群网络方案系列 1 -- Submariner 介绍 本文首先介绍了 Submariner 的架构，包括 Broker、Gateway Engine、Route ......
Kubernetes 多集群网络方案系列 2 -- Submariner 监控
https://juejin.cn/post/7222575963565015096 Kubernetes 多集群网络方案系列 2 -- Submariner 监控 2023-04-16 62 阅读10分钟 Submariner 是一个用于连接 Kubernetes 集群的跨集群网络解决方案，可以实 ......
nginx中多个server块共用upstream会相互影响吗
nginx中经常有这样的场景，多个server块共用一个域名。
如：upstream有2个以上的域名，nginx配置两个server块，共用一个upstream配置。
那么，如果其中一个域名发生"no live upstreams while connecting to upstream"错误，会不... ......
一篇文章彻底搞懂TiDB集群各种容量计算方式
背景 TiDB 集群的监控面板里面有两个非常重要、且非常常用的指标，相信用了 TiDB 的都见过： Storage capacity：集群的总容量 Current storage size：集群当前已经使用的空间大小 当你准备了一堆服务器，经过各种思考设计部署了一个 TiDB 集群，有没有想过这两个 ......
K8s 多集群实践思考和探索
https://www.cnblogs.com/vivotech/p/17684105.html 作者：vivo 互联网容器团队 - Zhang Rong 本文主要讲述了一些对于K8s多集群管理的思考，包括为什么需要多集群、多集群的优势以及现有的一些基于Kubernetes衍生出的多集群管理架构实践 ......
GitHub Pull request 同步解决代码冲突
参考： https://zhuanlan.zhihu.com/p/337949346 git remote -vgit remote add upstream git@gitee.com:src-anolis-os/bpftrace.gitgit remote -vgit fetch upstrea ......
22-安全机制：Kubernete 如何保障集群安全？
（https://rancher.com/blog/2019/2019-01-17-101-more-kubernetes-security-best-practices/） 你好，我是正范。 Kubernetes 作为一个分布式集群的管理工具，提供了非常强大的可扩展能力，可以帮助你管理容器，实现业 ......
23-最后的防线：怎样对 Kubernete 集群进行灾备和恢复？
Kubernetes 隐藏了所有容器编排的复杂细节，让我们可以专注在应用本身，而无须过多关注如何去做部署和维护。此外，Kubernetes 还支持多副本，可以保证我们业务的高可用性。而对于集群本身而言，我们一样也要保证其高可用性，你可以参考官方文档：利用 Kubeadm 来创建高可用集群。 但是这些 ......