定理 分布式linux cap
使用linux的ffmpeg进行B站直播推流
很久之前买了个友善的开发板R2S，一直在家吃灰。最近看到网上有用ffmpeg进行直播推流的案例，想把吃灰的的开发板利用起来，于是有了这篇教程。 第一步：安装ffmpeg sudo apt update sudo apt install ffmpeg 第二部分：创建用来存放视频的文件夹 这里我选择在/ ......
秒级查询之开源分布式SQL查询引擎Presto实操-上
大数据交互式查询是每个数据分析人员不可或缺的需求，本篇以业界交互式查询的经典之作Presto为研究对象，了解其架构和优缺点及丰富连接器。并通过安装一个协调节点和3个worker节点的分布式集群，使用命令行界面演示hive连接器的查询数据表的示例，最后了解其使用的要点。 ......
rate-limit 一款 java 开源渐进式分布式限流框架使用介绍
项目简介 rate-limit 是一个为 java 设计的渐进式限流工具。 目的是为了深入学习和使用限流，后续将会持续迭代。 特性 渐进式实现 支持独立于 spring 使用 支持整合 spring 支持整合 spring-boot 内置多种限流策略 快速开始 需求 jdk 1.7 maven 3. ......
Linux NTP工具的基本使用
NTP 时间同步 NTP（Network Time Protocol）协议，网络时间协议。利用ntp协议可以实现网络中的计算机时间同步。 实现NTP协议的工具： ntpdate：只能同步一次时间 ntp：持久同步时间 chrony：持久同步时间，精度比上面的ntp更好，速度更快。 使用ntpdate ......
为什么分布式限流会出现不均衡的情况？
概述 在微服务、API 化、云原生大行其道的今天，服务治理不可或缺，而服务治理中限流几乎是必不可少的手段；微服务化往往伴随着分布式的架构，那么仅仅单机限流是不够的，还需要分布式的限流。 那么问题就来了：分布式限流中，往往会出现「限流不均衡」或「限流误差」的情况，这是为什么呢？ 限流 国庆假期，限流这 ......
自己动手基于 Redis 实现一个 .NET 的分布式锁类库
分布式锁的核心其实就是采用一个集中式的服务，然后多个应用节点进行抢占式锁定来进行实现，今天介绍如何采用Redis作为基础服务，实现一个分布式锁的类库，本方案不考虑 Redis 集群多节点问题，如果引入集群多节点问题，会导致解决成本大幅上升，因为 Redis 单节点就可以很容易的处理10万并发量了，这 ......
分布式注册服务中心etcd在云原生引擎中的实践
作者：王雷 etcd是什么 etcd是云原生架构中重要的基础组件，由CNCF孵化托管。ETCD是用于共享配置和服务发现的分布式，一致性的KV存储系统，是CoreOS公司发起的一个开源项目，授权协议为Apache。etcd 基于Go语言实现，主要用于共享配置，服务发现，集群监控，leader选举，分布 ......
.NET 云原生架构师训练营（基于 OP Storming 和 Actor 的大型分布式架构一）--学习笔记
目录 为什么我们用 Orleans Dapr VS Orleans Actor 模型 Orleans 的核心概念 为什么我们用 Orleans 分布式系统开发、测试的难度（服务发现、通信） 运维的复杂度（伸缩性与可靠性的保障） actor 拥有全局唯一身份 自动伸缩功能 Dapr VS Orlean ......
CAP 7.0 版本发布通告 - 支持延迟消息，性能炸了？
前言 今天，我们很高兴宣布 CAP 发布 7.0 版本正式版，我们在这个版本中带来了大批新特性以及对性能的优化和改进。 自从今年 1月份发布 6.0 版本以来，已经过去了快1年的时间。在过去的将近1年的时间里，我们也发布了几个次要版本和小版本(6.0.1, 6.1.0, 6.2.0, 6.2.1)， ......
一图看懂Hadoop中的MapReduce与Spark的区别：从单机数据系统到分布式数据系统经历了哪些?
今日博主思考了一个问题：Hadoop中的MapReduce与Spark他们之间到底有什么关系？ 直到我看到了下面这张图 废话不多说先上图👇 我们知道，单机数据系统，在本地主机上针对数据有单机本地存储操作（localFS）和单机计算操作（SQL） 这是在数据量比较小方便在一台主机就完成任务的情况。 ......
redisson分布式锁原理剖析
redisson分布式锁原理剖析 相信使用过redis的，或者正在做分布式开发的童鞋都知道redisson组件，它的功能很多，但我们使用最频繁的应该还是它的分布式锁功能，少量的代码，却实现了加锁、锁续命(看门狗)、锁订阅、解锁、锁等待（自旋）等功能，我们来看看都是如何实现的。 加锁 //获取锁对 ......
前端学习 linux —— 软件安装(Ubuntu)
软件安装(Ubuntu) 本篇主要讲解 ubuntu 中软件的安装、apt 的源、内网部署案例（graylog 为例），最后是 python 开发准备。 apt 和 rpm 在linux 第一篇我们知道如果机器是 ubuntu 则可用 apt-get/dpkg 安装软件，如果是centos 则可用 ......
Linux系统各种库/软件版本输出指令
日常开发基于Linux系统（其实更多的是Ubuntu平台），平时总会遇到一些情况需要查看某个库或者软件的版本信息，在这里做一下简单的记录。 1. 查看glibc版本 方法一：使用ldd指令 cv@cv:~$ ldd --version ldd (Ubuntu GLIBC 2.23-0ubuntu11 ......
Multipass，多平台本地轻量级Linux体验！
Multipass 是由Ubuntu官方提供，在Linux，MacOS和Windows上快速生成Ubuntu虚拟机的工具。它提供了一个简单但功能强大的CLI，可让我们在本地快速进入Ubuntu系统环境并使用Linux命令，亦可以在本地计算机创建自己的迷你型云服务器。总的来说就是在本地创建Ubuntu... ......
Flink同步Kafka数据到ClickHouse分布式表
公众号文章都在个人博客网站：https://www.ikeguang.com/ 同步，欢迎访问。 业务需要一种OLAP引擎，可以做到实时写入存储和查询计算功能，提供高效、稳健的实时数据服务，最终决定ClickHouse。 什么是ClickHouse？ ClickHouse是一个用于联机分析(OLAP ......
Linux 系统环境监测
Linux系统环境监测 Linux系统环境主要监测CPU、内存、磁盘I/O和网络流量。 1. CPU （1） 查看CPU的负载情况：uptime 可以通过uptime查看系统整体的负载情况。 如果服务器的CPU为1核心，则1分钟的系统平均负载 >=3 说明负载过高，如果服务器的CPU为4核心，则lo ......
Linux面试题1：用户态和内核态
内核态和用户态 我们开发的服务代码，都是基于操作系统抽象提供的功能接口，进而操作相应的硬件资源。而硬件资源对于安全性要求非常高，所以对于安全性和系统稳定性而言，需要划定不同的应用程序运行级别。 Intel对于CPU的权限划分了四个等级0 ~ 3，linux采用了其中的0和2这两个等级。运行在0级别的 ......
Linux 基础-文件权限与属性
一个基本概念：任何装置在 Linux 下都是文件，数据沟通的接口也有专属的文件在负责，Linux 的文件种类繁多，常用的是一般文件(-)与目录文件(d)。 注意：Linux 文件类型和文件的文件名所代表的意义是两个不同的概念，在 linux 中文件类型与文件扩展名没有关系。它不像 Windows 那... ......
linux server设置开机自动连接WIFI
1.前言 之前买了一个工控机，装过几个OS（linux 发行版），但是一直没有细研究过流程，只是停留在能用就不管了，工控机自带无线网卡（和俩个有线网口），所以这篇文章好好介绍如何开机自动连接WIFI（无图形化界面）。 2.安装软件 首先系统我安装的是 ubuntu 18.04 server版 ，安装 ......
一步一图带你深入理解 Linux 物理内存管理
1. 前文回顾 在上篇文章 《深入理解 Linux 虚拟内存管理》 中，笔者分别从进程用户态和内核态的角度详细深入地为大家介绍了 Linux 内核如何对进程虚拟内存空间进行布局以及管理的相关实现。在我们深入理解了虚拟内存之后，那么何不顺带着也探秘一下物理内存的管理呢？ 所以本文的目的是在深入理解虚拟 ......