分布式 基础ubuntu hadoop
linux 基础（7）账号和群组的管理
了解账号和群组的基本信息 账号使用 如何查看 linux 计算机上有哪些账号呢？账号的信息储存在/etc/passwd中，打开就可以看到： less /etc/passwd root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologi ......
【rust】rsut基础：模块的使用一、mod 关键字、mod.rs 文件的含义等
本文内容 这篇文章是实战性质的，也就是说原理部分较少，属于经验总结，rust对于模块的例子太少了。rust特性比较多（悲），本文的内容可能只是一部分，实现方式也不一定是这一种。 关于 rust 模块的相关内容，准确来说：怎么在源码中引用其他模块的内容。 关于 mod、 use 、as 这几个关键字（ ......
Ubuntu 22.04 GCC Arm 12.2.rel1编译 DAPLink
记录一下过程. Arm Mbed 应该属于Arm的机构或者是Arm资助的机构. 常用的 DAPLink 基本上都是从这个项目派生的. 仓库主要是使用 Keil, 对 GCC 的支持是 2020 年才正式合并进来的. Ubuntu 下使用 GCC Arm 编译 ......
Ubuntu玩机记录，让我破电脑又飞起来了
写在前面 很早之前的电脑ThinkPad E440，一直没怎么用。最近整理了一下电脑的资料，全部备份到云盘。整理的过程感觉电脑很慢很慢，难受极了。整理完后，终于我要对它下手了！ 我制作了启动U盘，把Ubuntu 22.04的镜像烧录进去，通过U盘启动，把系统装在ThinkPad上。居然电脑出奇的好用 ......
开源分布式支持超大规模数据分析型数据仓库Apache Kylin实践-上
再下一城又一个实时多维交互式分析数仓利器，了解其特性和架构组成，进一步阐述相关概念和其生态圈；介绍作为开发测试最快捷方式的Docker单机部署；也基于Hadoop环境一步步部署最新v4.0.3二进制并解决遇到的问题，最后通过一个读取hive数据示例介绍kylin创建项目、选择数据源、创建Model、... ......
开源分布式支持超大规模数据分析型数据仓库Apache Kylin实践-下
本篇先通过Kylin对连接条件、维度和度量限制的示例弄清Kylin的使用注意事项，在此基础上研究Kylin查询引擎，并配置spark查询下压实现没有cube的查询；理解Cube的构建优化，通过官方提供RestAPI实现动态灵活查询和cube构建，最后通过集成JDBC的Java代码实现简单查询操作。 ......
算法学习笔记(16): 组合数学基础
组合数学基础 本文部分运用到了生成函数的知识 如果直接食用本文结论，请忽略下列链接。 生成函数参考博客：普通型生成函数 - Ricky2007 - 博客园 我认为讲的不错 组合数学非常有用！我们先从一点点简单的性质开始 简单原理 加法原理 这非常简单，我们举一个例子即可：考虑我有 $5$ 个红苹果和 ......
探索ABP基础架构的横切关注点
大家好，我是张飞洪，感谢您的阅读，我会不定期和你分享学习心得，希望我的文章能成为你成长路上的垫脚石，让我们一起精进。 授权、验证、异常处理和日志记录等横切关注点是每个系统的基本组成部分，它们对于确保系统的安全和良好运行至关重要。 实现横切关注点会导致应用中的很多地方出现重复代码。此外，一次授权或验证 ......
.Net Core对于`RabbitMQ`封装分布式事件总线
首先我们需要了解到分布式事件总线是什么； 分布式事件总线是一种在分布式系统中提供事件通知、订阅和发布机制的技术。它允许多个组件或微服务之间的协作和通信，而无需直接耦合或了解彼此的实现细节。通过事件总线，组件或微服务可以通过发布或订阅事件来实现异步通信。 例如，当一个组件完成了某项任务并生成了一个事件 ......
(一) MdbCluster分布式内存数据库——基础架构介绍
(一) MdbCluster分布式内存数据库——基础架构介绍 这个项目是怎么开始的我已经有些记不清楚了，大概是原来的内存数据库很不好用，一次次地让我们踩坑，我又自以为是地觉得可以做一个更好的出来。自从拥有自己的团队以来，我思考最多的总是如何带着团队做出有意义和有价值的产品，而不是将时间浪费在无谓的琐 ......
基于 Ubuntu 服务器配置原生的 Socks5 网关代理服务器
常见的代理协议有 http、https、socks4/5 这三种，http协议的代理搭建方案最简单，但是http代理无法访问https网站，https代理无法实现调用远端dns，所以我个人推荐使用Scoks5协议做代理，本文用于记录在Ubuntu系统中搭建Socks5代理的详细步骤，采用dante- ......
DRF框架基础
DRF框架基础 了解drf之前咱们安装一下该框架吧DRF安装与使用 本篇文章会详细介绍web开发模式、API接口及其接口测试工具、restful规范、还有经常分不清又很重要的序列化与反序列化的部分，初级交接触APIView、Request类。每个人对知识点的理解都会不一样，因此我会用自己的理解撰写一 ......
神经网络基础部件-BN层详解
训练深度神经网络的复杂性在于，因为前面的层的参数会发生变化导致每层输入的分布在训练过程中会发生变化。这又导致模型需要需要较低的学习率和非常谨慎的参数初始化策略，从而减慢了训练速度，并且具有饱和非线性的模型训练起来也非常困难。网络层输入数据分布发生变化的这种现象称为内部协变量转移，BN 就是来解决这个... ......
分布式协议与算法-Raft算法
本文总结自：极客时间韩健老师的分布式协议与算法实战课程。 大家都知道，Raft算法属于Multi-Paxos算法，它是在Multi-Paxos思想的基础上，做了一些简化和限制。关于Paxos算法，博主在之前的文章有过总结，大家可以从这里跳转：分布式协议与算法-Paxos算法 关于Raft算法相关的开 ......
使用docker安装hadoop（已实现）
1.拉镜像 这里推荐第一个 docker pull registry.cn-hangzhou.aliyuncs.com/hadoop_test/hadoop_base 或者 docker pull qianiqan/hadoop_only 2.创建容器 三个容器的名称分别是Master、Slave1 ......
java反序列化基础
前言：最近开始学习java的序列化与反序列化，现在从原生的序列化与反序列化开始，小小的记录一下 参考文章：https://blog.csdn.net/mocas_wang/article/details/107621010 01.什么是序列化与反序列化 其实java的序列化说白了就是将一个对象转换成 ......
明解STM32—GPIO理论基础知识篇之基本结构
一、前言 万物皆有源头，大家学习单片机的源头操作就是通过GPIO口点灯，GPIO作为STM32最基础的外设，也是大家最先接触的外设。当然，看似基础的GPIO，不仅仅是简单的设置好IO口，让灯亮起就一了百了，了解清楚GPIO的使用特性，根本原理、运行机制对我们在涉及到GPIO的相关设计操作上会应用 ......
salesforce零基础学习（一百二十四）Postman 使用
本篇参考： Salesforce 集成篇零基础学习（一）Connected App salesforce 零基础学习（三十三）通过REST方式访问外部数据以及JAVA通过rest方式访问salesforce 我们在项目中也经常遇见下游系统去和我们进行交互的情况，针对 salesforce可以提供 标 ......
区块链特辑——solidity语言基础(三)
Solidity语法基础学习 五、映射类型： 映射型态 Mapping Type 映射钥匙Key → 真实资料 Value mapping(KeyType → ValueType) VariableName ·关键字：mapping ·宣告一个映射，后面需定义钥匙（Key）与资料（Value）的型态 ......
用Java写一个分布式缓存——缓存管理
之前也用过一些缓存中间件，框架，也想着自己是不是也能用Java写一个出来，于是就有了这个想法，打算在写的过程中同步进行总结
源码：https://github.com/weloe/Java-Distributed-Cache ......
用Java写一个分布式缓存——缓存淘汰算法
前言 之前也用过一些缓存中间件，框架，也想着自己是不是也能用Java写一个出来，于是就有了这个想法，打算在写的过程中同步进行总结。 源码：weloe/Java-Distributed-Cache (github.com) 本篇代码： Java-Distributed-Cache/src/main/j ......
面对集中式缓存实现上的挑战，Redis交出的是何种答卷？聊聊Redis在分布式方面的能力设计
对于一个集中式缓存的分布式能力构建，必须要额外提供一些机制，来保障数据在各个节点上的安全与一致性。本文以Redis为代表，看下集Redis面对上述问题交出的是怎样一份答卷。 ......
linux 基础（2）文件权限及其修改
文件的权限属性 在 linux 中，每个文件都有唯一的“所属者”（user）和“所属群组”（group）。owner 和 group 都对文件有特殊的权限 输入ls -l，就可以详细查看每个文件的权限属性。 我们可以看到，用户名和群组名可以是相同的。一个群组可以只包含一个用户，也可以包含多个用户。 ......
使用Logstash工具导入sqlserver数据到elasticSearch及elk分布式日志中心
首先记下这个笔记，Logstash工具导入sqlserver数据到elasticSearch。 因为logstash使用java写的，我本地开发是win11，所以javade jdk必须要安装。具体安装不介绍了，就是网上下个java8，不要去官网要账号什么的,不是java开发不太折腾，目前只用jav ......
安装Ubuntu系统到中国移动电视盒子
根据B站的视频资料，貌似这个盒子的性价比要比树莓派高一些，所以做了这个安装实验。新年伊始，armbian库也加紧升级，感觉大家都在想尽一切办法告别3年疫情给大家带来的伤害。 B站视频推荐把系统安装在盒子的内部，但是家的盒子平时还连接着电视，如果安装到内部，就会破坏原有的Android系统，就无法看电 ......
Ubuntu20.04/22.04 安装 Arduino IDE 2.x
这周收到两片基于LGT8F328P LQFP32的Arduino Mini EVB, 机器上没有 Arduino 环境需要新安装, 正好感受一下新出的 Arduino IDE 2.x, 记录一下 Ubuntu 20.04/22.04 下安装 Arduino IDE 2.x 的过程. ......
普冉PY32系列(二) Ubuntu GCC Toolchain和VSCode开发环境
以下介绍PY32F0系列在Ubuntu下如何使用GCC Arm Embedded Toolchain环境进行开发和烧录. GitHub 仓库地址: https://github.com/IOsetting/py32f0-template ......
Ubuntu下的LGT8F328P MiniEVB Arduino开发和烧录环境
基于 LGT8F328P LQFP32 的 Arduino Mini EVB, 这个板型资料较少, 记录一下开发环境和烧录过程以及当中遇到的问题. ......
【深入浅出Seata原理及实战】「入门基础专题」带你透析认识Seata分布式事务服务的原理和流程（1）
分布式事务的背景 随着业务的不断发展，单体架构已经无法满足我们的需求，分布式微服务架构逐渐成为大型互联网平台的首选，但所有使用分布式微服务架构的应用都必须面临一个十分棘手的问题，那就是“分布式事务”问题。 在分布式微服务架构中，几乎所有业务操作都需要多个服务协作才能完成。对于其中的某个服务而言，它的 ......