分布式 文件jmeter csv
开源分布式支持超大规模数据分析型数据仓库Apache Kylin实践-上
再下一城又一个实时多维交互式分析数仓利器，了解其特性和架构组成，进一步阐述相关概念和其生态圈；介绍作为开发测试最快捷方式的Docker单机部署；也基于Hadoop环境一步步部署最新v4.0.3二进制并解决遇到的问题，最后通过一个读取hive数据示例介绍kylin创建项目、选择数据源、创建Model、... ......
开源分布式支持超大规模数据分析型数据仓库Apache Kylin实践-下
本篇先通过Kylin对连接条件、维度和度量限制的示例弄清Kylin的使用注意事项，在此基础上研究Kylin查询引擎，并配置spark查询下压实现没有cube的查询；理解Cube的构建优化，通过官方提供RestAPI实现动态灵活查询和cube构建，最后通过集成JDBC的Java代码实现简单查询操作。 ......
.Net Core对于`RabbitMQ`封装分布式事件总线
首先我们需要了解到分布式事件总线是什么； 分布式事件总线是一种在分布式系统中提供事件通知、订阅和发布机制的技术。它允许多个组件或微服务之间的协作和通信，而无需直接耦合或了解彼此的实现细节。通过事件总线，组件或微服务可以通过发布或订阅事件来实现异步通信。 例如，当一个组件完成了某项任务并生成了一个事件 ......
Python读取大量Excel文件并跨文件批量计算平均值
本文介绍基于Python语言，实现对多个不同Excel文件进行数据读取与平均值计算的方法。 首先，让我们来看一下具体需求：目前有一个文件夹，其中存放了大量Excel文件；文件名称是每一位同学的名字，即文件名称没有任何规律。 而每一个文件都是一位同学对全班除了自己之外的其他同学的各项打分，我们以其中一 ......
Python自动批量修改文件名称的方法
本文介绍基于Python语言，按照一定命名规则批量修改多个文件的文件名的方法。 已知现有一个文件夹，其中包括班级所有同学上交的作业文件，每人一份；所有作业文件命名格式统一，都是地信1701_姓名_学习心得格式。 现需要对每一位同学的作业文件加以改名，有很多种需求。 第一种需求，将每一位同学作业文件名 ......
SpringBoot学习笔记 - 构建、简化原理、快速启动、配置文件与多环境配置、技术整合案例
【前置内容】Spring 学习笔记全系列传送门： Spring学习笔记 - 第一章 - IoC（控制反转）、IoC容器、Bean的实例化与生命周期、DI（依赖注入） Spring学习笔记 - 第二章 - 注解开发、配置管理第三方Bean、注解管理第三方Bean、Spring 整合 MyBatis 和 ......
(一) MdbCluster分布式内存数据库——基础架构介绍
(一) MdbCluster分布式内存数据库——基础架构介绍 这个项目是怎么开始的我已经有些记不清楚了，大概是原来的内存数据库很不好用，一次次地让我们踩坑，我又自以为是地觉得可以做一个更好的出来。自从拥有自己的团队以来，我思考最多的总是如何带着团队做出有意义和有价值的产品，而不是将时间浪费在无谓的琐 ......
分布式协议与算法-Raft算法
本文总结自：极客时间韩健老师的分布式协议与算法实战课程。 大家都知道，Raft算法属于Multi-Paxos算法，它是在Multi-Paxos思想的基础上，做了一些简化和限制。关于Paxos算法，博主在之前的文章有过总结，大家可以从这里跳转：分布式协议与算法-Paxos算法 关于Raft算法相关的开 ......
嵌入式Linux—文件IO
文件IO 在 Linux 系统中，一切都是“ 文件”：普通文件、驱动程序、网络通信等等。所有的操作，都是通过“文件 IO”来进行的。所以，很有必要掌握文件操作的常用接口。 Linux系统的文件有哪些 Linux 的文件既可以是真实保存到存储介质的文件也可以是自身内核提供的虚拟文件，还可以是设备节点 ......
Azure Terraform（十二）利用 Terraform 将文件上传到 Azure Blob Storage
一，引言 本篇文章中，我门将学习如何利用 Terraform 将 文件以及文件夹上传到 Azure Blob Storage，这个对于我们来说很方便，可以将一些不重要的内容也存储在源代码管理工具中！ 开始今天的内容之前，我们先来看看今天的主角 Terraform fileset Function 根 ......
Go读取yaml文件到struct类
1、yaml文件准备 common: secretid: AKIDxxxxx secretKey: 3xgGxxxx egion: ap-guangzhou zone: ap-guangzhou-7 InstanceChargeType: POSTPAID_BY_HOUR 2、config配置类准备 ......
升级csproj文件为vs2017工程格式(SDK样式)
csproj文件在VS2017后格式变更为SDK样式。framework项目如果需要源链接等等功能，需要进行手动升级。 升级过程 升级需要Project2015To2017Nuget包。 > dotnet tool install --global Project2015To2017.Migrate ......
用Java写一个分布式缓存——缓存管理
之前也用过一些缓存中间件，框架，也想着自己是不是也能用Java写一个出来，于是就有了这个想法，打算在写的过程中同步进行总结
源码：https://github.com/weloe/Java-Distributed-Cache ......
用Java写一个分布式缓存——缓存淘汰算法
前言 之前也用过一些缓存中间件，框架，也想着自己是不是也能用Java写一个出来，于是就有了这个想法，打算在写的过程中同步进行总结。 源码：weloe/Java-Distributed-Cache (github.com) 本篇代码： Java-Distributed-Cache/src/main/j ......
用Java写一个PDF，Word文件转换工具
前言 前段时间一直使用到word文档转pdf或者pdf转word，寻思着用Java应该是可以实现的，于是花了点时间写了个文件转换工具 源码weloe/FileConversion (github.com) 主要功能就是word和pdf的文件转换，如下 pdf 转 word pdf 转 图片 word ......
【ASP.NET Core】用配置文件来设置授权角色
在开始之前，老周先祝各个次元的伙伴们新春快乐、生活愉快、万事如意。 在上一篇水文中，老周介绍了角色授权的一些内容。本篇咱们来聊一个比较实际的问题——把用于授权的角色名称放到外部配置，不要硬编码，以方便后期修改。 由于要配置的东西比较简单，咱们并不需要存在数据库，而是用 JSON 文件配置就可以了。将 ......
面对集中式缓存实现上的挑战，Redis交出的是何种答卷？聊聊Redis在分布式方面的能力设计
对于一个集中式缓存的分布式能力构建，必须要额外提供一些机制，来保障数据在各个节点上的安全与一致性。本文以Redis为代表，看下集Redis面对上述问题交出的是怎样一份答卷。 ......
linux 基础（2）文件权限及其修改
文件的权限属性 在 linux 中，每个文件都有唯一的“所属者”（user）和“所属群组”（group）。owner 和 group 都对文件有特殊的权限 输入ls -l，就可以详细查看每个文件的权限属性。 我们可以看到，用户名和群组名可以是相同的。一个群组可以只包含一个用户，也可以包含多个用户。 ......
使用Logstash工具导入sqlserver数据到elasticSearch及elk分布式日志中心
首先记下这个笔记，Logstash工具导入sqlserver数据到elasticSearch。 因为logstash使用java写的，我本地开发是win11，所以javade jdk必须要安装。具体安装不介绍了，就是网上下个java8，不要去官网要账号什么的,不是java开发不太折腾，目前只用jav ......
C#开发的资源文件程序（可国际化） - 开源研究系列文章
上次将小软件的线程池描述了，也将插件程序描述了，这次就将里面的资源文件相关的内容进行下记录，这里能够让程序做成国际化的形式（即多语言程序），主要就是通过这个资源文件的方式进行的处理。下面将对这个资源文件的定义进行描述，比网上的其它例子更能够具有代码复用意义。 一、 项目目录； 下图是项目目录，上面是 ......
【Azure 存储服务】.NET7.0 示例代码之上传大文件到Azure Storage Blob (一)
问题描述 在使用Azure的存储服务时候，如果上传的文件大于了100MB， 1GB的情况下，如何上传呢？ 问题解答 使用Azure存储服务时，如果要上传文件到Azure Blob，有很多种工具可以实现。如：Azure 门户， Azure Storage Explorer, 命令行工具 az copy ......
【深入浅出Seata原理及实战】「入门基础专题」带你透析认识Seata分布式事务服务的原理和流程（1）
分布式事务的背景 随着业务的不断发展，单体架构已经无法满足我们的需求，分布式微服务架构逐渐成为大型互联网平台的首选，但所有使用分布式微服务架构的应用都必须面临一个十分棘手的问题，那就是“分布式事务”问题。 在分布式微服务架构中，几乎所有业务操作都需要多个服务协作才能完成。对于其中的某个服务而言，它的 ......
【深入浅出Seata原理及实战】「入门基础专题」探索Seata服务的AT模式下的分布式开发实战指南（2）
承接上文 上一篇文章说到了Seata 为用户提供了 AT、TCC、SAGA 和 XA 事务模式，为用户打造一站式的分布式解决方案。那么接下来我们将要针对于AT模式下进行分布式事务开发的原理进行介绍以及实战。 Seata AT模式 在AT、TCC、SAGA 和 XA 这四种事务模式中使用最多，最方便的 ......
【分布式技术专题】「LVS负载均衡」全面透析Web基础架构负载均衡LVS机制的原理分析指南
前提概要 在大规模互联网应用中，负载均衡设备是必不可少的组成部分，源于互联网应用的高并 发和大流量的冲击压力场景下，通常会在服务端部署多个无状态的应用服务器和若干有状态的存储服务器（数据库、缓存等等）实现高可用特点和机制。 LVS的介绍说明 官方站点：http://www.linuxvirtuals ......
[apue] Unix 系统数据文件那些事儿
如何免密 ssh 登录空密码账户？getpwent 为何会返回比 /etc/passwd 文件更多的内容？同样是修改附加组 ID，usermod -G 和 gpasswd -a/-d 有何区别？/etc/networks 有什么用处？gethostbyname / getservbyname 和 g... ......
Maui 读取外部文件显示到Blazor中
Maui 读取外部文件显示到Blazor中 首先在maui blazor中无法直接读取外部文件显示 ，但是可以通过base64去显示 但是由于base64太长可能影响界面卡顿 这个时候我们可以使用blob链接去加载外部图片 它不需要copy文件到wwwroot中 它会将byte转换一个url供bla ......
「Python实用秘技12」像导入模块一样导入ipynb文件
本文完整示例代码及文件已上传至我的Github仓库https://github.com/CNFeffery/PythonPracticalSkills 这是我的系列文章**「Python实用秘技」**的第12期，本系列立足于笔者日常工作中使用Python积累的心得体会，每一期为大家带来一个几分钟内就 ......
ffmpeg第8篇：使用ffprobe采集文件信息
1、 前言 ffprobe是ffmpeg的其中一个模块，主要用于查看文件信息，咱们知道一个MP4文件其实不仅仅包含了音视频数据，还有如元数据等其它信息，但是实际上咱们关心的往往是音视频数据部分，今天来看下如何使用ffprobe来获取音视频信息。 先看看ffprobe的帮助信息 ffprobe -v ......
聊聊分布式缓存
缓存作为磁盘以外的一种存储数据的方式，它有着比磁盘更快的存取效率，因此，可以有效提高系统的性能。在单体系统中，一般会用到本地缓存。但在分布式系统中，本地缓存就显得不够用了，这时往往要用到分布式缓存。 分布式缓存特性 本地缓存因为就在应用系统进程的内存里面，不需要网络和对象拷贝的开销所以性能非常高，不 ......