高性能 数据处理 文件 数据
Iceberg 数据治理及查询加速实践
数据治理 Flink 实时写入 Iceberg 带来的问题 在实时数据源源不断经过 Flink 写入的 Iceberg 的过程中，Flink 通过定时的 Checkpoint 提交 snapshot commit 操作到 Iceberg，将已写入到 Iceberg 的数据文件通过 Snapshot ......
前端性能优化百问大杂烩
主要内容为下面几大类：移动端、图片、JavaScript、css、html、页面内容、服务器、cookie。 移动端性能优化： 保持单个文件小于25KB 移动网站页面要求下载资源，如果文件过大，会大大减慢页面加载速度。 打包内容为分段multipart文档 由于HTTP请求每一次都会执行三次握手，每 ......
精华推荐 |【算法数据结构专题】「延时队列算法」史上非常详细分析和介绍如何通过时间轮（TimingWheel）实现延时队列的原理指南
时间轮的介绍 时间轮（TimeWheel）是一种实现延迟功能（定时器）的精妙的高级算法，其算法应用范围非常广泛，在Java开发过程中常用的Dubbo、Netty、Akka、Quartz、ZooKeeper 、Kafka等各种框架中，各种操作系统的定时任务crontab调度都有用到，甚至Linux内核 ......
Luffy项目：2、项目需求（2），项目库的创建，软件开发目录，Django配置文件介绍
Luffy项目 一、Luffy项目需求（2） 1、后台日志封装 需求： 在项目目录下创建logs目录，用于记录项目日志 要求： 打印在控制台 记录在logs文件下的日志文件中 所有项目日志统一管理 操作步骤： - 第一步：在项目配置文件中进行配置 大字典 # 详情在下方大字典中查看 - 第二步：在u ......
2023年十款开源测试开发工具推荐（自动化、性能、造数据、流量复制）
1、AutoMeter-API 自动化测试平台 AutoMeter 是一款针对分布式服务，微服务 API 做功能和性能一体化的自动化测试平台，一站式提供发布单元，API，环境，用例，前置条件，场景，计划，报告等管理 在项目开发，迭代交付过程中开发人员，测试人员需要针对系统提供的 API 做调试，回归 ......
redis（1）NoSQL数据库简介
1.1 技术发展 redis是用来解决性能问题的数据库 技术的分类： 解决功能性问题：Java、Jsp、RDBMS、Tomcat、HTML、Linux、JDBC、SVN 解决扩展性问题：Struts、Spring、SpringMVC、Hibernate、Mybatis 解决性能问题：NoSQL、Ja ......
Serverless Streaming：毫秒级流式大文件处理探秘
摘要：本文将以图片处理的场景作为例子详细描述当前的问题以及华为云FunctionGraph函数工作流在面对该问题时采取的一系列实践。 文章作者｜旧浪：华为云Serverless研发专家、平山：华为云中间件Serverless负责人 一、背景 企业应用从微服务架构向 Serverless（无服务器）架 ......
slate源码解析（二）- 基本框架与数据模型
源码架构 首先来看下最核心的slate包下的目录： 可以看到，作为一个开源富文本库，其源码是相当之少。在第一篇文章中说过，Slate没有任何开箱即用的功能，只提供给开发者用于构建富文本所需的最基本的一套schema及操作API。因此源码的体量自然就要少许多。 我们来预览上图中各个目录下文件所负责的功 ......
使用 shell 脚本拼接 srt 字幕文件 (srtcat)
将多个 srt 文件拼接成一个，找了好多工具，都太重了，自己用 shell 手搓一个。一开始没觉得这个小工具有多么难，以为半天肯定能搞定，结果足足搞了三天。绊倒我的居然是时间字段的拆分和前导零的删除，看看 shell 里有多少种实现方案，以及我为何选择了当前的方案。 ......
Nginx基础02：配置文件nginx.conf（Part1）
我们使用Nginx主要是通过其配置文件nginx.conf来实现的。按照一定的规则，编写特定的指令，可以帮助我们实现对Web服务的控制！所以，学习Nginx的用法，几乎就是学习nginx.conf！ 如何使用本篇文章 本文作为一篇高度总结和罗列nginx.conf中所有的基础配置项，循规蹈矩地按照文 ......
Python GDAL读取栅格数据并基于质量评估波段QA对指定数据加以筛选掩膜
本文介绍基于Python语言中gdal模块，对遥感影像数据进行栅格读取与计算，同时基于QA波段对像元加以筛选、掩膜的操作~ ......
Python批量绘制遥感影像数据的直方图
本文介绍基于Python中gdal模块，实现对大量栅格图像批量绘制直方图的方法。 首先，明确一下本文需要实现的需求：现需对多幅栅格数据文件进行依据其像元数值的直方图绘制，具体绘制内容即各栅格图像像素数值的分布情况；所有栅格数据都保存在同一目标路径下，且均为.tif格式；而目标路径下具有其它非.tif ......
「Python实用秘技13」Python中临时文件的妙用
本文完整示例代码及文件已上传至我的Github仓库https://github.com/CNFeffery/PythonPracticalSkills 这是我的系列文章**「Python实用秘技」**的第13期，本系列立足于笔者日常工作中使用Python积累的心得体会，每一期为大家带来一个几分钟内就 ......
Python自动合并Word文件同时添加分页符的方法
本文介绍基于Python，实现对多个Word文档加以自动合并，并在每次合并时按要求增添一个分页符的方法。 现有多个Word文档文件，需将其按名称顺序合并为一个新的Word文件，且需保证每一次合并时，都另起一页（即新的Word文件一页中，不能出现两个及以上的原本单个Word文件的内容）。 一般的，实现 ......
Mybatis连接数据库
从零开始Mybatis连接数据库 创建Maven文件 File-->new-->project-->maven,点击next 配置 在出现的pom.xml文件中<project>标签之间加入以下内容 <!--打包方式--> <packaging>jar</packaging> <dependenci ......
任何人均可上手的数据库与API搭建平台
编写API可能对于很多后端开发人员来说，并不是什么难事儿，但如果您主要从事前端功能，那么可能还是有一些门槛。 那么有没有工具可以帮助我们降低编写API的学习门槛和复杂度呢？ 今天就来给大家推荐一个不错的开源工具：APITable APITable是一个面向API的可视化数据库，它适用于所有人，甚至没 ......
Blazor 拖放上传文件转换格式并推送到浏览器下载
昨天有个小伙伴发了一个老外java编写的小工具给我,功能是转换西班牙邮局快递Coreeos express的单据格式成Amazon格式,他的需求是改一下程序为匹配转换另一个快递公司MRW格式到Amazon格式,然而我堂堂一个Blazor发烧友,怎么可能去反编译人家的java修改呢?必须直接撸一个Bl... ......
Android JetPack~ DataBinding(数据绑定)(一) 集成与使用
近期将会梳理一下JetPack全家桶的使用，包括DataBinding，Room，ViewModel，LiveData，Navigation等。 本来打算先写DataBinding的使用，没想到在17年的时候已经写过了，这里就补充一点吧，毕竟不是什么新东西 Android数据绑定技术一，企业级开发 ......
现代图片性能优化及体验优化指南 - 响应式图片方案
本文是系列第二篇。系列文章： 现代图片性能优化及体验优化指南 - 图片类型及 Picture 标签的使用 图片资源，在我们的业务中可谓是占据了非常大头的一环，尤其是其对带宽的消耗是十分巨大的。 对图片的性能优化及体验优化在今天就显得尤为重要。本文，就将从各个方面阐述，在各种新特性满头飞的今天，我们可 ......
现代图片性能优化及体验优化指南 - 缩放精细化展示及避免布局偏移、拉伸
本文是系列第三篇。系列文章： 现代图片性能优化及体验优化指南 - 图片类型及 Picture 标签的使用 现代图片性能优化及体验优化指南 - 响应式图片方案 图片资源，在我们的业务中可谓是占据了非常大头的一环，尤其是其对带宽的消耗是十分巨大的。 对图片的性能优化及体验优化在今天就显得尤为重要。本文， ......
文件格式引起的脚本执行错误
问题 当我们使用 Windows 桌面下的编辑器编写一个 Shell 文件时，很容易将文件使用的换行符保存为 dos 格式。如果将文件上传到 Linux 服务器执行时，可能会遇到下面的错误。这是因为 # 显示一个简单的shell文件 $ cat dosnewline.sh #!/bin/sh ech ......
MQ收到无序的消息时如何进行业务处理
业务背景 跟第三方系统做对接，双方通过ActiveMQ进行通信，消息之间是有内在关联的，也就是消息本来应该是有业务顺序的，但由于一些原因，现在收到消息是乱序的，这种情况下做业务处理就有一点小问题了 方案一：自己重排序 收到消息后，自己在内存排序，然后按顺序丢到队列中，自己控制消息的发送和接收保证收到 ......
(二) MdbCluster分布式内存数据库——分布式架构
(二) MdbCluster分布式内存数据库——分布式架构 上一篇： (一) MdbCluster分布式内存数据库——基础架构介绍 分布式架构是MdbCluster的核心关键，业界有很多相关的实现，却很少有文章详细的解释每个架构实现背后的细节和这么做的原因。在MdbCluster整个研发和测试的过程 ......
(三) MdbCluster分布式内存数据库——节点状态变化及分片调整
(三) MdbCluster分布式内存数据库——节点状态变化及分片调整 上一篇： (二) MdbCluster分布式内存数据库——分布式架构 昨天我们在测试节点动态扩缩容时，发现了一个小bug。开始时我想当然“头疼医头，脚疼医脚”地安排开发在问题发生的地方修掉这个bug。早上刚好要一起开会，顺便讨论 ......
jmeter做性能测试
一、线程与进程 一个软件/程序，是以进程的方式存在的，一个进程可含多个线程（一个软件可以做多个事情，就是基于线程而实现的） 二、并发的基本概念 并发： 并发用户数：同一时刻，服务器/接口接收到的用户量，例如同一时刻有22个同学同时点击登录按钮，此时并发用户数为22 并发请求数/qps/rps：同一时 ......
Java 优化：读取配置文件 "万能方式" 跨平台，动态获取文件的绝对路径
Java 优化：读取配置文件 "万能方式" 跨平台，动态获取文件的绝对路径 每博一文案 往事不会像烟雾似的飘散，将永远像铅一般沉重地浇铸在心灵的深处。 不过，日常生活的纷繁不会让人专注地沉湎于自己的痛苦 不幸，即使人的心灵伤痕累累，也还得要去为现实中的生存和发展而挣扎。 —————— 《平凡世界》 ......
【译】.NET 7 中的性能改进（一）
原文 | Stephen Toub 翻译 | 郑子铭 一年前，我发布了.NET 6 中的性能改进，紧接着是.NET 5、.NET Core 3.0、.NET Core 2.1和.NET Core 2.0的类似帖子。我喜欢写这些帖子，也喜欢阅读开发人员对它们的回复。去年的一条评论特别引起了我的共鸣。评 ......
【译】.NET 7 中的性能改进（二）
原文 | Stephen Toub 翻译 | 郑子铭 堆栈替换 (On-Stack Replacement) 堆栈替换 (OSR) 是 .NET 7 中最酷的 JIT 功能之一。但要真正了解 OSR，我们首先需要了解分层编译 (tiered compilation)，所以快速回顾一下…… 具有 JI ......
【译】.NET 7 中的性能改进（三）
原文 | Stephen Toub 翻译 | 郑子铭 PGO 我在我的 .NET 6 性能改进一文中写了关于配置文件引导优化 (profile-guided optimization) (PGO) 的文章，但我将在此处再次介绍它，因为它已经看到了 .NET 7 的大量改进。 PGO 已经存在了很长时 ......
【译】.NET 7 中的性能改进（四）
原文 | Stephen Toub 翻译 | 郑子铭 边界检查消除 (Bounds Check Elimination) 让.NET吸引人的地方之一是它的安全性。运行时保护对数组、字符串和跨度的访问，这样你就不会因为走到任何一端而意外地破坏内存；如果你这样做，而不是读/写任意的内存，你会得到异常。当 ......