183数据结构 分布式 缓存
一次SQL调优 聊一聊 SQLSERVER 数据页
一：背景 1.讲故事 最近给一位朋友做 SQL 慢语句 优化，花了些时间调优，遗憾的是 SQLSERVER 非源码公开，玩起来不是那么顺利，不过从这次经历中我觉得明年的一个重大任务就是好好研究一下它，争取在 SQLSERVER 性能优化上做一些成绩，哈哈！ 个人觉得要想深入研究 SQLSERVER， ......
一款简单易用的远程日志查看器，可实时查看云服务器上的日志数据
本文主要内容 介绍一款开发者工具（远程日志查看器）的使用说明和技术实现思路 源码地址：https://github.com/HackyleShawe/RemoteLogViewer 前置知识 SpringBoot基础知识 SSH：Secure Shell Web前端基础：HTML、CSS、JavaS ......
ClickHouse数据副本引擎
我的gitee地址：https://gitee.com/ddxygq/bigdata-technical-pai ，相关文章都放到这个仓库里了。 只有 MergeTree 系列里的表可支持副本： ReplicatedMergeTree ReplicatedSummingMergeTree Repli ......
（数据科学学习手札148）geopandas直接支持gdb文件写出与追加
本文示例代码已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 大家好我是费老师，在我之前的某篇文章中为大家介绍过如何在windows系统上，基于ESRI FileGDB驱动为geopandas补充针对gdb文件 ......
Redis数据结构与对象
参考《Redis设计与实现》 系列文章目录和关于我 一丶简单动态字符串 当redis需要的不仅仅是一个字符串字面量，而是一个可以被修改的字符串值时，就会使用SDS（simple dynamic string）来表示字符串值。比如set msg "hello world"将创建一个新键值对，键值对的键 ......
火山引擎DataLeap数据调度实例的 DAG 优化方案
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，并进入官方交流群 实例 DAG 介绍 DataLeap 是火山引擎自研的一站式大数据中台解决方案，集数据集成、开发、运维、治理、资产管理能力于一身的大数据研发治理套件。在平台中，一个核心的功能为任务的调度，会根据任务设置的调度频率（月级，日 ......
transforms模块—PyTorch图像处理与数据增强方法
计算机视觉任务中，对图像的变换（Image Transform）往往是必不可少的操作，例如在迁移学习中，需要对图像尺寸进行变换以使用预训练网络的输入层，又如对数据进行增强以丰富训练数据。
作为深度学习领域的主流框架，pytorch中提供了丰富的图像变换API。本文将对pytorch中torchvi... ......
Google分布式文件系统GFS论文学习
GFS作为最著名的分布式文件系统，首先具备了大规模、可扩展、适配大文件、自动运维等高级特性。虽然是比较早期的分布式文件系统，但是它里面的设计思想还是值得现代分布式系统设计参考的，并且还有很多后期著名的分布式文件系统就是根据 GFS 来的。 一、设计预期 在论文前面，列举了设计预期，也就是 GFS 是 ......
Pytorch基础-tensor数据结构
torch.Tensor 是一种包含单一数据类型元素的多维矩阵，类似于 numpy 的 array。 Tensor 可以使用 torch.tensor() 转换 Python 的 list 或序列数据生成，生成的是dtype 默认是 torch.FloatTensor。 ......
.NET 云原生架构师训练营（基于 OP Storming 和 Actor 的大型分布式架构二）--学习笔记
目录 为什么我们用 Orleans Dapr VS Orleans Actor 模型 Orleans 的核心概念 结合 OP Storming 的实践 结合 OP Storming 的实践 业务模型 设计模型 代码实现 业务模型 我们可以把关键对象（职位、客户行为记录、线索）参考为 actor 猎头 ......
TiDB上百T数据拆分实践
背景 提高TiDB可用性，需要把多点已有上百T TiDB集群拆分出2套 挑战 1、现有需要拆分的12套TiDB集群的版本多(4.0.9、5.1.1、5.1.2都有)，每个版本拆分方法存在不一样 2、其中5套TiDB，数据量均超过10T、最大的TiDB集群目前数据量62T、单TiDB集群备份集大，消耗 ......
BST查找结构与折半查找方法的实现与实验比较
简介 作业：查找结构与排序方法 作业题目： BST 查找结构与折半查找方法的实现与实验比较 要求编写程序实现 BST 存储结构的建立（插入）、删除、查找和排序算法； 实现折半查找算法；比较 BST 查找与折半查找方法的时间性能。 作业要求： 1． 设计 BST 的左右链存储结构，并实现 BST 插入 ......
架构与思维：再聊缓存击穿，面试是一场博弈
1 介绍 在之前的一篇文章《一次缓存雪崩的灾难复盘》中，我们比较清晰的描述了缓存雪崩、穿透、击穿的各自特征和解决方案，想详细了解的可以移步。 最近在配合HR筛选候选人，作为大厂的业务方向负责人，招人主要也是我们自己团队在用，而缓存是必不可少的面试选项之一。下面我们就来聊一聊在特定业务场景下缓存击穿和 ......
数据结构高阶--八大排序汇总
排序总览 什么是排序？ 🔥**排序：所谓排序，就是使一串记录，按照其中的某个或某些关键字的大小，递增或递减的排列起来的操作。 ✍️排序的稳定性：**假定在待排序的记录序列中，存在多个具有相同的关键字的记录，若经过排序，这些记录的相对次序保持不变，即在原序列中，r[i]=r[j]，且r[i]在r[j ......
数据看板可视化
前言 这段时间一直在做可视化，在我的项目中有一部分是电力巡检的数据可视化。其中的数据看板比较简单，我将其单独抽离出来形成一个demo，为保密demo中数据非真实数据。先看效果。 具体效果 链接相关 浏览链接：http://xisite.top/original/data-board/index.ht ......
C#多线程（四）并行编程篇之结构化
前言 在前三章中我们的案例大量使用到了Thread这个类，通过其原始API，对其进行创建、启动、中断、中断、终止、取消以及异常处理，这样的写法不仅不够优雅（对接下来这篇，我称其为.NET现代化并行编程体系中出现的API而言），并且大部分的接口都是极度复杂和危险的。很幸运，如今.NET已经提供，并且普 ......
VideoPipe可视化视频结构化框架更新总结（2022-12-9）
项目地址：https://github.com/sherlockchou86/video_pipe_c 往期文章：https://www.cnblogs.com/xiaozhi_5638/p/16857995.html 11月有3个更新，有兴趣的扫码加群交流。 支持推理结果序列化（vp_messag ......
echarts map地图中绘制浙江省市区县乡镇多级联动边界下钻的最新geojson数据文件获取和更新
ECharts Map地图的显示 ECharts支持地理坐标显示，专门提供了一个geo组件，在setOption中提供option.geo配置即可显示地图。 option.geo配置中有个map属性，取值为已通过 echarts.registerMap("name", geojson) 注册的nam ......
云原生时代数据库运维体系演进
数据库运维面临着大规模数据库实例难以有效运维、数据库难以做好资源弹性伸缩以及个人隐私数据安全难以保障这三个方面的挑战。对此，vivo给出了自身的应对方案。 ......
Redis的数据被删除，占用内存咋还那么大？
通过 CONFIG SET maxmemory 100mb 或者在 redis.conf 配置文件设置 maxmemory 100mb Redis 内存占用限制。当达到内存最大值值，会触发内存淘汰策略删除数据。 除此之外，当 key 达到过期时间，Redis 会有以下两种删除过期数据的策略： 后台定 ......
全自动化数据洞察！数据分布对比可视化！⛵
本文介绍如何使用 Pandas Profiling 的比较报告功能，分析两个数据集的分布差异，完成数据探索分析 (EDA) 的完整流程，为后续分析做准备。 ......
解读JVM级别本地缓存Caffeine青出于蓝的要诀 —— 缘何会更强、如何去上手
继Guava Cache之后，我们再来聊一下各方面表现都更佳的Caffeine，看一下其具体使用方式、核心的优化改进点，窥探其青出于蓝的秘密所在。 ......
分布式事务 | 基于MassTransit Courier实现Saga 编排式分布式事务
Saga 模式 Saga 最初出现在1987年Hector Garcaa-Molrna & Kenneth Salem发表的一篇名为《Sagas》的论文里。其核心思想是将长事务拆分为多个短事务，借助Saga事务协调器的协调，来保证要么所有操作都成功完成，要么运行相应的补偿事务以撤消先前完成的工作，从 ......
解读JVM级别本地缓存Caffeine青出于蓝的要诀2 —— 弄清楚Caffeine的同步、异步回源方式
作为一种对外提供黑盒缓存能力的专门组件，Caffeine基于穿透型缓存模式进行构建。本文就深度全面聊一聊关于Caffeine的多种不同的数据回源方式、以及在同步异步场景下的实现与使用。 ......
Kubernetes(k8s)存储管理之数据卷volumes(一)：volumes的引入和emptyDir数据卷
一.系统环境 | 服务器版本 | docker软件版本 | Kubernetes(k8s)集群版本 | CPU架构 | | | | | | | CentOS Linux release 7.4.1708 (Core) | Docker version 20.10.12 | v1.21.9 | x86 ......
Window系统的mysql数据库定时备份
原文：Window系统的mysql数据库定时备份 - Stars-One的杂货小窝 最近老大提到了数据库备份的功能，由于服务器是window系统的，所以研究了下备份的方案，特此记录 主要是实现每天定时备份功能，如果还要搞容灾的话，就得对mysql数据库进行主从配置了 cmd命令 核心的cmd命令如下 ......
Python 大数据量文本文件高效解析方案代码实现
大数据量文本文件高效解析方案代码实现 测试环境 Python 3.6.2 Win 10 内存 8G，CPU I5 1.6 GHz 背景描述 这个作品来源于一个日志解析工具的开发，这个开发过程中遇到的一个痛点，就是日志文件多，日志数据量大，解析耗时长。在这种情况下，寻思一种高效解析数据解析方案。 解决 ......
推荐一款 在线+离线数据 同步框架 Dotmim.Sync
移动智能应用可以分为在线模式、纯离线模式与“在线+离线”混合模式。在线模式下系统数据一般存储在服务器端的大中型数据库（如 SQL Server、Oracle、MySQL 等），移动应用依赖于稳定可靠的网络连接；纯离线模式下系统数据一般存储在移动终端的轻量级数据库（如 SQLite等），移动应用不需要 ......
phpMyAdmin给非技术人员一个查阅数据库的窗口
背景 管理数据库的界面工具。 开发团队中一般有非技术背景人员，比如： 产品，功能测试人员； 对他们来说，可能安装数据库管理工具客户端都很麻烦，需要一款在线的网页工具能方便他们查阅数据。 本地docker安装 单库： docker run --name myadmin -d -e PMA_HOST=l ......
想早点下班？试试Aorm库吧，更方便的进行Go数据库操作
使用go进行项目开发，大多数人会使用gorm，但是gorm有一些缺点，我无法接受。于是开发出了aorm，目前能有满足日常开发需求，并且完善了使用文档，希望能够帮助到大家。 ......