LSM

【内核】基于 LSM 框架的 ELF 校验控制

当一个 ELF 文件被执行或被动态链接时,如何校验其完整性和安全性?本文使用 LSM 框架,通过自定义回调函数的方式,实现了完整的校验过程。 代码已开源,抛砖引玉,如有不准确之处,还请不吝赐教! ......
内核 框架 LSM ELF

从BST到LSM的进阶之路

相信大家之前都了解过很多种数据结构,我之前总是两两的,也就是从局部上去进行比较,没有从整体上进行这些树的发展脉络进行梳理,因此经常看完没多久就忘了。看来确实是需要从本源出发,不仅要知其然还要知其所以然,了解清楚前因后果,不仅可以方便我们记忆,更有利于增加我们的理解深度。实际上任何事物的出现都是有他出... ......
BST LSM

数据存储和检索:B-tree 和 LSM-tree

本文主要介绍数据库的核心数据结构索引的实现方式:B+tree 和 LSM-tree。索引是基于原始数据派生而来的额外数据结构。很多数据库允许单独添加和删除索引,而不影响数据库的内容,它只会影响查询性能。维护额外的数据结构势必会引入开销,特别是在新数据写入时,因此,了解当前主流的索引实现方式和其优缺点... ......
tree LSM-tree 数据 B-tree LSM

LSM树学习笔记(2)

SSTables LSM(log-structured merge-tree)树使用排序字符串表(SSTable:Sorted Strings Table)格式持久化到磁盘。顾名思义,SSTable是一种用于存储键值对的格式,其中的键是按排序排列的。SSTable由多个被称为段的有序文件组成。这些段 ......
笔记 LSM

LSM树学习笔记

LSM-Tree即log structured merge tree。LSM-Tree是许多高度可扩展的NoSQL分布式键值类型数据库(如亚马逊的DynamoDB、Cassandra和ScyllaDB)的基础数据结构。众所周知,这些数据库在设计上支持的写入率远远超过传统关系数据库所能提供的写入率。 ......
笔记 LSM

LSM 树 设计思想总结

LSM 树的设计思想很有意思。 LSM 树将对磁盘的随机写入转化为了磁盘友好型的顺序写(无论机械磁盘还是 SSD,随机读写都要远远慢于顺序读写),从而大大提高了写性能。 1、怎么转化顺序写? 核心就是在内存中维护一个有序的内存表(memtable),当内存表大于阈值的时候批量刷入磁盘,生成最新的 S ......
设计思想 思想 LSM

The Log-Structured Merge-Tree (LSM-Tree)--日志合并

LSM树是一个基于磁盘的数据结构,主要用于为那些高概率插入和删除的记录提供低成本的索引。LSM使用了一个算法来延迟批处理索引变更,然后类似归并排序的方式串联起一个基于内存的组件和若干基于磁盘的组件上面的所有变更信息。该算法相比于传统的B树访问方式大大减少磁盘臂的移动开销。 ......

疯一样的向自己发问 - 剖析lsm 索引原理

疯一样的向自己发问 - 剖析lsm 索引原理 lsm简析 lsm 更像是一种设计索引的思想。它把数据分为两个部分,一部分放在内存里,一部分是存放在磁盘上,内存里面的数据检索方式可以利用红黑树,跳表这种时间复杂度低的数据结构进行检索。 而当内存数据到达一定阀值的时候则会将数据同步到一个新的磁盘文件上。 ......
索引 原理 lsm

TiDB 底层存储结构 LSM 树原理介绍

随着数据量的增大,传统关系型数据库越来越不能满足对于海量数据存储的需求。对于分布式关系型数据库,我们了解其底层存储结构是非常重要的。本文将介绍下分布式关系型数据库 TiDB 所采用的底层存储结构 LSM 树的原理。 ......
底层 原理 结构 TiDB LSM

基于LSM树的存储机制简述

下午听了关于MyRocks-PASV的研究讲座,很有意思所以学习了一下LSM树的一些简单的底层原理。现在整理一下 我们都知道目前Key:Value型的数据库普遍较之关系型数据库有着更好的表现,为什么会有这样的一个差异呢?关键就在于存储形式和读写机制的不同。 Key:Value型数据库可以通过LSM ......
机制 LSM
共10篇  :1/1页 首页上一页1下一页尾页