优缺点elasticsearch clickhouse cassandra
ElasticSearch之Index modules
索引的参数，分为两类： 静态参数，仅支持在创建索引时指定，或者关闭索引后指定。 动态参数，允许在索引工作期间指定或者修改。 静态参数 index.number_of_shards 默认值为1。 本参数用于控制主分片的数量，仅支持在创建时指定，对于已关闭的索引，修改本参数不会生效。 es.index. ......
elasticsearch get查询方式
api： （elasticsearch版本7.3） #通过id查询 GET <index>/_doc/<_id> #判断是否存在 HEAD <index>/_doc/<_id> #通过id查询 GET <index>/_source/<_id> #判断是否存在 HEAD <index>/_sourc ......
elasticsearch 文档删除操作：delete和delete_by_query
api： （elasticsearch版本7.3） #删除指定id的文档 DELETE /<index>/_doc/<_id> #按查询条件删除 POST /<index>/_delete_by_query 1. DELETE /<index>/_doc/<_id> 删除指定id的文档 #测试--删 ......
elasticsearch 文档更新操作：update和update_by_query
API： （elasticsearch版本7.3） POST /<index>/_update/<_id> POST /<index>/_update_by_query 1. POST /<index>/_update/<_id> 支持脚本，可以更新、删除或跳过修改文档。 更新文档部分内容，传递部分 ......
elasticsearch---修改文档
修改有两种方式： 全量修改：直接覆盖原来的文档 增量修改：修改文档中的部分字段 全量修改是覆盖原来的文档，其本质是： 根据指定的id删除文档 新增一个相同id的文档 注意：如果根据id删除时，id不存在，第二步的新增也会执行，也就从修改变成了新增操作了。 增量修改 增量修改是只修改指定id匹配的文档 ......
elasticsearch--修改索引库
倒排索引结构虽然不复杂，但是一旦数据结构改变（比如改变了分词器），就需要重新创建倒排索引，这简直是灾难。因此索引库一旦创建，无法修改mapping。 虽然无法修改mapping中已有的字段，但是却允许添加新的字段到mapping中，因为不会对倒排索引产生影响。 PUT /索引库名/_mapping ......
clickhouse partition 设定分区
clichouse会对数据分区存放，目的是为了在搜索时提高效率。 除此之外，还可以用来维护磁盘使用空间。clickhouse并不适合从数据库按照条件查询删除数据，如果数据太多不定期清除，会把磁盘占满。 clickhouse提供了ttl，用作设定数据库表的数据的生命周期，如果到了时间，就会删除数据。 ......
clickhouse materialized view 物化视图
我们知道数据块中的view只是一个逻辑概念，为了便于写查询语句，把底层各个表的结构和字段隐藏，创建一个新的虚拟表，类似于查询语句，在这个结果上再编写新的语句。 clickhouse提供了一个新的功能，materialized view，可以把一个view的数据存放到磁盘，实例化，而不仅仅是虚拟的逻辑 ......
ElasticSearch安装
目录ES的安装与启动Linux系统环境准备修改虚拟内存空间大小修改最大文件描述符数量及最大线程数创建用户与密码ES的安装与配置 ES的安装与启动 Linux系统环境准备 修改虚拟内存空间大小 查询系统默认虚拟内存大小 sysctl -a | grep vm.max_map_count 发现系统提供的 ......
clickhouse系统日志
在操作clickhouse的时候，会有一些日志被记录下来，日志占用的空间也不少。我们可以设置一下 查询日志 query_log 调用查询语句时，会记录日志，记录sql语句，使用的数据库和表，占用的内存等。 https://clickhouse.com/docs/en/operations/syste ......
Cassandra 基于 Docker 部署
1、Docker、Docker-Compose安装 https://www.cnblogs.com/a120608yby/p/9883175.html https://www.cnblogs.com/a120608yby/p/14582853.html 2、基于Docker-Compose部署Cas ......
elasticsearch 索引命令：文档创建和修改
命令： #指定id创建/更新文档 PUT /<index>/_doc/<_id> #创建文档，自动生成id POST /<index>/_doc/ #创建文档，如果id存在会报错 PUT /<index>/_create/<_id> #创建文档，如果id存在会报错 POST /<index>/_cr ......
使用NineData，轻松完成阿里云RDS MySQL至ClickHouse数据迁移
NineData数据复制产品可以轻松解决MySQL到ClickHouse的同步问题，具有强大的数据转换和映射功能、实时同步性能卓越、简单配置操作、可靠的数据一致性、灵活的定制选项、可观测可干预、运行稳定和安全可靠等优点。只需简单三步，即可完成RDS MySQL到云数据库ClickHouse的数据同步... ......
elasticsearch 聚合查询
1.查看一天时间内，ip的去重总数 post hqbuy_event_tracking-*/_search { "query":{ "range": { "create_timestamp": { "gte": 1702310400, "lt": 1702396800 } } }, "size":0 ......
[Clickhouse] Clickhouse 报SQLException : Read timed out
1 问题描述 在使用Clickhouse(21.3.4.25)进行大数据量地数据查询，高频报出 SQLException : Read timed out 错误 2 问题分析 2.1 单次查询：耗时约4s 2.2 并发20查询：报SQLException Read timeout，并发5查询：正常 ......
ClickHouse中select final和optimize table final的区别
ClickHouse中select final和optimize table final的区别 使用 OPTIMIZE TABLE FINAL 该语句会对表的数据部分进行计划外的合并，通常不建议使用。见官档：传送门 而在select中当 FINAL 被指定，ClickHouse会在返回结果之前完全合 ......
clickhouse sql优化笔记
1.order by sort_field limit 1 by group_f1, group_f2 sql目的：根据group_f1,group_f2去重并按照sort_field排序保留第一个 当数据量很大时，order by 操作非常慢而且占用内存很大，容易导致oom 优化方案：可以先分组， ......
elasticsearch安装-集群
下载安装包 国内镜像，速度非常快 https://mirrors.huaweicloud.com/elasticsearch/ https://mirrors.huaweicloud.com/kibana/ wget https://mirrors.huaweicloud.com/elasticse ......
elasticsearch安装
下载安装包 国内镜像，速度非常快 https://mirrors.huaweicloud.com/elasticsearch/ https://mirrors.huaweicloud.com/kibana/ wget https://mirrors.huaweicloud.com/elasticse ......
从根上理解elasticsearch(lucene)查询原理(2)-lucene常见查询类型原理分析
大家好，我是蓝胖子，在上一节我提到要想彻底搞懂elasticsearch 慢查询的原因，必须搞懂lucene的查询原理，所以在上一节我分析了lucene查询的整体流程，除此以外，还必须要搞懂各种查询类型内部是如何工作，比如比较复杂的查询是将一个大查询分解成了小查询，然后通过对小查询的结果进行合并得到 ......
异常关机clickhouse无法启动
[ 169492 ] {} <Error> Application: DB::Exception: Suspiciously many (1416 parts, 0.00 B in total) broken parts to remove while maximum allowed broken ......
ElasticSearch之Node query cache settings
对于filter查询，ElasticSearch提供了缓存查询结果的特性，当缓存中存在满足查询条件要求的数据时，直接从缓存中提取查询结果。 对于ElasticSearch节点，该节点上的所有shard共享同一个缓存区域。 ElasticSearch基于LRU算法来管理缓存中的数据，当空间不足以承载最 ......
ClickHouse(17)ClickHouse集成JDBC表引擎详细解析
目录JDBC建表用法示例JDBC表函数资料分享参考文章 JDBC 允许CH通过JDBC连接到外部数据库。 要实现JDBC连接，CH需要使用以后台进程运行的程序 clickhouse-jdbc-bridge。 该引擎支持Nullable数据类型。 建表 CREATE TABLE [IF NOT EXI ......
GeminiDB Cassandra接口新特性PITR发布：支持任意时间点恢复
GeminiDB Cassandra接口在综合备份成本、恢复时效和粒度得到充分验证的情况下，推出新特性PITR（Point-In-Time-Recover）支持任意时间点恢复。 ......
elasticsearch 索引操作命令
一、创建索引 PUT /{索引名} 创建一个索引： king_test_person PUT /king_test_person { "settings": { "refresh_interval": "1s", "number_of_shards": "3", "number_of_replica ......
Monolithic Architecture 的优缺点分析
在讨论软件架构的时候，你可能会听到术语 Monolithic Architecture，或者叫做 单体架构。这是一种经典的软件系统设计，它是将所有的功能组件集中在一个单一的程序包中，这个程序包就是我们所说的 单体。 在 单体架构 中，所有的业务功能和逻辑都是紧密集成在一个应用程序中的。这个应用程序是 ......
ElasticSearch之Shard request cache settings
对于查询操作，Elasticsearch提供了缓存特性来暂存结果。 对于相同条件的查询请求，在缓存中的数据失效前，响应后续的查询操作时可以直接从缓存中提取结果，有效降低检索操作的时延，提升检索数据时的体验。 提到缓存相关的特性，即要关注如下几点： 缓存的开关 缓存中的数据哪里来 缓存占用的空间 缓存 ......
从根上理解elasticsearch(lucene)查询原理(1)-lucece查询逻辑介绍
大家好，我是蓝胖子，最近在做一些elasticsearch 慢查询优化的事情，通常用分析elasticsearch 慢查询的时候可以通过profile api 去分析，分析结果显示的底层lucene在搜索过程中使用到的函数调用。所以要想彻底弄懂elasticsearch慢查询的原因，还必须将luce ......
使用Clickhouse+RoaringBitmap搭建数百亿级用户画像平台看这一篇就够了
背景 如果你是用户，当你使用抖音、小红书的时候，假如平台能根据你的属性、偏好、行为推荐给你感兴趣的内容，那就能够为你节省大量获取内容的时间。 如果你是商家，当你要进行广告投放的时候，假如平台推送的用户都是你潜在的买家，那你就可以花更少的钱，带来更大的收益。 这两者背后都有一项共同的技术支撑，那就是用 ......
从ClickHouse通往MySQL的几条道路
在我们应用中的使用场景来看，简单来说通常会看中了clickhouse在处理大批量数据的写入和读取分析方面的性能，MySQL会主要负责一些基于模型进行指标二次加工的高频查询及复杂join的查询。 ......