快照elasticsearch备份
elasticsearch安装
下载安装包 国内镜像，速度非常快 https://mirrors.huaweicloud.com/elasticsearch/ https://mirrors.huaweicloud.com/kibana/ wget https://mirrors.huaweicloud.com/elasticse ......
从根上理解elasticsearch(lucene)查询原理(2)-lucene常见查询类型原理分析
大家好，我是蓝胖子，在上一节我提到要想彻底搞懂elasticsearch 慢查询的原因，必须搞懂lucene的查询原理，所以在上一节我分析了lucene查询的整体流程，除此以外，还必须要搞懂各种查询类型内部是如何工作，比如比较复杂的查询是将一个大查询分解成了小查询，然后通过对小查询的结果进行合并得到 ......
用「傲梅轻松备份」克隆磁盘，并保持分区大小一致
两个容量不同的磁盘（如931G和953G）进行对拷，如下图（例如将磁盘2中克隆到磁盘1），会造成原始磁盘中的分区大小在新磁盘中发生变化。 为使两个硬盘中的分区尽量保持一致，可以考虑「逐个分区」进行备份。这样可以实现仅最后一个分区的大小不同。 一、删除目标磁盘的所有分区 备份目标磁盘上有用的数据； 打 ......
SQLServer备份恢复的总结-同名恢复与异名恢复
SQLServer备份恢复的总结 前言 GUI 搞一把. 命令行太多了也没人看 自己还能省点心 备份 备份数据库建议一定要选择: 备份选项中的 压缩->压缩备份 历史经验一个7.6G的数据库能够压缩到 1.5G 压缩比还是已非常可观的. 同名恢复 1. 可以使用sa登录 2. 创建一个databas ......
ElasticSearch之Node query cache settings
对于filter查询，ElasticSearch提供了缓存查询结果的特性，当缓存中存在满足查询条件要求的数据时，直接从缓存中提取查询结果。 对于ElasticSearch节点，该节点上的所有shard共享同一个缓存区域。 ElasticSearch基于LRU算法来管理缓存中的数据，当空间不足以承载最 ......
如何对etcd进行数据的迁移（备份和恢复）？
1、背景说明 在项目上，有个环境，更改了etcd所在主机的IP地址，也就需要使用新的IP，作为etcd对外提供服务和内部通信的IP地址。 这个时候，发现在etcd中存储的信息中，有节点成员的IP地址的信息。 那在这种的情况，如何把原来那套etcd里面的数据，迁移过来? 同时，在etcd使用新的IP地 ......
python3使用pandas备份mysql数据表
操作系统 ：CentOS 7.6_x64 Python版本：3.9.12 MySQL版本：5.7.38 日常开发过程中，会遇到mysql数据表的备份需求，需要针对单独的数据表进行备份并定时清理数据。 今天记录下python3如何使用pandas进行mysql数据表的备份，我将从以下几个方面进行展开： ......
elasticsearch 索引操作命令
一、创建索引 PUT /{索引名} 创建一个索引： king_test_person PUT /king_test_person { "settings": { "refresh_interval": "1s", "number_of_shards": "3", "number_of_replica ......
使用FreeFileSync快速实现本地数据备份与FTP远程数据迁移
数据是电脑中最重要的东西。为了保证数据安全，我们经常会对数据进行备份。之前一直采用将重要数据拷贝至移动硬盘的方式实现备份，实现简单但每次都需要把所有文件拷贝一次，当文件很大时效率较低。 因此，考虑使用 FreeFileSync 软件实现数据备份。该软件使用 C++ 语言编写、免费、开源且支持桌面端全 ......
VMware中虚拟机克隆、拍摄快照、恢复快照
【环境系列】Linux虚拟机(Centos、Ubuntu)、云服务器：https://www.cnblogs.com/uncleyong/p/17874484.html 虚拟机克隆 克隆后，重启网卡 systemctl restart network.service 如果报错，看网卡信息 cat / ......
ElasticSearch之Shard request cache settings
对于查询操作，Elasticsearch提供了缓存特性来暂存结果。 对于相同条件的查询请求，在缓存中的数据失效前，响应后续的查询操作时可以直接从缓存中提取结果，有效降低检索操作的时延，提升检索数据时的体验。 提到缓存相关的特性，即要关注如下几点： 缓存的开关 缓存中的数据哪里来 缓存占用的空间 缓存 ......
【SQLServer2019管理】事务日志备份策略
查询日志大小： dbcc sqlperf(logspace) go 备份事务日志，之后清理掉3天前的备份，最后的目的是进行日志收缩 收缩的T-SQL语句 USE [infusion] GO DBCC SHRINKFILE (infusion_log,100) GO DBCC SHRINKFILE ( ......
从根上理解elasticsearch(lucene)查询原理(1)-lucece查询逻辑介绍
大家好，我是蓝胖子，最近在做一些elasticsearch 慢查询优化的事情，通常用分析elasticsearch 慢查询的时候可以通过profile api 去分析，分析结果显示的底层lucene在搜索过程中使用到的函数调用。所以要想彻底弄懂elasticsearch慢查询的原因，还必须将luce ......
PostgreSQL从小白到高手教程 - 第38讲：数据库备份
PostgreSQL从小白到专家，是从入门逐渐能力提升的一个系列教程，内容包括对PG基础的认知、包括安装使用、包括角色权限、包括维护管理、、等内容，希望对热爱PG、学习PG的同学们有帮助，欢迎持续关注CUUG PG技术大讲堂。 第38讲：数据库备份 PostgreSQL第38讲：12月09日(周六) ......
【SQLServer2019备份恢复】查询本身有问题、未正确设置 "ResultSet" 属性、未正确设置参数或未正确建立连接
在SQLServer2019 AlwaysOn节点备份策略失败： 备份数据库(完整) (8502-HIS-SQLAG\HISAG) 备份数据库所在的位置: 本地服务器连接 兼容性级别为 70 (SQL Server 7.0 版)的数据库将被跳过。 数据库: 所有用户数据库 类型: 完整 追加现有 任 ......
本地数据备份与FTP远程数据迁移
介绍利用 FreeFileSync 软件实现数据备份和迁移，以及结合 FileZilla Server 软件直接在多个设备间迁移数据。 ......
备份微信聊天记录到PC上的，形成备份文件
操作的微信版本： PC: 微信 3.9.8.15 手机端： IOS 8.0.44 1. 手机聊天记录同步到PC的微信上 1）确保手机的微信的“本地网络”权限已经打开。 2）手机上的微信，“我”--> 设置 --> 通用 --> 聊天记录迁移与备份 --> 迁移 --> 迁移到电脑 --> 迁移全部聊 ......
MySQL 数据备份
备份类型 常见的备份有冷备份、温备份、热备份，还有什么物理备份、逻辑备份、增量备份、差异备份等等。 冷备份： 需要服务停止，在备份期间不能进行读和写操作。 温备份： 读操作可执行；但写操作不可执行 热备份： 读和写都可以正常进行，不影响数据备份 逻辑备份： 导出数据库中的数据和对象定义为标准 SQL ......
MongoDB 备份与恢复
1.1 MongoDB的常用命令mongoexport / mongoimportmongodump / mongorestore 有以上两组命令在备份与恢复中进行使用。 1.1.1 导出工具mongoexportMongodb中的mongoexport工具可以把一个collection导出成JSO ......
postgresql从入门到精通 - 第37讲：postgres物理备份和恢复概述
PostgreSQL从小白到专家，是从入门逐渐能力提升的一个系列教程，内容包括对PG基础的认知、包括安装使用、包括角色权限、包括维护管理、、等内容，希望对热爱PG、学习PG的同学们有帮助，欢迎持续关注CUUG PG技术大讲堂。 第37讲：物理备份和恢复概述 第37讲：12月09日(周六)19:30， ......
Veeam Backup & Replication v12.1 (Windows) - 备份和恢复
Veeam Backup & Replication v12.1 (Windows) - 备份和恢复 Veeam Data Platform | 面向混合云和多云的 备份和恢复 监控和分析 恢复编排 请访问原文链接：https://sysin.org/blog/veeam-backup-12/，查看 ......
【SQLServer2019管理】备份环境包含数据库
恢复报错信息: sp_configure 值 'contained database authentication' 必须设置为 1 才能 创建 包含的数据库。您可能需要使用 RECONFIGURE 设置 value_in_use。 (Microsoft SQL Server，错误: 12824) ......
定时备份和scp文件
1.编写一次性备份脚本； #export s 2023120430 21 07 12 * /bin/sh /home/oracle/s/export_1204.sh &> /dev/null vi /home/oracle/s/export_1204.sh #!/bin/bashsource /ho ......
一次elasticsearch 查询瞬间超时案例分析
问题背景# 在晚上9点左右，刚从外面逛街回到家，就接到了电话报警(幸好前不久刚好把电话报警机制加上，不然可能我就要去洗澡了👻)，电话告警告知线上业务存在大量请求失败的情况。于是赶紧打开电脑，排查了起来。 错误日志我们都是直接打到了钉钉上，发现大量的报警都是elasticsearch 访问超时发生的 ......
【解决方案】MySQL5.7 百万数据迁移到 ElasticSearch7.x 的思考
在日常项目开发中，可能会遇到使用 ES 做关键词搜索的场景，但是一般来说业务数据是不会直接通过 CRUD 写进 ES 的。
因为这可能违背了 ES 是用来查询的初衷，数据持久化的事情可以交给数据库来做。那么，这里就有一个显而易见的问题：ES 里的数据从哪里来？
本文介绍的就是如何将 MySQL ... ......
Mysql定时备份 Using a password on the command line interface can be insecure
最近运维过程中需要备份Mysql数据库，网上找bat脚本执行发现提示不能直接在脚本里放密码，Using a password on the command line interface can be insecure，应该是高级的mysql数据库的安全策略。 首先建一个bat文件 --default ......
pg数据库 定时备份脚本
!/bin/bash 使用环境变量设置pg密码 export PGUSER=xxxx export PGPASSWORD=xxxx pghost="xxxxx" logfile="/db/log/dump/pg_dump_backup_$(date '+%d').log" touch $logfil ......
使用SQL查询elasticsearch
目录SQL REST APIkibana DevToolsJava其他 elasticsearch Query DSL 太难写了，所以我放弃啦🤣 SQL REST API kibana DevTools 直接POST /_sql端点即可调试。示例: POST /_sql?format=csv { ......
elasticsearch聚合查询实践
目录概念聚合分类聚合语法聚合作用范围及排序聚合原理及 terms 精准度聚合实验桶聚合指标聚合Pipeline 聚合实践一：多商户数据权限聚合分页实践二：多维度嵌套聚合实践三：删除 ES 索引重复数据附：实验环境 概念 用于聚合的字段必须是 exact value，即doc_value=true。分 ......
mysql与elasticsearch
索引（Index），就是相同类型的文档的集合。 例如： 所有用户文档，就可以组织在一起，称为用户的索引； 所有商品的文档，可以组织在一起，称为商品的索引； 所有订单的文档，可以组织在一起，称为订单的索引； 数据库的表会有约束信息，用来定义表的结构、字段的名称、类型等信息。因此，索引库中就有映射（ma ......