快照elasticsearch备份
ElasticSearch 实现分词全文检索 - 概述
ES 是一个使用Java语言并且基于Lucene编写的搜索引擎框架,他提供了分布式的全文搜索功能,提供了一个统一的基于Restful风格的WEB接口,官方客户端也对多种语言都提供了相应的API。 ......
如何高效实现 MySQL 与 elasticsearch 的数据同步
MySQL 自身简单、高效、可靠,是又拍云内部使用最广泛的数据库。但是当数据量达到一定程度的时候,对整个 MySQL 的操作会变得非常迟缓。而公司内部 robin/logs 表的数据量已经达到 800w,后续又有全文检索的需求。这个需求直接在 MySQL 上实施是难以做到的。 原数据库的同步问题 由 ......
docker mysql8.0 启动,挂数据卷,定时备份,恢复~
安装mysql 从mysql社区版的官方源去拉取镜像:mysql/mysql-server - Docker Image | Docker Hub docker run --name=mysql1 -d mysql/mysql-server:latest 镜像起来之后,mysql就默默的初始化好了, ......
容灾恢复 | 记一次K8S集群中etcd数据快照的备份恢复实践
描述:在 Kubernetes 集群中所有操作的资源数据都是存储在 etcd 数据库上, 所以防止集群节点瘫痪未正常工作或在集群迁移时,以及在出现异常的情况下能尽快的恢复集群数据,则我们需要定期针对etcd集群数据进行相应的容灾操作。
在K8S集群中或者Docker环境中,我们可以非常方便的针对 ... ......
容灾备份 | 看我使用Powershell操作FTP进行数据文件自动上传备份
在运维过程中会将服务器上数据文件备份在共享磁盘或者FTP服务器中,此处由于作者环境是在Windows系统上,且在业务上需要同步文件到FTP服务器中,遂有了此文,帮助各位看友了解,如何在Windows上使用Powershell脚本将数据备份文件自动上传的FTP服务器上? ......
.Net Core中使用NEST简单操作Elasticsearch
C#中访问Elasticsearch主要通过两个包NEST和Elasticsearch.Net,NEST用高级语法糖封装了Elasticsearch.Net可以通过类Linq的方式进行操作,而Elasticsearch.Net相比之下更为原始直接非常自由。 注意:ES的8.X以上的版本有新的包Ela ......
elasticsearch之日期类型有点怪
一、Date类型简介 elasticsearch通过JSON格式来承载数据的,而JSON中是没有Date对应的数据类型的,但是elasticsearch可以通过以下三种方式处理JSON承载的Date数据 符合特定格式化的日期字符串; 基于milliseconds-since-the-epoch的一个 ......
elasticsearch之使用正则表达式自定义分词逻辑
一、Pattern Analyzer简介 elasticsearch在索引和搜索之前都需要对输入的文本进行分词,elasticsearch提供的pattern analyzer使得我们可以通过正则表达式的简单方式来定义分隔符,从而达到自定义分词的处理逻辑; 内置的的pattern analyzer的 ......
Elasticsearch Mapping类型修改
背景 通常数据库进行分库分表后,目前比较常规的作法,是通过将数据异构到Elasticsearch来提供分页列表查询服务;在创建Elasticsearch索引时,基本都是会参考目前的业务需求、关系数据库中的类型以及对数据的相关规划来定义相关字段mapping的类型. 在Elasticsearch的ma ......
[学习笔记]SQL server完全备份指南
@ 本文将介绍如何在日常项目中,对SQL server数据库做备份和还原工作,SQL server的备份/还原机制,详情参见官方文档:备份和还原 Linux 上的 SQL Server 数据库 方式一,使用SQL Server Management Studio 准备工作 连接目标数据库服务器 在目 ......
【KAWAKO】从mac上定时将腾讯云的数据备份到本地
前言 不信任一切云端平台,把数据牢牢握在自己手中才是最安全的。 需求 使用腾讯云服务器上的宝塔面板定时备份网站和数据库,然后定时将备份后的数据存到本地。 宝塔面板 备份网站 备份数据库 mac端 创建工程文件夹 rua.py 在python中使用scp将备份的网站文件和数据库文件传到本地。会将log ......
mongdb遭遇勒索,用备份进行数据恢复
mongdb遭遇勒索,用备份进行数据恢复 1、背景: 某台MongoDB服务器,没有配置用户名密码,放到公网不到一天,遭到删库勒索 All your data is a backed up. You must pay 0.05 BTC to 1K4DdqZ7sWUkhtfRqAGi7VcRck3it ......
Oracle ADG环境下的RMAN备份策略
作为IT运维人员,尤其是数据库岗位,数据的备份重于一切。 现在很多用户会有一个普遍误区,认为现在类似ADG这类灾备已经很完善,且实时性也更佳,往往就忽略了传统的备份效用。 但实际上,我们千万不能因为有了容灾建设就盲目忽略备份的作用,二者其实有着本质区别。很多场景,灾备都是无法替代传统备份的,二者是缺 ......
SQLSERVER 快照隔离级别 到底怎么理解?
一:背景 1. 讲故事 上一篇写完 SQLSERVER 的四个事务隔离级别到底怎么理解? 之后,有朋友留言问什么时候可以把 snapshot 隔离级别给补上,这篇就来安排,快照隔离级别看起来很魔法,不过在修车之前,得先看下怎么开车。 二:snapshot 隔离详解 1. snapshot 之前的困境 ......
elasticsearch中使用runtime fields
1、背景 在我们使用es的开发过程中可能会遇到这么一种情况,比如我们的线路名称字段lineName字段在设置mapping的时候使用的是text类型,但是后期发现需要使用这个字段来进行聚合操作,那么我们除了对索引进行reindex操作外,还有什么办法可以解决这个问题呢?此处我们通过runtime f ......
在elasticsearch中简单的使用script_fields
#1、背景 在我们使用es时,有些时候需要动态返回一些字段,而这些字段是通过动态计算得出的,那么此时该如何操作呢? 比如:我们索引中有一个sex字段,保存的是1或0,而在页面上需要展示男或女,那么这个时候就可以使用script_fields来解决。可能有些人说,我通过后台进行格式化一下不就行了吗,但 ......
elasticsearch之exists查询
一、exists查询简介 elastic search提供了exists查询,用以返回字段存在值的记录,默认情况下只有字段的值为null或者[]的时候,elasticsearch才会认为字段不存在; exists查询的形式如下,其中field用于指定要查询的字段名字; { "query": { "e ......
elasticsearch之search template
一、search template简介 elasticsearch提供了search template功能,其会在实际执行查询之前,对search template进行预处理并将参数填充到template中。 elasticsearch主要提供了两个API来支持search template _sc ......
防微杜渐,未雨绸缪,百度网盘(百度云盘)接口API自动化备份上传以及开源发布,基于Golang1.18
奉行长期主义的开发者都有一个共识:对于服务器来说,数据备份非常重要,因为服务器上的数据通常是无价的,如果丢失了这些数据,可能会导致严重的后果,伴随云时代的发展,备份技术也让千行百业看到了其“云基因”的成长与进化,即基于云存储的云备份。 本次我们使用Golang1.18完成百度网盘(百度云盘)接口AP ......
使用Logstash工具导入sqlserver数据到elasticSearch及elk分布式日志中心
首先记下这个笔记,Logstash工具导入sqlserver数据到elasticSearch。 因为logstash使用java写的,我本地开发是win11,所以javade jdk必须要安装。具体安装不介绍了,就是网上下个java8,不要去官网要账号什么的,不是java开发不太折腾,目前只用jav ......
elasticsearch实现基于拼音搜索
1、背景 一般情况下,有些搜索需求是需要根据拼音和中文来搜索的,那么在elasticsearch中是如何来实现基于拼音来搜索的呢?可以通过elasticsearch-analysis-pinyin分析器来实现。 2、安装拼音分词器 # 进入 es 的插件目录 cd /usr/local/es/ela ......
elasticsearch实现简单的脚本排序(script sort)
1、背景 我有一堆学生数据,其中湖北省的学生需要排在所有数据的最前面。其余省正序排序,对于同一个省的数据,按照年龄倒序排序。 2、分析 对于上方的排序需求,湖北省的学生数据需要排在前端,但是湖北省并不是一个字段,那么这个时候改如何实现呢?对于这种场景我们很容易就想到需要脚本script sort来实 ......
Longhorn+K8S+KubeSphere云端数据管理,实战 Sentry PostgreSQL 数据卷增量快照/备份与还原
云端实验环境配置 VKE K8S Cluster Vultr 托管集群 https://vultr.com/ 3 个 worker 节点,kubectl get nodes。 k8s-paas-71a68ebbc45b Ready <none> 12d v1.23.14 k8s-paas-dbbd4 ......
Java中Elasticsearch 实现分页方式(三种方式)
目录 ES 简介 ES 的特点: 一、from + size 浅分页 二、scroll 深分页 scroll删除 三、search_after 深分页 ES 简介 Elasticsearch 是一个基于 Lucene 实现的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于 RESTful ......
ElasticSearch必知必会-进阶篇
京东物流:康睿 姚再毅 李振 刘斌 王北永 说明:以下全部均基于elasticsearch8.1 版本 一.跨集群检索 - ccr 官网文档地址: https://www.elastic.co/guide/en/elasticsearch/reference/8.1/modules-cross-cl ......
Curve 文件存储在 Elasticsearch 冷热数据存储中的应用实践
Elasticsearch在生产环境中有广泛的应用,本文介绍一种方法,基于网易数帆开源的Curve文件存储,实现Elasticsearch存储成本、性能、容量和运维方面的显著提升。 ES 使用 CurveFS 的四大收益 1.CurveFS提供的成本优势 为了高可靠,ES如果使用本地盘的话一般会使用 ......
elasticsearch之单请求多查询
一、需要解决的问题 有的时候我们需要同时执行多个查询,并且需要得到每个单独查询的搜索结果,elasticsearch提供了multi search此需求的支持; 二、elasticsearch multi search简介 elasticsearch提供了multi search api来支持一个请 ......
docker搭建Elasticsearch、Kibana、Logstash 同步mysql数据到ES
一、前言 在数据量大的企业级实践中,Elasticsearch显得非常常见,特别是数据表超过千万级后,无论怎么优化,还是有点力不从心!使用中,最首先的问题就是怎么把千万级数据同步到Elasticsearch中,在一些开源框架中知道了,有专门进行同步的!那就是Logstash 。在思考,同步完怎么查看 ......
有备无患!DBS高性价比方案助力富途证券备份上云
“某中心受病毒攻击,导致服务中断,线上业务被迫暂停” “某公司员工误操作删库,核心业务数据部分丢失,无法完全找回” “由于服务器断线,某医院信息系统瘫痪近4小时,期间病人无法使用医保卡挂号和结算” …… 数据丢失风险防不胜防,企业构建数据备份方案迫在眉睫! 此次腾讯云数据库备份服务DBS携手富途证券 ......
elasticsearch之metric聚合
1、背景 此篇文章简单的记录一下 elasticsearch的metric聚合操作。比如求 平均值、最大值、最小值、求和、总计、去重总计等。 2、准备数据 2.1 准备mapping PUT /index_person { "settings": { "number_of_shards": 1 }, ......