快照elasticsearch备份
Elasticsearch ILM DSL 索引生命周期管理
1、冷热集群架构 冷热架构也叫冷暖架构，是“Hot-Warm” Architecture的中文翻译。 冷热架构本质是给节点设置不同的属性，让每个节点具备了不同的属性。为演示 ILM，需要首先配置冷热架构，三个节点在 elasticsearch.yml 分别设置的属性如下： 查看es冷热集群架构 2、 ......
分享一种用镜像封装技术来对复杂的工业软件环境做容灾备份的还原方案
做了产品以后经常遇到一个维护问题，经常一些产品过了七年八年就遇到这样那样的服务起不来需要从头部署，甚至一些产品在设计之初没有考虑到数据量和底层数据死锁，导致产品变得越来越慢，前者导致需要费时费力，后者导致产品风评越来越差，影响客户使用。 甚至有些是由于服务器硬件、和微软多年前的系统文件损坏造成的。 ......
oracle逻辑备份exp导出指定表名时需要加括号吗？
Oracle 的exp、imp、expdp、impdp命令用于数据库逻辑备份与恢复; exp命令用于把数据从远程数据库server导出至本地,生成dmp文件。 笔者在实操中遇到： $exp user/pass file=exp.dmp tables = (TABLE1,TABLE3,TABLE3) ......
elasticsearch——增删改查
-- 创建索引 PUT /icon_index { "settings": { "analysis": { "analyzer": { "text_anlyzer": { "tokenizer": "ik_max_word", "filter": "py" }, "completion_analyz ......
scn增量备份恢复dataguard从库
环境:OS:Centos 7DB:19.3.0.0 1.正常同步情况下的scn主从是一致的 主库查询: SQL> select SEQUENCE#,FIRST_CHANGE#,NEXT_CHANGE#,APPLIED,STATUS from v$archived_log t where name=' ......
利用Velero对K8S备份还原与集群迁移实战
Velero 是一款云原生时代的灾难恢复和迁移工具，采用 Go 语言编写，并在 github 上进行了开源，本文将介绍利用 velero 对集群应用进行备份、恢复和迁移 Kubernetes 集群资源和持久卷。 ......
elasticsearch
Elasticsearch是一个基于Lucene库的强大的开源搜索和分析引擎。它用于对结构化和非结构化数据进行索引、搜索和分析，并且能够在接近实时的情况下处理大量数据。 Elasticsearch的设计目标是分布式和可扩展的，这意味着它能够轻松处理大量数据，并且可以用于构建具有高可用性和容错性的复杂 ......
mac elasticsearch tar.gz 离线安装
1、解压elasticsearch-8.6.2-darwin-x86_64.tar.gz 2、需要高版本jdk，大于jdk8，我装的是jdk17 3、进入解压文件夹bin目录，双击elasticsearch文件，或者bin目录下命令行之行 elasticsearch 4、稍微等待，显示 5、浏览器访 ......
k8s etcd 备份还原
先根据etcd找到hostpatch 持久化目录，/var/lib/etcd 进入pod备份： ETCDCTL_API=3 etcdctl snapshot save snap.db \ --endpoints=https://127.0.0.1:2379 \ --cacert=/etc/kuber ......
docker安装elasticsearch和kibana
Docker安装ElasticSearch 1 安装说明 在平时工作的时候，开发环境大多数会安装单机ElasticSearch，但生产环境基本会安装ElasticSearch集群版，所以我们接下来实现一下ElasticSearch单机安装，下一节实现集群安装，但安装也大多数采用Docker安装。不过 ......
MySQL: 为什么使用 innobackupex 备份恢复搭建主从时，必须人为设置 gtid_purged 变量
###问题描述： 使用innobackupex 搭建主从的步骤如下： 1.主库使用 innobackupex 备份并 apply-log 2.将备份文件拷贝至从库，从库清空datadir目录，并使用 innobackupex 进行 copy-back 3.从库根据备份目录中的 xtrabackup_ ......
Elasticsearch应用
vivo 互联网的垂直搜索业务刚开始用 Elasticsearch 时，从 0 到 1 的过程没有太大挑战，很快就能实现垂搜的基本功能。但是一旦实现了这个功能之后，搜索引擎需要持续优化迭代，大家会发现诸如分词效果不好，数据召回率或准确率不够等方面的问题。数据索引、检索以及排序这三个方面都有做深入的干 ......
使用存储过程自动备份数据库
一、创建存储过程完全备份数据库 USE [某某数据库]GO/****** Object: StoredProcedure 某某数据库 Script Date: 2023/4/20 9:30:38 ******/SET ANSI_NULLS ONGOSET QUOTED_IDENTIFIER ONGO ......
MySQL中binlog备份脚本分享
关于MySQL的二进制日志（binlog），我们都知道二进制日志（binlog）非常重要，尤其当你需要point to point灾难恢复的时侯，所以我们要对其进行备份。关于二进制日志（binlog)的备份,可以基于flush logs方式先切换binlog，然后拷贝&压缩到到远程服务器或本地服务器 ......
Shell多线程备份数据库
Shell这么简单的脚本语言有多线程这一说吗？答案是有的。只不过它实现起来稍微有点难理解罢了，因为它借助了命名管道实现。所谓多线程就是原本由一个进程完成的事情现在由多个线程去完成。假如一个进程需要10小时完成的事情，现在分配10个线程，给他们分工，然后同时去做这件事情，最终可能就需要1小时。 本案例 ......
mysql备份脚本
[root@node1 scripts]# cat mysql_bak.sh Backup_Dir=/data/backup/mysql/dayuser=roothost=localhostpwd=root if [ ! -d $Backup_Dir ]then mkdir -p $Backup_D ......
Docker安装ElasticSearch
1 安装说明 在平时工作的时候，开发环境大多数会安装单机ElasticSearch，但生产环境基本会安装ElasticSearch集群版，所以我们接下来实现一下ElasticSearch单机安装，下一节实现集群安装，但安装也大多数采用Docker安装。不过中文搜索，会实现分词器集成，可以采用IK分词 ......
spring-data-elasticsearch 字段如何驼峰转下划线，并实现ES查询
spring-data-elasticsearch 字段如何驼峰转下划线 使用spring-data-elasticsearch，但是想在es中存储的时候使用下划线。 解决：实体中采用@Field(name = "test_id") 注解； 例如： ES查询： import org.springfr ......
mysqldump备份命令
导出所有库：mysqldump -p密码 --all-databases > all-databases.sql 导出某个库：mysqldump -p密码 --databases 数据库名 > database.sql 导出结构不导出数据：mysqldump -u用户名 -p密码 -d 数据库名 > ......
UDS之19服务中04子服务：读取快照数据
背景介绍 在车载诊断中常用的诊断协议有ISO 14229等，在协议中主要定义了诊断请求、诊断响应的报文格式及ECU该如何处理诊断请求的应用。其中ISO 14229系列标准协议定义了用于行业内诊断通信的需求规范，也就是UDS。UDS主要应用于OSI七层模型的第七层——应用层，它支持的汽车总线包括：CA ......
批处理按日期备份文件夹
@echo off set YYYYmmdd=%date:~0,4%%date:~5,2%%date:~8,2% set "filename=E:\download\bak\%YYYYmmdd%" if not exist %filename% mkdir %filename% xcopy.exe ......
MYSQL数据库备份
环境： Centos7、MySQL5.7+ 参数说明： -u：指定连接的用户名 -p：指定连接的密码 -P：指定端口 -h：远端服务器IP mysqldump -d：备份库结构 -t：备份库数据 --all-databases：导出所有数据库 --skip-lock-tables：跳过锁定表的操作， ......
PostgreSQL备份
1、导出表结构及insert语句 1 pg_dump -h [服务器ip] -p 5432 -U postgres --inserts [数据库名] > F:\db.sql 2、只导出数据结构 -s 只导出结构 -t 表名 导出指定表 1 pg_dump -h [服务器ip] -p 5432 -U ......
Oracle：通过linux的【strings】工具直接获取、查看所备份的 oracle11g 控制文件的信息：db_name、compatible 等 ...
如题： 命令如下： [root@restore1 data1]# strings ctl-1739529129-20230419-00 | egrep -i "(db_unique_name|db_name|compatible)" 注意：对于12c+ 该方法无效！ 注意：对于12c+ 该方法无效！ ......
Elasticsearch搜索功能的实现（六）-- function score详解
一 、function score详解 1.1 function score 查询中包含四部分内容： 1）原始查询条件：query部分，基于这个条件搜索文档，并且基于BM25算法给文档打分，原始算分（query score) 2）过滤条件：filter部分，符合该条件的文档才会重新算分 3）算分函数 ......
Elasticsearch搜索功能的实现（五）-- 实战
本文主要使用目前较新版本elastic search 8.5.0 + kibna 8.5.0 + springboot 3.0.2 + spring data elasticsearch 5.0.2 + jdk 17 进行搜索功能的开发。 ......
Elasticsearch搜索功能的实现（三）-- 相似度
一、开箱即用的相似度配置 Elasticsearch允许您配置文本评分算法或每个字段的相似度。相似度设置提供了一种选择缺省BM25之外的文本相似度算法的简单方法，例如：boolean 只有基于文本的字段类型（如文本和关键字）支持此配置。 唯一可以开箱即用的相似之处，无需任何进一步 配置包括： BM2 ......
Elasticsearch搜索功能的实现（四）--使用ECK安装Elasticsearch开发环境
一、ECK安装ES 1、在k8s 集群上安装 ECK 1.1 安装自定义资源 root@DESKTOP-H5OMIME:~# kubectl create -f https://download.elastic.co/downloads/eck/2.6.1/crds.yaml customresou ......
Elasticsearch搜索功能的实现（二）--Elasticsearch中的核心概念与DSL
一、Elasticsearch中的核心概念 1、索引 index 一个索引就是一个拥有几分相似特征的文档的集合。比如说，可以有一个客户数据的索引，另一个产品目录的索引，还有一个订单数据的索引 一个索引由一个名字来标识（必须全部是小写字母的），并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和 ......
Elasticsearch搜索功能的实现（一）--搜索引擎为什么选ES
一、应用场景 Elasticsearch 具有广泛的应用场景，包括全文搜索、日志分析、运维监控、安全分析等。 Elasticsearch 是开源的实时分布式搜索分析引擎，内部使用 Lucene 做索引与搜索。适用场景包含信息检索、舆情分析、推荐系统、广告系统等多种对综合检索&召回有需求的场景。 二、 ......