快照elasticsearch备份
Iceberg过期快照清理
总结 指标 清理前（已优化小文件） 清理后 查询速度 13秒 15秒（波动） 表总大小 26.4G 17.2G metadata目录文件数 75 42 data目录文件数 1501 602 ！！！需要先做小文件合并，然后再做过期快照比较好。 小文件合并：Iceberg小文件合并测试 一、清理任务资源 ......
SQLServer命令行备份数据库
SQLServer命令行备份数据库 背景 SQLServer on linux 想设置计划任务自动备份数据库 感觉sqlcmd应该是最简单快捷的方式了 所以进行一下处理. 安装必备软件 sudo curl -o /etc/yum.repos.d/msprod.repo https://package ......
ElasticSearch更新延迟问题记录
问题描述：使用ElasticSearch做个大数据实时更新接口，接口实际效果字段更新后页面调用查询不及时显示更新 通过查阅资料，es在更新之后并不是立即可见(可查询)的，会有1s的延迟，可以通过设置refresh_interval参数来修改刷新的间隔。 但是在实际应用中，1s的延迟已经算是很久了，在 ......
ElasticSearch集成SpringBoot实践
Search API Search Request，用于搜索文档，聚合，相关的任何操作，还提供了高亮显示结果文档的方法 //创建，如果没有参数，会对所有索引运行 SearchRequest searchRequest = new SearchRequest(); //大多数搜索参数都能添加到Sear ......
MySQL shell 备份数据库
MySQL shell 备份数据库 背景 之前使用 mysqldump 和 mysql source 的方式备份数据库非常缓慢 有时候要耗费非常长的时间 今天发现有一个可以快速备份数据库的 mysqlshell的方法这里总结一下. 注意如果存在超过 8126的列定义, 可能要慎重一下. 介绍 MyS ......
Elasticsearch 分词功能
分词器定义： 从一串文本中切分出一个一个的词条，并对每个词条进行标准化 分词处理过程： 1、分词前预处理：过滤HTML标签、特殊符号转换 2、分词： 3、标准化：大小写转换、单复数转换、同义词转换 ES内置分词器： 1、standard分词器：默认将词汇单元转换成小写形式，去掉领用词和标点符号，中文 ......
postgresql数据库备份脚本
#!/bin/bash # 定义host、账号、密码，需要自定义 pg_host='172.16.4.8' pg_user='postgres' export PGPASSWORD=postgres pg_port='5432' # 定义备份目录、备份库、文件格式，需要自定义 date_day=`d ......
SQLserver数据库自动备份怎么做
SQLserver数据库自动备份怎么做？ 既然SQL Server数据库对于企业来说如此重要，我们就需要通过备份的方式来保护它的安全。然而定期手动执行备份任务的话可能又觉得比较麻烦，那么SQLserver数据库自动备份怎么做呢？一般来说，我们可以借助这3个方法来自动执行数据库备份任务，解放双手，无需 ......
基于 Windows10 搭建 ELK （Elasticsearch 8 + Kibana + Logstash）
参考 https://www.cnblogs.com/hualess/p/11540477.html https://blog.csdn.net/susu1083018911/article/details/124551632 https://blog.csdn.net/Dyanxier/artic ......
elasticsearch安装部署（单机和集群）
一、单机模式 1、单机模式，下载对应es包，此次使用版本为7.8.0版本并解压 -rw-r--r--. 1 root root 319112561 12月 28 15:39 elasticsearch-7.8.0-linux-x86_64.tar.gzmkdir es_standalonemv el ......
突然发现elasticsearch官网都有中文文档
Elasticsearch 是一个实时的分布式搜索分析引擎， 它能让你以一个之前从未有过的速度和规模，去探索你的数据。 它被用作全文检索、结构化搜索、分析以及这三个功能的组合。附上链接：中文文档 文档地址：https://www.elastic.co/guide/cn/elasticsearch/g ......
[Shell脚本]普通备份脚本&思路
1.数据库dump脚本备份 #!/bin/bash #保存备份个数，备份7天数据 number=7 #备份保存路径 backup_dir=/data/var/lib/mysqlbackup #日期 dd=`date +%Y-%m-%d-%H-%M-%S` #备份工具 tool=mysqldump # ......
13-Mysql备份恢复
一、备份的类型 冷备份：关闭数据、停止业务 温备份：加锁备份 热备份：在先备份，不会影响到也正常运行 二、备份方式 2.1 逻辑备份：基于SQL语句的备份 mysqldump建库、建表、数据插入 基于二进制日志：数据库的所有变化类的操作 基于复制的备份：将二进制日志实时传送到另一台机器并且恢复 2. ......
nlog使用小记（日志文件分割备份循环）
nlog使用小记（日志文件分割备份循环） fileName: 当前记录日志的文件名 archiveFileName：归档日志文件名 archiveAboveSize：文件达到多大进行归档 maxArchiveFiles：归档的日志文件保留数量 archiveNumbering：归档文件名称的保留方式 ......
电脑端 itunes 备份保存路径修改方法
默认在c盘，重做系统就会丢失。 1、先删除C:\Users\你的用户名\AppData\Roaming\Apple Computer里的 MobileSync文件夹（首次安装iTunes没有，要先运行一下iTunes）。 2、在你想存放iTunes备份的分区，新建一个文件夹，如 F:\backup\ ......
MYSQL 备份与恢复
备份与恢复 日志文件默认保存位置 .../mysql/data ...指安装的路径 /usr/local/mysql/data 永久修改日志文件 vim /etc/my.cnf #配置文件 [mysqld]#错误日志，用来记录dangmysql启动、停止或运行时发生的错误信息，默认开启log-err ......
elasticsearch安装
#!/bin/bash ############################################################## # File Name: install_redis.sh # Version: V1.0 # Author: junwang # Organizat ......
iTunes备份文件转换----iTunesBackupTransfer
iTunesBackupTransfer我的github被标记了，还在和客服对线，现在是访问不了的，包括之前的面板一把梭。 目前还不支持加密备份转换，手头没有素材，后面再说吧。。。 找软件是一个麻烦事，一搜大把的都是商业软件，要么就去找破解版，要么就硬搞试用，还是写一个吧。 着急想用的可以直接找我要 ......
通过docker环境mysqldump全量备份mysql数据库
应用场景：生产环境mysql数据库大小5G以内（超过15G推荐使用xtrabackup工具），在数据库以外的一台机器上做每天全量备份，以防止数据丢失 1.首先导入最新的mysql 镜像 可以联网的环境下 #下载docker镜像docker pull mysql:5.7.44 #查看docker镜像d ......
mysql 定时 数据库备份并上传到另一台服务器上，上传结束并删除源文件
首先总共有两个脚本： #!/bin/bash：主要用于进行数据库备份、压缩、删除，单独运行命令是：bash XXX.sh #!/usr/bin/expect：主要用于进行数据备份文件的上传，单独运行命令是：expect XXX.sh 分成两个脚本写的原因是：expect 主要是用于ssh 远程上传是 ......
调整elasticsearch分词器,达到like搜索效果 -基于elasticsearch 6.8
基于elasticsearch 6.8 如果发面es里索引字段,默认搜索时会拆成单字搜索,此时,需要更换分词器,更新已有的分词器会比较麻烦,步骤如下: 1.新建个新索引,这里把它叫做new_index 2.copy老索引数据到新索引 3.删除老索引 4.建立个别名,名字与老索引相同,指向新索引 5. ......
ElasticSearch-1
原文链接：https://gaoyubo.cn/blogs/52ef5bf7.html 一、Elasticsearch 架构设计 Elasticsearch 架构层： Elasticsearch 五层架构设计图： 说明： Elasticsearch是基于Lucene架构实现的，所以其核心层为Luce ......
ElasticSearch-2
原文链接：https://gaoyubo.cn/blogs/cbe60a4d.html 一、DSL查询文档 1.1DSL查询分类 Elasticsearch提供了基于JSON的DSL（Domain Specific Language）来定义查询。常见的查询类型包括： 查询所有：查询出所有数据，一般测 ......
Mongo 数据库备份和恢复命令
转载请注明出处： 在MongoDB中，使用mongodump和mongorestore命令来备份和恢复数据库 mongodump 1.使用方法： 使用 mongodump 命令可以备份MongoDB数据库的数据。 2.常用参数： 使用mongodump --help 查看所有帮忙参数，以下为常用的一 ......
Java Spring Boot 集成 elasticsearch6.8.x
在全文搜索领域，毫无疑问，当下 elasticsearch 应用广泛，其优势自不必说，凭借全文快速搜索，可以在短时内实现大数据量的查询。 今天学习下在 Spring Boot 中 集成 elasticsearch 开发，这里主要展示可以怎么用，至于开发人员向通过 ElasticsearchORM 封 ......
基于Docker安装Elasticsearch + Kibana
基于Docker安装Elasticsearch + Kibana 前提是先安装好Docker的环境 Docker创建网络 Docker创建一个网络专门连接Elasticsearch和Kibana docker network create es-net Docker安装Elasticsearch 拉 ......
云技术分享 | 使用快照和 AMI 镜像进行 Amazon EC2 的备份和恢复
在通过使用 EC2 计算服务的时候，为了更加方便的对虚拟机的环境和数据进行回滚，可以通过亚马逊云科技的快照功能实现。 ......
MongoDB、Elasticsearch、Redis、HBase应用场景分析
1. MongoDB 一个基于分布式文件存储的数据库系统，由C++编写，旨在为Web应用提供高速、可扩展、高性能的数据存储解决方案。MongoDB采用了文档型数据库模型，即数据以文档的形式存储，而文档是由键值对组成的。MongoDB的名称来自Hadoop创始人Doug Cutting的宠物狗Mong ......
ElasticSearch 命令执行漏洞
漏洞编号：CVE-2014-3120 漏洞详情 CVE编号 CVE-2014-3120 漏洞级别 中危6.8 标题 Elasticsearch默认配置允许动态脚本执行漏洞 披露时间 2014/07/29 漏洞总结 Elasticsearch 1.2版本及之前的默认配置启用了动态脚本，攻击者可以通过_ ......