redis mysql es
mysql的数据迁移到es中
背景 从开发的角度说，就是老板叫我用es了，没那么多为什么，爸爸说了算 😂 从业务角度，mysql已经不能满足我对全文检索的需求了。我需要检索某一个字段包含"圣诞节刚刚过去"这一字符串的记录。这对mysql是个很头疼的问题，但在es中，是个很简单的事。 此外es结合kibana还能实现很多数据可视 ......
MySql版本问题sql_mode=only_full_group_by的完美解决方案
1、查看sql_modeselect @@sql_mode查询出来的值为：ONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USE ......
Redis 分片集群
1.Redis分片集群 1.1.搭建分片集群 主从和哨兵可以解决高可用、高并发读的问题。但是依然有两个问题没有解决： 海量数据存储问题 高并发写的问题 使用分片集群可以解决上述问题，如图: 分片集群特征： 集群中有多个master，每个master保存不同数据。 每个master都可以有多个slav ......
Mysql导入csv文件
需要将csv的数据导入mysql，最简单的方式就是使用navicat导入，方便快捷，适用于数据量较小的场景，但是如果碰到GB级别的大文件，直接通过navicat导入十分低效，可以采用mysql 提供的LOAD DATA语法进行导入，具体使用方式如下： LOAD DATA INFILE '/path/ ......
[转帖]MySQL数据库8.0.29-8.0.31版本使用 INSTANT 算法新增字段bug
https://www.cnblogs.com/harda/p/17528512.html xxx下发MySQL数据库共性隐患排查通知，要求统一排查MySQL数据库8.0.29及以后版本使用 INSTANT 算法新增字段后期变更回滚可能导致数据库宕机的隐患，排查方法及整改方法详见下表和附件。请各分支 ......
Mysql 事务隔离级别
Mysql 事务隔离级别 隔离级别 脏读 不可重复读 幻读 READ-UNCOMMITTED √ √ √ READ-COMMITTED × √ √ REPEATABLE-READ × × √ SERIALIZABLE × × × MySQL InnoDB 存储引擎的默认支持的隔离级别是 REPEAT ......
mysql的skip_name_reslove会影响什么，这个参数干什么用的？
skip_name_resolve是MySQL的一个配置参数，用于控制MySQL服务器在解析客户端连接时是否进行反向DNS查找。当启用skip_name_resolve时，MySQL服务器将不会尝试通过反向DNS查找来解析客户端的主机名。 启用skip_name_resolve参数可以带来以下影响和 ......
MySQL问题汇总
1. net start mysql 服务没有响应控制功能。解决方案下载 vcruntime140_1.dll（自行搜索下载）放在mysql安装路径\bin目录下MySQL 服务正在启动 .MySQL 服务已经启动成功。 ......
Redis - (7) 分片集群
前言 哨兵集群由于自身存在的问题，因此出现了分片集群。 分片集群 （1）集群中有多个master，每个master保存不同的数据。【可以解决数据海亮的问题】 （2）每个master也可以有多个slave节点。 （3）master之间可以互相ping监测彼此的健康状态【即master自己之间实现了哨兵 ......
Redis RedisTemplate的RedisSerializer
所以必须改变RedisTemplate的序列化方式，不能让它走默认的JDK序列化的方式 ......
ES--RestClient修改文档
与之前类似，也是三步走： 1）准备Request对象。这次是修改，所以是UpdateRequest 2）准备参数。也就是JSON文档，里面包含要修改的字段 3）更新文档。这里调用client.update()方法 ......
ES--RestClient删除文档
删除的DSL为是这样的： DELETE /hotel/_doc/{id} 与查询相比，仅仅是请求方式从DELETE变成GET，可以想象Java代码应该依然是三步走： 1）准备Request对象，因为是删除，这次是DeleteRequest对象。要指定索引库名和id 2）准备参数，无参 3）发送请求。 ......
ES--RestClient新增文档
可以看到与创建索引库类似，同样是三步走： 1）创建Request对象 2）准备请求参数，也就是DSL中的JSON文档 3）发送请求 ......
ES--RestClient查询文档
可以看到，结果是一个JSON，其中文档放在一个_source属性中，因此解析就是拿到_source，反序列化为Java对象即可。 与之前类似，也是三步走： 1）准备Request对象。这次是查询，所以是GetRequest 2）发送请求，得到结果。因为是查询，这里调用client.get()方法 3 ......
01 Redis 简介
1. Redis的历史和背景 Redis（Remote Dictionary Server），是由意大利工程师Salvatore Sanfilippo（别名antirez）于2009年开发的。最初，它是为了解决他的公司在提供实时Web日志分析服务时遇到的性能瓶颈而设计的。Redis因其出色的性能、简 ......
Redis 的数据类型
目录数据类型String内部实现常用指令应用场景缓存计数分布式锁加锁释放锁共享 Session 信息List内部实现常用命令应用场景Hash内部实现常用命令应用场景缓存对象购物车Set介绍内部实现常用命令应用场景点赞共同关注抽奖活动Zset介绍内部实现常用命令应用场景排行榜电话、姓名排序电话排序 数 ......
MySQL的MHA高可用配置及故障切换
MHA高可用 MHA（MasterHigh Availability） 传统MySQL主从架构存在单点故障问题 ，怎么解决呢？ 传统上是根据keepalived来实现高可用 目前还有个较成熟的软件MHA，它可以在切换的过程中最大程度上保证数据的一致性，以达到真正意义上的高可用 mysql 集群高可用 ......
redis小记
redis 1、redis是一款c语言编写的基于内存的kv存储，是目前市面上最流行的nosql开源项目，常用于缓存场景（优点高性能/寻址更快，缺点易失存储/价格更高） 2、redis快的原因：纯内存操作、单线程避免上下文切换、采用非阻塞IO多路复用机制（1个线程监控多个连接，一旦某个连接就绪，就能够 ......
MySQL MHA
MHA 实验 主 192.168.19.25 （MySQL1） 从192.168.19.26 （MySQL2） 从192.168.19.29 （MySQL3） 监控管理 192.168.19.21 （manager） #配置mysql配置文件 #在 Master、Slave1、Slave2 节点上都 ......
MySQL中between...and的使用对索引的影响
问题场景： 一开始在某个字段加了普通索引，SQL语句查找该字段范围内的数据。开始加索引的时候是能使用上索引的，但是过了几天，数据量增大，发现检索语句没有走索引了 准备测试表 创建测试表 CREATE TABLE `test_index` ( `id` int(10) UNSIGNED NOT NUL ......
Asp .Net Core系列：基于MySQL的DBHelper帮助类和SQL Server的DBHelper帮助类
目录MySQLDBHelperMSSQLDBHelper MySQLDBHelper app.config中添加配置 <connectionStrings> <add name="MySqlConn" connectionString="server=localhost;port=3306;user ......
MySQL索引篇
1、索引原理： 索引是帮助MySQL高效获取数据的数据结构。 索引好比是一本书的目录，可以直接根据页码找到对应的内容，目的就是为了加快数据库的查询速度。 索引是对数据库表中一列或多列的值进行排序的一种结构，使用索引可快速访问数据库表中的特定信息。 索引是一种能帮助mysql提高了查询效率的数据结构： ......
spark-scala-mysql 编译报错
用spark接收mysql数据，编译时报错 java: cannot access scala.Serializable class file for scala.Serializable not found 问题原因： scala 2.13及以上版本，缺少类 Serializable 解决： 使用 ......
linux安装redis。ununtu和centos等类似的发行版，完全离线安装，自定义版本
redis各个版本源码包下载：Index of /releases/ (redis.io) 下载与解压 从Index of /releases/ (redis.io)选择自己需要的版本并下载（此处以redis-6.2.14.tar.gz为例，其他版本可能会不同）。 将文件上传到linux服务器，使用 ......
SpringBoot集成redisson操作redis
1 引入maven 只需引入redisson-spring-boot-starter就可以了，不过这里需要注意springboot与redisson的版本，因为官方推荐redisson版本与springboot版本配合使用。版本不匹配会导致这种问题。 将 Redisson 与 Spring Boot ......
【Centos】Centos 7.6 安装 Skywalking 9.2.0，存储为 MySQL
1 前言 我要再来装一个 Skywalking，服务没有监控你慌不慌，来一个，MySQL之前装过了哈，看前边的文章。 https://skywalking.apache.org/downloads/ https://skywalking.apache.org/docs/main/v9.2.0/en/ ......
修改账户密码时提示 ERROR 1290 (HY000): The MySQL server is running with the --skip-grant-tables option so it cannot execute this statement 错误
修改账户密码时提示 ERROR 1290 (HY000): The MySQL server is running with the --skip-grant-tables option so it cannot execute this statement 错误 ......
MySQL运维实战（1.3）安装部署：源码编译安装
作者：俊达 引言 在大多数情况下，我们不需要自己编译MySQL源码，因为编译的MySQL和二进制包的内容基本一致。然而，有些特殊情况可能需要我们采用源码编译的方式安装MySQL： 安装非标准版本的MySQL：有些特殊的应用场景会使用到MySQL的非标准版本，这时候我们就需要编译源码来安装。 安装社区 ......
新版日志系统建设，利用clickhouse替换ES架构
目录背景采集端消费端版本迭代性能对比Vector存储端引擎支持数据模型架构设计集群监控展示端子目录路由配置账号设置免密码登录总结 背景 随着业务量的大幅提升，日志存储要求越来越大，写入IO越来越高，需要对整个日志系统进行升级，使用ES作为存储引擎的成本也越来越高，需要一个针对日志场景，更高性价比的存 ......