TiDB
TiDB 多集群告警监控-中章-融合多集群 Grafana
author：longzhuquan 背景 随着公司XC改造步伐的前进，越来越多的业务选择 TiDB，由于各个业务之间需要物理隔离，避免不了的 TiDB 集群数量越来越多。虽然每套 TiDB 集群均有两个详细的监控 Dashboard、Grafana，但对于运维来说几十套集群的监控、告警、巡检均需消 ......
TiDB 在单机上模拟部署生产环境集群
参考地址：https://docs.pingcap.com/zh/tidb/dev/quick-start-with-tidb 前提条件 硬件要求 开始部署 TiDB 集群前，准备一台部署主机，确保其软件满足需求： 推荐安装 CentOS 7.3 及以上版本 运行环境可以支持互联网访问，用于下载 T ......
一篇文章彻底搞懂TiDB集群各种容量计算方式
背景 TiDB 集群的监控面板里面有两个非常重要、且非常常用的指标，相信用了 TiDB 的都见过： Storage capacity：集群的总容量 Current storage size：集群当前已经使用的空间大小 当你准备了一堆服务器，经过各种思考设计部署了一个 TiDB 集群，有没有想过这两个 ......
TiDB 多集群告警监控-初章-监控融合、自动告警处理
author:longzhuquan 背景 随着公司XC改造步伐的前进，越来越多的业务选择 TiDB，由于各个业务之间需要物理隔离，避免不了的 TiDB 集群数量越来越多。虽然每套 TiDB 集群均有两个详细的监控 Dashboard、Grafana，但对于运维来说几十套集群的监控、告警、巡检均需消 ......
安装HUE并配置连接Hive&Flink&TIDB
安装依赖包 yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel mak ......
安装HUE并配置连接Hive&Flink&TIDB
创建用户 groupadd hadoop useradd -g hadoop hadoop 解压编译 wget https://cdn.gethue.com/downloads/hue-4.8.0.tgz PREFIX=/usr/share make install 集成Hive Conf 在/op ......
tidb破解root用户密码
1、添加跳过认证tidb的配置文件（单节点即可）[root@localhost conf]# vi tidb.toml [security]skip-grant-table = true 2、停止服务systemctl stop tidb-40003、root启动脚本/tidb-deploy/tid ......
TiDB故障处理之让人迷惑的Region is Unavailable
背景 最近某集群扩容了一批物理机，其中 TiKV 节点有6台机器12个实例，同时调整了 label 设置增加了一层机柜级容灾。因为前期做了比较充分的准备工作，到了变更窗口只等着执行scale-out就行，操作过程也很顺利，很快就把所有节点都扩进去了，检查完各实例的运行状态，确保region已经开始正 ......
tidb断电pd数据被破坏修复
思路：找到cluster id 和 分配的id 启动单点的pd pd-recover修复pd 恢复成pd集群 强制删除多个pd 启动tidb集群 1、pd的日志报错 [root@localhost log]# pwd /tidb-deploy/pd-2379/log [root@localhost ......
TiDB binlog故障处理之drainer周期性罢工
背景 前段时间用户反馈某生产环境 TiDB 集群 drainer 频繁发生故障，要么服务崩溃无法启动，要么数据跑着跑着就丢失了，很是折磨人。该集群跑的是离线分析业务，数据量20T ，v4版本，有多个 drainer 往下游同步数据，目标端包括kafka、file、tidb多种形态。 两天前刚恢复过一 ......
TiDB的搭建与维护过程
TiDB的搭建与维护过程 背景 总结一下TiDB的搭建以及简单维护过程. 目标: 简单快速的创建TiDB数据库,以及进行备份恢复等工作. TiDB 简介 TiDB（全称：Ti Distributed Database）是一款开源的分布式数据库系统， 由PingCAP公司开发。它是一种基于分布式架构的 ......
Sybench性能测试MySQL/TIDB
一、安装部署 1.1源码/包：https://github.com/akopytov/sysbench 1.2安装工具Sysbench1.0.20版本 切换root用户执行 方式一： - Debian/Ubuntu系统: curl -s https://packagecloud.io/install ......
tiup离线安装tidb6.5.3
tidb 6.5.3 规划 ip 资源 规划 备注 192.168.10.57 4C/8G/100G pd、tikv 192.168.10.56 4C/8G/100G tikv、pd、cdc 192.168.10.55 4C/8G/100G tidb、tikv 192.168.10.54 4C/8G ......
tidb的regins管理
```bash命令及sql查看#tidb热点regins查看select * from information_schema.tidb_hot_regions where REGION_ID='121930461';select * from information_schema.TIKV_REGI ......
TiDB恢复部分表的方式方法
TiDB恢复部分表的方式方法 背景 今天同事告知误删了部分表. 因为是UAT准生产的环境, 所以仅有每天晚上11点的备份处理. 同时告知 昨天的数据也可以. 得到认可后进行了 TiDB的单表备份恢复. 备份的语句 注意TiDB是可以增量备份恢复的 但是为了快速的恢复和解决背景中的问题. 我这边采用保 ......
MySQL到TiDB：Hive Metastore横向扩展之路
本文介绍了vivo在大数据元数据服务横向扩展道路上的探索历程，由实际面临的问题出发，对当前主流的横向扩展方案进行了调研及对比测试，通过多方面对比数据择优选择TiDB方案。其次分享了整个扩展方案流程、实施遇到的问题及解决方案，对于在大数据元数据性能上面临同样困境的开发者本篇文章具有非常高的参考借鉴价值... ......
TiDB的简单介绍以及进行资源限制的方式与方法
TiDB的简单介绍以及进行资源限制的方式与方法 TiDB的简介 TiDB是一个分布式数据库, 简介为: TiDB 是一个开源的分布式关系型数据库，它兼具了分布式数据库的水平扩展性和传统关系型数据库的 ACID 事务特性。 TiDB 最初由 PingCAP 公司开发，并于 2015 年开源发布。创始人 ......
[粘贴]TiDB Lightning 断点续传
https://www.bookstack.cn/read/tidb-6.1-zh/tidb-lightning-tidb-lightning-checkpoints.md 大量的数据导入一般耗时数小时至数天，长时间运行的进程会有一定机率发生非正常中断。如果每次重启都从头开始，就会浪费掉之前已成功导 ......
TIDB - 分布式数据库
# TIDB（一） ## 重点 ### TIDB核心 - [x] 数据存储-RocksDB - [ ] Raft 协议 选举 数据同步 - [x] MVCC - [x] 表数据与kv映射关系 - [x] 索引数据与kv 映射关系 - [x] 元数据和sql 层计算 - [ ] PD调度 - [ ] ......
tidb快照备份并发送企业微信机器人通知
tidb备份使用的是br进行快照备份 + 日志备份具体代码如下 #qiyewx.pyimport json from datetime import datetime import requests from config import * # 可以把机器人的配置信息写到一个单独的config里面 ......
TiDB的连接&目录结构
TiDB 完全兼容MySQL 5.7链接协议，所以可以使用mysql 客户端来连接，默认端口是 4000 [root@svr101 ~]# mysql -uroot -h192.168.31.102 -P4000 -pEnter password: Welcome to the MySQL moni ......
TiDB介绍和安装
首先 TiDB 是开源分布式关系型数据库，据官方说法它是一款同时支持在线事务处理与在线分析处理 (Hybrid Transactional and Analytical Processing, HTAP) 的融合型分布式数据库产品，具备水平扩容或者缩容、金融级高可用、实时 HTAP、云原生的分布式数 ......
TiDB dumpling 导出MySQL 数据遇异常
最近在学习研究TiDB 数据库运维，据介绍逻辑导出工具dumpling 是可以兼容MySQL 数据库的，于是进行了测试 数据库版本信息如下： 新建了两张表t1,t2: 利用存储过程批量插入500000 行记录： drop PROCEDURE p_load2; delimiter $$create P ......
2023年8月中国数据库排行榜：TiDB 重夺榜眼，PolarDB 再进一位
2023年8月的 墨天轮中国数据库流行度排行 在炎炎夏日中火热出炉，本月共有286个数据库参与排名。本月排行榜前十中，头部变动加剧。TiDB 发奋图强重夺榜眼，阿里云PolarDB 排名连续上升，其余数据库稳居原位显魄力。 ......
Tidb异名恢复Mysql数据库的过程
# Tidb异名恢复Mysql数据库的过程 ## 背景 ``` 先说坑: TiDB备份恢复的方式 1. mysqldump + mysql source 的方式. 2. mydumper + loader tidb 的一个工具组件 3. lightning dumpling的备份恢复方式是 4. b ......
Tidb 使用minio 进行br备份数据库的过程
# Tidb 使用minio 进行br备份数据库的过程 ## 背景 ``` br 备份恢复时一般需要共享存储. 前段时间一直使用的是nfs 进行共享文件备份. 这样需要所有的机器在 相同的目录下面挂载相同的nfs. 并且是需要有读写权限. 所以nfs 就比较复杂了. 而且需要有宿主机的权限比较难以实 ......
tidb备份恢复的方式方法
# tidb备份恢复的方式方法 ## 摘要 ``` 可以单独每个数据库实例进行备份,但是这种机制实在是太慢了. 网上查资料发现可以使用 tiup br 的方式进行备份. 但是大部分文档都比较陈旧, 官网上面又比较贴心的 只有s3的. 找了一大堆找到一个文档可以使用nfs, 所以这里记录一下. 备查 ......
TiDB简述及TiKV的数据结构与存储
本文主要从TiDB的各类组件为起点，了解它的基础架构，并重点分析它在存储架构方面的设计，探究其如何组织数据，Table中的每行记录是如何在内存和磁盘中进行存储的。 ......
TiDB简介与应用场景
# 引言 在当今互联网时代，数据的规模和复杂性不断增长，传统关系型数据库面临着无法满足高并发和大规模数据存储需求的挑战。为了解决这一问题，开源社区涌现出了一系列分布式数据库解决方案，其中TiDB作为一种新兴的分布式数据库引起了广泛的关注。本文将介绍TiDB的基本概念、特点以及适用的应用场景。 TiD ......
tidb需要关闭不必要的set autocommit
tidb需要关闭不必要的set autocommit TIDB的URL连接 jdbcUrl=jdbc:mysql://127.0.0.1:4000/ptm_erp?rewriteBatchedStatements=true&allowMultiQueries=true&useConfigs=maxP ......