526互联

ShardingSphere水平分表策略配置和测试实战

发布时间 2023-07-21 17:12:57作者: xietingweia

  • 概念

    • 水平分表

      • 把一个表的数据分到一个数据库的多张表中，每个表只有这个表的部分数据

      • 核心是把一个大表，分割N个小表，每个表的结构是一样的，数据不一样，全部表的数据合起来就是全部数据

      • 针对数据量巨大的单张表（比如订单表），按照某种规则（RANGE,HASH取模等），切分到多张表里面去

      • 但是这些表还是在同一个库中，所以单数据库操作还是有IO瓶颈，主要是解决单表数据量过大的问题

      • 减少锁表时间，没分表前，如果是DDL(create/alter/add等)语句，当需要添加一列的时候mysql会锁表，期间所有的读写操作只能等待

    • 水平分表的适用场景

      • 当一张表的数据达到几千万时，查询一次所花的时间长，需要进行优化，缩短查询时间
        • 微博发送记录、微信消息记录、日志记录。以id增长或时间划分
        • 网站签到等活动流水数据。以时间划分
实战样板

  • 依赖引入

        <dependency>
        <groupId>org.apache.shardingsphere</groupId>
        <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
        <version>4.1.1</version>
    </dependency>

  • application

    # 数据源 ds0 第一个数据库  --- 版本：mysql8
  shardingsphere:
    datasource:
      ds0:
        connectionTimeoutMilliseconds: 30000
        driver-class-name: com.mysql.cj.jdbc.Driver
        idleTimeoutMilliseconds: 60000
        jdbc-url: jdbc:mysql://[ip]:3306/[数据库]?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=Asia/Shanghai&allowPublicKeyRetrieval=true
        maintenanceIntervalMilliseconds: 30000
        maxLifetimeMilliseconds: 1800000
        maxPoolSize: 50
        minPoolSize: 50
        password: [密码]
        type: com.zaxxer.hikari.HikariDataSource
        username: [用户名]
      names: ds0

    props:
      # 打印执行的数据库以及语句
      sql:
        show: true

    sharding:
      tables:
        [表名]:
          # 指定表的数据分布情况，配置数据节点,行表达式标识符使用 ${...} 或 $->{...}，但前者与 Spring 本身的文件占位符冲突，所以在 Spring 环境中建议使用 $->{...}
          actual-data-nodes: ds0.[表名_]$->{0..1}
          # 水平分表策略+行表达式分片
          table-strategy:
            inline:
              algorithm-expression: [表名_]$->{[取模字段] % 2}
              sharding-column: [取模字段]

  • 测试

        @Test
    public void  testSaveTraffic(){
        Random random = new Random();
        for(int i=0;i<10;i++){
            TrafficDO trafficDO = new TrafficDO();
            // 设置取模字段的值  Int
            trafficDO.setAccountNo(Long.valueOf(random.nextInt(1000)));
            trafficMapper.insert(trafficDO);
        }
    }

  • 结果分析

    • 取模字段accountNo为偶数的对象，存储到traffic_0表
    • 取模字段accountNo为奇数的对象，存储到traffic_1表
    • 实现水平分表
    • 缺陷： 主键id重复