记录一次数据重分布造成的数据库抖动。
何为数据重分布:
select * from t1,t2 where t1.id1=t2.id2;
- 若id1,id2都为分片键,在做算子下推到dn时，由于分片键是hash算法，所以id1，id2相同的值都在同一个dn上。每个dn可以独立完成数据过滤。dn计算的数据在CN聚合后，返回客户端。
- 若id1,id2有一个不是分片键，在做算子下推到dn时，dn无法单独完成数据过滤，需要跟其它dn建立连接，获取缺失的数据后，再进行数据过滤。过滤完成后，将数据在cn汇聚后反馈给客户端。---这就是数据重分布
数据重分布的危害：
- dn和dn之间会建立大量连接，会导致dn连接数上升。高并发场景下，造成dn连接数打满。
- 导致SQL效率变慢。
整改方案：
- 约束开发：高并发SQL的where条件中，只能允许通过分片键过滤。---对开发要求较高
- 分布式表改造成复制表：每个DN上有完整的数据，通过非分片键进行过滤时，没有数据的重分布。---若表较大，十分浪费存储
set lock_timeout=30000;
create table t_product_0818 (like t_product including all) distribute by replication to group default_group; ---including all不包括外键
alter table t_product rename to t_product_ori_0818 ;
insert into t_product_0818 select * from t_product_ori_0818 ;
vacuum analyze t_product_0818 ;
alter table t_product_0818 rename to t_product ;