lz4压缩传输

发布时间 2023-10-09 09:15:12作者: 邹姣姣

如果用传统SCP远程拷贝,速度是比较慢的。现在采用lz4压缩传输。LZ4是一个非常快的无损压缩算法,压缩速度在单核300MB/S,可扩展支持多核CPU。它还具有一个非常快速的解码器,速度单核可达到和超越1GB/S。通常能够达到多核系统上的RAM速度限制。

lz4需要安装,事先做好无密码登陆操作,则不要输入密码。
(1)安装pv

# wget http://pipeviewer.googlecode.com/files/pv-1.1.4.tar.bz2
# tar xjf pv-1.1.4.tar.bz2
# cd pv-1.1.4
# ./configure
# make && make install 

(2)安装lz4<两边都要安装>

#wget https://dl.dropboxusercontent.com/u/59565338/LZ4/lz4-r108.tar.gz
# tar xf lz4-r108.tar.gz
# cd lz4-r108
#make && make install

time tar -c gdrive_dbp_his_201402|pv|lz4 -B4|ssh -c arcfour128 -o"MACs hmac-md5-96" 10.1.3.99 "lz4 -d|tar -xC /data5/mysql_tj_data"

lz4参考:http://www.orczhou.com/index.php/2013/11/tranfer-data-faster-on-the-fly/

删库的时候记得这样写:drop database if exists gdrive_dbp_his_201402;

set global sql_slave_skip_counter=1;
1可以为N.
用来跳过备机的一条或N条出错的复制语句。然后stop slave ; start slave即可