PHP写的采集程序 MYSQL占用CPU 100% 解决办法。

by admin on 2014-06-08 15:46:36 in , 次

最近搞个项目,需要定时抓取数据。并且是多进程大批量插入。

两小时执行一次，刚开始没有分批处理，每次执行大约要操作十几万次MYSQL。其中一半是插入操作。

调试过程中发现 CPU 一直保持满负荷状态，并且执行时间最慢两个多小时没有执行完。

查阅相关资料。现将解决办法记录如下：

首先是合并插入和查询语句，原来是需要插入一次就执行一次 INSERT 。

修正为INSERT INTO T (`id`,`name`) VALUES(),(),(),(),(),(),(),(),(); 这样一次插入多条。

UPDATE 也用；号割离，然后积攒到 200 条的时候一次性执行。

然后我接着调试，依旧CPU占用很高，但是执行时间变短了很多,基本上执行完一次只需要几分钟。

那么只剩下 SELECT 了。接着优化。因为我查询过程中判断条件过多。所以我以此针对 WHERE 的条件都加上了索引。

然后接着测试， MYSQL的CPU占用会有起伏从原来的长时间占用190% 多，变为 40% ~ 120% 之间起伏。

并且执行一遍仅仅需要两分钟，即可。

这里写出来供大家参考。