数据处理中提升性能的方法-引入并发但是避免同步

背景 只要存在数据库,就会有后台批量处理数据的需求,比如数据表备份、定期清理、数据替换、数据迁移,对于批量处理来说,往往会涉及大量的查询、过滤、归类、聚合计算,在批量脚本中直接查询数据库往往性能太低,甚至会因为一个大型的SQL导致数据库锁表出现线上事故,因此一般采用先导出到文件,在文件上计算然后再导入,比如: 1、使用mysql -e “select * from table&#822 … 继续阅读数据处理中提升性能的方法-引入并发但是避免同步