对表输出数据库连接“选项”中添加下面3个参数,勾选“使用连接池”,右键点击“表输出”设置“改变开始复制的数量...”为10线程。
对于写操作,以下参数更为关键:
1. rewriteBatchedStatements=true
作用:将多条插入语句合并成一条批量插入语句,从而提高插入效率。
rewriteBatchedStatements=true
2. useServerPrepStmts=false
作用:关闭服务器端预处理语句,让SQL语句在客户端编译好后再发送给服务器端,可以提高批量插入的性能。
useServerPrepStmts=false
3. useCompression=true
作用:启用数据压缩传输,优化客户端和数据库服务器之间的通信性能。
useCompression=true
利用kettle大批量转换数据时的优化。
Re: 利用kettle大批量转换数据时的优化。
144万条记录转换时间从31mn30s减少到6mn45s