利用kettle大批量转换数据时的优化。

发表回复

确认码
输入您在图片中看到的字符,不需要区分大小写。
表情
:D :) ;) :( :o :shock: :? 8-) :lol: :x :P :oops: :cry: :evil: :twisted: :roll: :!: :?: :idea: :arrow: :| :mrgreen: :geek: :ugeek:

BBCode 允许
[img] 允许
[url] 允许
表情 允许

主题浏览
   

展开视图 主题浏览: 利用kettle大批量转换数据时的优化。

Re: 利用kettle大批量转换数据时的优化。

BG6RSH » 周四 1月 16, 2025 2:30 pm

144万条记录转换时间从31mn30s减少到6mn45s

利用kettle大批量转换数据时的优化。

BG6RSH » 周四 1月 16, 2025 2:29 pm

对表输出数据库连接“选项”中添加下面3个参数,勾选“使用连接池”,右键点击“表输出”设置“改变开始复制的数量...”为10线程。
对于写操作,以下参数更为关键:
1. rewriteBatchedStatements=true
作用:将多条插入语句合并成一条批量插入语句,从而提高插入效率。
rewriteBatchedStatements=true
2. useServerPrepStmts=false
作用:关闭服务器端预处理语句,让SQL语句在客户端编译好后再发送给服务器端,可以提高批量插入的性能。
useServerPrepStmts=false
3. useCompression=true
作用:启用数据压缩传输,优化客户端和数据库服务器之间的通信性能。
useCompression=true

页首