在实际工作中,为了提高数据装载的效率,我们可以采用集群的方式来运行DMETL。这里我们演示DMETL使用一主多从的形式,配置主节点(172.10.10.203)和从节点(172.10.10.204),过程如下:
1.在所需配置的服务器上分别安装企业版的ETL,需注意,所有集群ETL需要共用一套元数据。可以在ETL配置文件中设置,如下图,所有节点元数据配置一致,本例选择单独的外置DM7数据库:
2.DMETL.ini中必须需要修改的参数,主节点从节点一致:
参数
|
说明
|
SERVER_TYPE
|
服务器节点类型, 1 为独立服务器;2 为主节点服务器; 3 为从节点服务器
主节点选2,从节点选3
|
MASTER_ADDRESS
|
需要修改为实际的主节点ip地址
|
MASTER_PORT
|
主节点端口号
|
MASTER_HEARTBEAT_ADDRESS
|
需要修改为实际的主节点ip地址
|
ENABLE_MULTICAST
|
此参数修改为1
|
3.启动服务,将从节点加入到集群中
开启ETL服务,通过ETL管理器连接到主节点,菜单栏中选择集群管理:
然后选择添加从节点,如下图,服务器ID可以直接获取:
添加成功后如下图:
4.转换中的集群配置:
在数据装载目的段选择集群配置,可以选择自动根据负载因子分配。也可以自定义,比如选择所有的节点:
如图可见,装载时两节点并行,并且实际速度比单节点会有明显提升。不过只对表装载起作用,对文件装载只能是单节点。
需要注意一点,所需要的其他配置文件或者数据源文件,如果选择集群自动方式时,需要保证每个服务器上都实际存在相关的文件。
上海腾科教育科技有限公司聚焦ICT人才培养和教育服务、培养数字化时代的新型ICT人才、促进良性的ICT人才生态发展,提供面授教育、在线教育、IT人才培养与就业、高校专业共建与实验室建设、企业人才定制培养,以及教育科技领域内的技术开发、咨询、服务以及解决方案,专注高校ICT课程课件研发、基于华为公有云的云实验实训平台建设,致力于ICT技术在高等院校的引进、开发和推广,是一家全国性的专业ICT行业技术认证服务公司。
腾科教育是华为授权的培训合作伙伴,专业提供华为ICT技术架构认证、平台与服务认证、行业服务认证等华为职业认证服务,连续多年荣获华为年度最佳合作伙伴贡献奖、华为优秀战略合作伙伴、上海HCIE精英俱乐部伙伴,连续多年举办腾科技术嘉年华华为专场,并协办华为ICT大赛、华为生态伙伴精英赛伙伴赛分赛场、华为人才双选会上海场等活动和赛事,提供面向华为生态合作伙伴和ICT学员的人才供需双选平台及ICT学员就业通道,培养ICT行业所需创新型、融合型人才。