甲骨文认证体系
Vmware认证体系
AWS亚马逊
阿里云认证体系
红帽认证体系
ZStack云计算认证体系
思科认证体系
华为认证体系
CDA数据分析师认证
达梦认证体系
麒麟
定制化课程
达梦数据库培训干货分享DMETL集群的配置方法
发布日期:2020-08-31 14:45:34阅读次数:

在实际工作中,为了提高数据装载的效率,我们可以采用集群的方式来运行DMETL。这里我们演示DMETL使用一主多从的形式,配置主节点(172.10.10.203)和从节点(172.10.10.204),过程如下:


1.在所需配置的服务器上分别安装企业版的ETL,需注意,所有集群ETL需要共用一套元数据。可以在ETL配置文件中设置,如下图,所有节点元数据配置一致,本例选择单独的外置DM7数据库:




2.DMETL.ini中必须需要修改的参数,主节点从节点一致:


参数

说明

SERVER_TYPE

服务器节点类型, 1 为独立服务器;2 为主节点服务器; 3 为从节点服务器

主节点选2,从节点选3

MASTER_ADDRESS

需要修改为实际的主节点ip地址

MASTER_PORT

主节点端口号

MASTER_HEARTBEAT_ADDRESS

需要修改为实际的主节点ip地址

ENABLE_MULTICAST

此参数修改为1


3.启动服务,将从节点加入到集群中

开启ETL服务,通过ETL管理器连接到主节点,菜单栏中选择集群管理:



然后选择添加从节点,如下图,服务器ID可以直接获取:



添加成功后如下图:



4.转换中的集群配置:

在数据装载目的段选择集群配置,可以选择自动根据负载因子分配。也可以自定义,比如选择所有的节点:



如图可见,装载时两节点并行,并且实际速度比单节点会有明显提升。不过只对表装载起作用,对文件装载只能是单节点。


需要注意一点,所需要的其他配置文件或者数据源文件,如果选择集群自动方式时,需要保证每个服务器上都实际存在相关的文件。


上海腾科教育科技有限公司聚焦ICT人才培养和教育服务、培养数字化时代的新型ICT人才、促进良性的ICT人才生态发展,提供面授教育、在线教育、IT人才培养与就业、高校专业共建与实验室建设、企业人才定制培养,以及教育科技领域内的技术开发、咨询、服务以及解决方案,专注高校ICT课程课件研发、基于华为公有云的云实验实训平台建设,致力于ICT技术在高等院校的引进、开发和推广,是一家全国性的专业ICT行业技术认证服务公司。

腾科教育是华为授权的培训合作伙伴,专业提供华为ICT技术架构认证、平台与服务认证、行业服务认证等华为职业认证服务,连续多年荣获华为年度最佳合作伙伴贡献奖、华为优秀战略合作伙伴、上海HCIE精英俱乐部伙伴,连续多年举办腾科技术嘉年华华为专场,并协办华为ICT大赛、华为生态伙伴精英赛伙伴赛分赛场、华为人才双选会上海场等活动和赛事,提供面向华为生态合作伙伴和ICT学员的人才供需双选平台及ICT学员就业通道,培养ICT行业所需创新型、融合型人才。