ETL的注意事项

ETL的注意事项

为了能更好地实现ETL，笔者建议用户在实施ETL过程中应注意以下几点：
第一，如果条件允许，可利用数据中转区对运营数据进行预处理，保证集成与加载的高效性；
第二，如果ETL的过程是主动“拉取”，而不是从内部“推送”，其可控性将大为增强；
第三，ETL之前应制定流程化的配置管理和标准协议；
第四，关键数据标准至关重要。ETL面临的最大挑战是当接收数据时其各源数据的异构性和低质量。以电信为例，A系统按照统计代码管理数据，B系统按照账目数字管理，C系统按照语音ID管理。当ETL需要对这三个系统进行集成以获得对客户的全面视角时，这一过程需要复杂的匹配规则、名称/地址正常化与标准化。而ETL在处理过程中会定义一个关键数据标准，并在此基础上，制定相应的数据接口标准。
第五，将数据加载到个体数据集市。在没有一个集中化的数据库情况下，拥有数据模板是非常重要的。它们是标准化的接口，每一个个体或者部门数据集市都能够填充。确保你的ETL工具有这样的功能，能够扩展到一个数据仓库平台，将信息从一个数据集市流动到下一个。