细说数据集成方法ETL、ELT和反转ETL
发布时间：2022-09-03 21:32:09 所属栏目：云计算 来源：互联网
导读：为了协助您为数据管道项目选择合适的数据集成方法，我们将简要地探讨ETL和ELT各自的优缺点，以及如何使用这两种技术。同时，我们也会讨论反向ETL为何成为那些需要快速数据加载、最小化维护、以及高度自动化工作流的更好选择。 ETL和ELT的一般概念 目前，企
|
为了协助您为数据管道项目选择合适的数据集成方法，我们将简要地探讨ETL和ELT各自的优缺点，以及如何使用这两种技术。同时，我们也会讨论反向ETL为何成为那些需要快速数据加载、最小化维护、以及高度自动化工作流的更好选择。 ETL和ELT的一般概念 目前，企业面临的一种常见挑战是：需要以多种格式，从多个来源捕获数据，然后将其转移到一到多个数据目标。由于大多数数据转移项目都需要收集多个数据源，因此它们需要拥有一个定义良好的数据管道（即，信息从源头到终点的路径或工作流程）。如果目标与数据源的存储格式不同，那么我们就必须在加载到最终目标之前，对数据进行细化或清理。目前，业界有许多工具、服务和流程，可以在数据管道中，起到一定的应用数据转换与协调的工作。 ETL的流程 ETL是一个数据集成的过程。它使得数据管道项目能够从各种源头顺利地提取数据、转换数据、并将数据结果加载到目标数据库中。无论是ETL还是ELT，数据的转换与集成过程，都会涉及如下三个阶段（如图1所示）： 提取——使用数据库查询或变更数据捕获（change data capture，CDC）流程，从源系统（如：SAS、在线、本地）提取数据。提取后，数据会被转移到暂存区域，以待进一步处理。 转换——数据被清理、处理、转换、充实后，会被转换为目标数据管道、数据仓库、数据库或数据湖使用的格式。 加载——将原始数据和转换后的数据加载到目标系统中。此过程会涉及到写入分隔文件、在数据库中创建模式、以及用累积或聚合的数据去覆盖现有的数据。 ELT会对集成过程中涉及的步骤进行重新排序，使得转换发生在最后，而不是中间。ELT的流程可以通过切换阶段顺序，在不考虑结构或格式的情况下，将数据加载到可接受原始数据的数据湖中，并且允许进行即时的数据提取和加载。 促成采用ELT的另一个因素是：基于云的数据仓库被广泛地采用与实施。云数据仓库解决方案提供了计算和存储之间的完全分离，以及存储无限数据的能力。如今，大多数数据仓库都是被托管的。这就意味着企业既不需要购买或管理任何硬件或存储设备，也不需要安装软件或考虑扩展。这些都将由云服务提供商来管理与负责。据此，企业可以在较短的时间内，配置出云托管的数据仓库。 （编辑：PHP编程网 - 黄冈站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
浙公网安备 33038102330482号