物联网确保数据管道效犬马之劳

分析物联网数据的障碍

对于许多组织来说，这说起来容易做起来难。整合物联网数据进行分析存在重大挑战。

首先，组织必须克服将来自不同来源的各种数据集成到其数据管道中的困难。Qlik与IDCrevealed的研究将不同的数据集成到标准格式中，这是组织在将数据转换为分析形式方面面临的最大挑战之一(37%)。

物联网的引入大大加剧了这一挑战，因为它可以快速增加输送管道的数据源的数量，这些数据源通常采用不熟悉的或非结构化的格式，在准备进行分析之前必须进行转换。

第二个挑战，高容量和高速度的吞吐量，进一步加剧了这个问题。随着许多物联网设备不断读取数据，产生的数据量远远超过大多数设备。这就自然而然地遇到了最后一个障碍，即即使数据管道足够健壮，能够接收和转换来自物联网设备的连续数据流，许多可视化和分析解决方案也无法提供实时信息更新。

这意味着，无论瓶颈是软件方面的，还是由用户查看其输出之间的时间间隔造成的，从数据中获得的知识只能追溯实施，而不是实时实施。

跟上数据的步伐

希望利用物联网的组织可以通过构建数据供应链来克服这些挑战，该供应链可以快速集成和转换来自多种不同来源的数据。

传统的面向批处理的方法(如提取、转换和加载(ETL))速度太慢、效率太低、破坏性太大，无法集成和支持对物联网数据的及时分析，并且通常需要大量的编码和深度脚本。31%的全球组织将“缺乏处理数据的熟练资源”列为准备好数据分析的最大挑战之一，因此组织减少熟练程序员的大量时间消耗对于物联网实施的成功至关重要。

变革数据捕获(CDC)技术为那些希望快速处理物联网数据进行分析的人提供了一个可实现的智能替代方案。CDC没有将数据上传到不同的源中，而是通过在数据更新发生时识别和复制数据来实现连续的增量复制。以这种方式流式传输数据显著提高了数据被接收和传输到数据仓库或数据湖进行分析的速度。

最后，当数据管道能够近乎实时地集成数据时，重要的是分析解决方案不仅能够持续可视化最新信息，而且还内置了一层主动性来支持决策过程。实时警报不仅提供洞察，还可以为用户提供快速触发的建议操作。利用认知引擎来提供这种主动智能将是下一代BI工具的关键功能。

（编辑：PHP编程网 - 黄冈站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!