大数据发展的8个要点

大数据技术就是对最原始的数据进行不断处理加工提炼，金字塔每上去一层，对应的数据量会越小，同时对业务的影响价值会更大更快。而要从数据(Data) 最终提炼出智慧(Wisdom)，数据要经过一条很长的数据流链路，没有一套完整的系统保证整条链路的高效运转是很难保证最终从数据中提炼出来有价值的东西的，所以大数据未来产品全链路化是另外一个大的趋势。

大数据技术往下游数据消费和应用端转移

上面讲到了大数据的全链路发展趋势，那么这条长长的数据链路目前的状况是如何，未来又会有什么样的趋势呢?

我的判断是未来大数据技术的创新和发力会更多的转移到下游数据消费和应用端。之前十多年大数据的发展主要集中在底层的框架，比如最开始引领大数据风潮的 Hadoop ，后来的计算引擎佼佼者 Spark，Flink 以及消息中间件 Kafka ，资源调度器 Kubernetes 等等，每个细分领域都涌现出了一系列优秀的产品。总的来说，在底层技术框架这块，大数据领域已经基本打好了基础，接下来要做的是如何利用这些技术为企业提供最佳用户体验的产品，以解决用户的实际业务问题，或者说未来大数据的侧重点将从底层走向上层。之前的大数据创新更偏向于 IAAS 和 PAAS ，未来你将看到更多 SAAS 类型的大数据产品和创新。

从近期一些国外厂商的收购案例，我们可以略微看出一些端倪。

1. 2019 年 6 月 7 日，谷歌宣布以 26 亿美元收购了数据分析公司 Looker，并将该公司并入 Google Cloud。
2. 2019 年 6 月 10 日，Salesforce 宣布以 157 亿美元的全股票交易收购 Tableau ，旨在夯实在数据可视化以及帮助企业解读所使用和所积累的海量数据的其他工具方面的工作。
3. 2019 年 9 月初，Cloudera 宣布收购 Arcadia Data 。 Arcadia Data 是一家云原生 AI 驱动的商业智能实时分析厂商。

面对最终用户的大数据产品将是未来大数据竞争的重点，我相信会未来大数据领域的创新也将来源于此，未来 5 年内大概率至少还会再出一个类似 Looker 这样的公司，但是很难再出一个类似 Spark 的计算引擎。

底层技术的集中化和上层应用的全面开花

学习过大数据的人都会感叹大数据领域的东西真是多，特别是底层技术，感觉学都学不来。经过多年的厮杀和竞争，很多优秀的产品已经脱颖而出，也有很多产品慢慢走向消亡。比如批处理领域的 Spark 引擎基本上已经成为批处理领域的佼佼者，传统的 MapReduce 除了一些旧有的系统，基本不太可能会开发新的 MapReduce 应用。 Flink 也基本上成为低延迟流处理领域的不二选择，原有的 Storm 系统也开始慢慢退出历史舞台。同样 Kafka 也在消息中间件领域基本上占据了垄断地位。未来的底层大数据生态圈中将不再有那么多的新的技术和框架，每个细分领域都将优胜劣汰，走向成熟，更加集中化。未来更大的创新将更多来来自上层应用或者全链路的整合方面。在大数据的上层应用方面未来将会迎来有更多的创新和发展，比如基于大数据上的 BI 产品， AI 产品等等，某个垂直领域的大数据应用等等，我相信未来我们会看到更多这方面的创新和发展。

开源闭源并驾齐驱

大数据领域并不是只有 Hadoop，Spark，Flink 等这类大家耳熟能详的开源产品，还有很多优秀的闭源产品，比如 AWS 上的 Redshift ，阿里的 MaxCompute 等等。这些产品虽然没有开源产品那么受开发者欢迎，但是他们对于很多非互联网企业来说是非常受欢迎的。因为对于一个企业来说，采用哪种大数据产品有很多因素需要考虑，否开源并不是唯一标准。产品是否稳定，是否有商业公司支持，是否足够安全，是否能和现有系统整合等等往往是某些企业更需要考虑的东西，而闭源产品往往在这类企业级产品特性上具有优势。

最近几年开源产品受公有云的影响非常大，公有云可以无偿享受开源的成果，抢走了开源产品背后的商业公司很多市场份额，所以最近很多开源产品背后的商业公司开始改变策略，有些甚至修改了 Licence 。不过我觉得公有云厂商不会杀死那些开源产品背后的商业公司，否则就是杀鸡取卵，杀死开源产品背后的商业公司，其实就是杀死开源产品的最大技术创新者，也就是杀死开源产品本身。我相信开源界和公有云厂商最终会取得一个平衡，开源仍然会是一个主流，仍然会是创新的主力，一些优秀的闭源产品同样也会占据一定的市场空间。

最后我想再次总结下本文的几个要点：

目前大数据已经度过了最火的峰值期和泡沫化的底谷期，现在正处于稳步向前发展的阶段。

1. 数据规模会继续扩大，大数据将继续发扬光大
2. 数据的实时性需求将更加突出
3. 大数据基础设施往云上迁移势不可挡
4. 大数据产品全链路化
5. 大数据技术往下游数据消费和应用端转移
6. 底层技术的集中化和上层应用的全面开花
7. 开源闭源并驾齐驱

【编辑推荐】

1. 人工智能和大数据存在什么隐患？
2. 大数据无处不在，安全性也需要如此

（编辑：PHP编程网 - 黄冈站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!