新时代开源数据调度在1000+企业的进化之途
发布时间：2022-06-30 03:44:33 所属栏目：大数据 来源：互联网
导读：近年来，随着互联网的飞速发展，业务量在短时间内呈现爆发式增长，对应的数据量快速从数百 G 涨至数百 T。无论数据存储还是数据调度，当前数据量已经远超处理能力的上限。若信息处理技术仍渐进式发展，数据处理能力的提升将远落后于指数级增长的数据量。
|
近年来，随着互联网的飞速发展，业务量在短时间内呈现爆发式增长，对应的数据量快速从数百 G 涨至数百 T。无论数据存储还是数据调度，当前数据量已经远超处理能力的上限。若信息处理技术仍渐进式发展，数据处理能力的提升将远落后于指数级增长的数据量。 可想而知，提升数据处理能力、使任调度任务效率最大化、保持工具高可用是目前各企业的共同诉求，同时也是大数据发展所要面对的核心技术难点。 其中大数据任务调度以 Apache DolphinScheduler 项目为代表：基于 Apache 开源社区理念打造的 Apache DolphinScheduler 是全球知名的 DataOps 领域开源项目，拥有超过350人的贡献者群体。作为一个分布式去中心化，易扩展的可视化工作流任务调度平台，Apache DolphinScheduler 已累计在 1000 多家公司生产环境中作为企业的核心调度系统，包括 IBM、腾讯、科大讯飞、美团、360、联通、顺丰等，覆盖金融、电信、零售、云计算、数据处理等众多领域。 无论你是热衷于钻研开源技术的开发者，还是“大数据调度”的开源资深爱好者，都能从这些前沿的案例中获得全新的灵感。 （编辑：PHP编程网 - 黄冈站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
浙公网安备 33038102330482号