【本文系互联网技术联盟（ITA1024）原创首发，转载或节选内容前需获授权（授权后一周以后可以转载），且必须在正文前注明：本文转自互联网技术联盟（ITA1024）技术分享实录,微信公众号：ita1024k】

本篇文章整理自申贤强4月23日在『1024大数据技术峰会』上的分享实录：大数据处理和统一任务调度系统优化。

我是来自搜狗基础平台部申贤强，今天给大家分享的话题是大数据处理和统一任务调度系统优化。

???

我们基于Hadoop系统建设搜狗海量数据存储和计算平台。提供一站式数据处理服务，每天数十亿的数据增量，推动开源数据的发展。

???

重要的事情先跟大家讲一下，开源的项目，一个是Kafka实时入Hive的sink工具，一个是任务管理系统核心组件。也欢迎大家借鉴和使用。

Github地址：

https://github.com/sogou/flume-hive-batch-sink

https://github.com/sogou/docker-on-yarn.git

今天分享主要内容分为两个方面：

???

第一，数据分析。

第二，大规模统一调度系统。

（编辑：PHP编程网 - 黄冈站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!