联通大数据科技优势凸显

能应用方向的研发工作。陈博于2008年毕业于北京邮电大学，获得工学博士学位，主要研究方向为机器学习、自然语言处理、信息检索；毕业后曾先后就职于NEC中国研究院、中国联通集团总部技术部。

集中运维管理，保障应用基础

作为通信运营商，中国联通早在2010年，就提出了数据大集中策略；2012年，开始组建全国数据中心，涵盖全国所有省份实现了全网数据的统一集中汇聚与管理。目前，联通大数据公司每天的新增数据量达到150TB以上。

为了能高效的处理如此海量的数据，联通大数据目前拥有数千节点的集群，每天要运行10万个以上的处理任务。运维如此大规模数据集群，在业界也是不多见的，对于联通大数据来说，并没有太多可以直接借鉴的外部经验，靠的就是自身建立的一支高效的集群运维管理团队，进行长期24小时不间断的监护、优化。在过去一年中，在日增数据量翻倍、集群资源几乎没有扩容的情况下，通过从集群文件碎片、冗余数据库表、RPC任务管理等多方面的持续优化，使集群的整体资源负载反而下降了近30%，从而为上层大数据应用提供了坚实的基础算力保障。

同时，联通大数据对所有数据业务的开展都是以完全合法、合规为首要前提，内部有着非常严格的安全管理和监控机制，坚持“敏感数据不出门”的原则；对外数据产品与服务更多是基于区域性、群体性的统计分析以及模型加工产生的标签数据，并且任何数据结果的输出都需要经过内部安全网关的层层严格审核，从而为上层大数据应用提供了可靠的安全合规保障。

在此过程中，联通大数据在大规模数据集群运维、海量数据资产管理方面积累了大量的实践经验，逐步总结形成了一整套完善的运维管理机制，在6月初的大数据产业峰会上获得了“2019年星河奖——***数据资产管理实践奖”。

构建数智能力，释放应用价值

面对日增上百TB、总量近百PB的海量数据，如何实现大数据的应用价值，陈博认为“大数据企业首先需要对于自身数据的核心价值维度有明确的认识，进而才能清楚如何建立自身的数据能力体系去释放数据的应用价值“。围绕自身的运营商大数据，联通大数据则定义了行为兴趣、位置时序、关系图谱3大数据价值维度，并相应的构建了3大类数智平台能力体系，这背后则用到了诸多NLP、搜索引擎、时空序列、图计算等关键技术。

而在数智平台的每一项能力的构建与应用中，联通大数据的各种数据架构、数据模型、数据算法需要面对的都是PB级的海量数据，既需要考虑算法模型的准确度、有效性，更需要保证在大规模数据上的可用性、稳定性以及运行效率。典型的例如，从万亿级的信令大数据中通过快速排序、迭代进行基站位置工参纠偏；从万亿级位置时序数据中准实时的进行区域、时段关联检索，进而实现线上线下融合洞察推荐；从几亿号卡对应的万亿级信令中发现群体聚合，进而进行黑灰产风险号卡识别；从十亿级顶点、数百亿关系边的图谱中，进行N度关联群体发掘，进而辅助用于企业经营位置识别等等。这些能力的构建、应用的实现，凭借的则是自身组建的一支涵盖数据分析、数据建模、AI应用等多方面能力的高素质、高效能的数据科学团队。

通过这3大类数智平台能力的组合，支撑了上层的广告、风控、洞察、舆情等标准产品，以及金融、政务、文旅、公安等各类行业应用，已经形成了丰富的大数据智能应用案例与落地成果，实现了“大数据”到“大价值”的转化。

汇聚能力资源，赋能行业升级

联通大数据已经构建了强大的数据连接、运维、治理、分析、应用、服务能力，构成了作为一家大数据科技企业快速发展的动力引擎。而在此之上，我们更希望通过开放合作，与各行业伙伴共同成长。

一方面，我们将自身在集群运维、数据治理、模型构建方面多年的运营实践经验，梳理为模式化、流程化、产品化的大数据平台建设方案进行能力输出，已经帮助政府、电力、银行、教育、旅游、邮政等多个行业的合作伙伴搭建了自有的大数据平台、应用系统，赋能行业合作伙伴快速构建大数据应用基础。

（编辑：PHP编程网 - 黄冈站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!