打破世界纪录！英特尔助阿里云大数据计算再创新高

9月26日上午，在2019云栖大会上，刚加入阿里巴巴不久，目前担任阿里巴巴副总裁、阿里云智能计算平台事业部总经理的“Caffe之父”贾扬清在其主题演讲《让AI拥有无限可能的开发平台》中介绍了飞天大数据平台和飞天AI平台，作为飞天大数据平台架构核心之一的大数据计算服务MaxCompute和飞天AI平台核心引擎PAI被重点提及。

在云栖大会期间让人目不暇接的各项重大新品与战略发布消息中，飞天大数据平台中MaxCompute与飞天AI平台中PAI联合公布的成绩单也并不逊色——由英特尔支持的阿里云MaxCompute和PAI，成为在国际大数据性能基准测试TPCx-BB中，目前全球唯一一家通过100TB数据规模测试的系统。而在30TB数据规模的测试中，阿里云与排名第二的系统相比，在性能快了近一倍的同时，成本降低了约一半。

“支撑阿里巴巴经济体近全量大数据业务”——MaxCompute

MaxCompute是一种快速、完全托管的PB级数据仓库解决方案，使用户可以经济高效地分析处理海量数据。它可以提供简单易用的多功能计算服务，具备极致弹性能力与完善的平台服务，同时能够帮助用户降低总体拥有成本。

MaxCompute在阿里巴巴的地位是至关重要的，据阿里云计算平台研究员、高级总监关涛先生介绍，飞天平台在2009年建立时一共分为三大部分，其中之一就是现在的MaxCompute，主要实现分布式计算，而另外两个就是EB级分布式存储系统“盘古”与数万台机器规模分布式调度系统“伏羲”。

“MaxCompute的作用分成两部分，一部分是阿里巴巴内部，我们存储了阿里巴巴99%的数据，承接95%以上的计算需求，可以理解为，MaxCompute就是阿里巴巴这个经济体的大数据内存，是（几乎）所有阿里的数据，如淘宝、支付宝、天猫、拍立淘，以及各种人工智能应用的大数据计算平台。大概从2015年开始，MaxCompute在云上提供对外云服务，目前也是阿里云排名前十的旗舰产品之一。”关涛说道。

“飞天AI平台核心AI开发环境和框架引擎”——机器学习PAI

机器学习PAI是飞天AI平台中的核心产品，构建在阿里云MaxCompute等计算平台之上，在机器学习大规模分布式训练场景拥有非常强的性能表现，在本次TPCx-BB的比赛中，PAI基于MaxCompute，在逻辑回归、Kmeans、朴素贝叶斯三个算法的表现性能上取得很好的成绩

除此之外，机器学习PAI还支持MPI, MapReduce, PS, Graph等多种算法引擎，支持上百种常用算法，在算法上持续创新优化，性能和正确率上有显著的提升。机器学习PAI不仅为企业提供快速拉起的软硬件一体AI编程环境，还为企业提供被集成的AI解决方案，包括PAI算法的支持客户二次开发，PAI的API服务支持客户定制化AI平台，PAI编译优化的能力支持客户集成到自己的平台环境等

目前大数据领域最佳的参考标准TPCx-BigBench（TPCx-BigBench）

TPCx-BB是由国际标准组织TPC(Transaction Processing Performance Council)制定的一项大数据性能基准测试，通过最常用大数据应用场景来全面衡量系统软硬件性能，是最终客户选择最佳软硬件平台的重要参考标准。

谈到选择TPCx-BB来验证MaxCompute平台性能的原因时，关涛表示首先TPC是一个相对比较权威的基准测试组织；其次，TPCx-BB测试中同时包含了大数据、机器学习工作负载，既有结构化的24小时数据，也包含非结构化数据，有30种不同的维度基准联合测评，这代表着更丰富的测试结果，测试环境更能贴近越来越丰富的用户作业场景。

软硬件双赛道发力，英特尔为阿里飞天平台（MaxCompute+PAI）赋能

在MaxCompute/PAI多年的系统优化过程中，英特尔作为阿里巴巴重要的合作伙伴，提供了许多助力。英特尔作为测试基准中BigBench的重要贡献者，与阿里云开发团队深入合作，共同扩展TPCx-BB测试集，增加对MaxCompute计算引擎的支持，并一起在TPCx-BB委员会中共同推广MaxCompute/PAI，促成TPCx-BB官方测试集升级，继而正式纳入阿里云MaxCompute/PAI计算引擎的支持。

据英特尔高级首席工程师、大数据分析和人工智能创新院院长戴金权先生介绍，英特尔与阿里巴巴在MaxCompute/PAI平台的基准测试方面有近3年的合作历史。双方合作涵盖软硬件两个层面：在硬件层面上，MaxCompute/PAI平台基于搭载了英特尔至强可扩展处理器的服务器，通过充分发挥英特尔至强处理器的潜力，获取了强大的性能。此外还使用了英特尔傲腾数据中心级持久内存，帮助提升数据存储能力；在软件层面上，英特尔与阿里巴巴共同合作，用大量英特尔工具去分析性能，找到性能的瓶颈。与此同时，针对系统中的众多核心算法或算子，双方工程师也通力合作，帮助提高系统性能。

（编辑：PHP编程网 - 黄冈站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!