大数据存储能否顺应时代的发展条件

    大数据存储，可以认为是存储厂商基于现有大数据应用的特点进行优化的解决方案。

 

 

    不久前去香港出差，刚下飞机就收到招商银行发来的一条短信，内容是告之香港有哪些商场在举办促销活动。不知道这是巧合，还是招商银行利用大数据的新成果，但是可以肯定，利用大数据分析可以为客户提供定制化的服务，实现精准营销。大数据正在改变企业业务模式，也让人们的生活变得更加便利和丰富多彩。

 

 

    存储必须整合

 

 

    大数据存储是一类单独的产品吗？赛迪顾问高级分析师陈靓并不这么认为：“把大数据软件与存储进行整合，就称为大数据存储，未免有些牵强。如果非要说出大数据存储的特征，那么我认为它至少应该能让大数据的‘4V’发挥出应有的效果，满足大数据对性能和扩展性的要求。”

 

 

    “与其说大数据存储是一类产品，不如说它是下一代的存储架构。这种架构可以将传统的DAS、SAN和NAS有效地整合起来，以满足上层计算平台的要求。”Forrester Research首席咨询分析师戴昆表示，“大数据存储本身的性能与传统企业级存储并没有显着差异，它主要依赖于上层计算平台的分布式并行处理能力，但其扩展性一定要强。”

 

 

    “在中国市场上，大数据应用还没有真正落地，许多用户谈的还是BI（商业智能）。而从国外的实践看，BI只是大数据的一部分，属于大数据的起步阶段，真正的大数据应用是近实时或实时的数据分析。”中桥调研咨询首席分析师王丛告诉记者，“计算、存储、网络等都与大数据的价值有关。大数据存储并不是一类单独的产品，它也可以通过类似公有云或私有云的方式提供给用户。应用和数据量的增加，对数据的存取提出了更高要求。因此，并行存储能力的增强对大数据存储来说非常重要。”

 

 

    EMC Isilon存储事业部总经理杨兰江表示，大数据存储有很多实现方式，不过它应具备以下特性：海量数据存储能力、全局命名空间、支持标准接口、读写性能优异、易于管理维护、基于开放架构、多级数据冗余、多级存储备份等。

 

 

    “存储产品并不像网络产品那样有严格的界线，因此很难将大数据存储单独划分出来。其实，大数据存储并不是只有分布式存储这一种方式，传统的存储也可以成为大数据存储解决方案的一部分。”华为存储产品线市场总监经宁解释说，“华为将大数据存储当成相对独立的一类产品，主要是从产品的主定位角度考虑的。华为有针对企业级应用的高端存储，也有针对中小型用户的通用存储，当然还有专门为大数据优化的分布式、可横向扩展的大数据存储。”

 

 

    目前，业内并没有关于大数据存储产品的通用定义，但是综合考虑厂商的产品以及用户的需求，可以简单概括出大数据存储的特征：首先，大数据存储必须能够支持全类型数据，包括结构化、半结构化和非结构化数据，实现统一数据支持；其次，在保证可靠性的基础之上，大数据存储必须具备线性扩展能力，同时还要具有很强的批处理和实时处理能力；最后，在系统达到一定规模后，大数据存储平台的易用性和可管理性也是不可或缺的。

 

 

    在大数据处理过程中，用户发现性能的瓶颈并不在计算层面，而在于海量数据的上传和下载。因此，极高的数据加载速率是大数据存储必须具备的特性。大数据解决方案通常包含数据存储、计算及分析，存储是大数据基础架构中的一部分。

 

 

    凸显高性能、可扩展

 

 

    对中国用户来说，大数据应用落地的关键是如何更好地让企业的IT决策者和架构师理解业务需求，建立适合企业业务特点的数据应用场景和数据管理架构，更好地利用企业现有的数据资产，而非盲目地进行所谓的大数据投资。“用户首先要考虑的是什么样的大数据应用才能为企业带来合理产出，其次再考虑大数据平台和存储，切勿本末倒置。”戴昆表示。

 

 

    赛迪顾问的研究发现，中国使用大数据存储比较多的行业是电信、互联网、金融等，其他行业大多还在观望及测试中。中国用户对于大数据存储的需求首先是可靠和稳定，金融行业的用户非常重视这一点；互联网用户则要求大数据存储具有很高的I/O吞吐能力；电信行业的客户更青睐高性价比的大数据存储设备。

 

 

    中国惠普有限公司企业集团存储产品部存储架构师张楠表示，很多中国用户会追求大容量和高性能，忽略了大数据存储本身应该具有的其他属性，这让用户在实际应用中很容易遇到一些障碍，比如无法将存储与大数据平台进行对接，无法在业务中充分发挥大数据存储的价值等。究其原因，主要障碍在于有些大数据存储产品没有开放的接口协议， 没有针对用户的大数据应用场景进行特别优化， 没有提供用户容易接受的易用管理方式等。

 

 

[page]    存储的高可扩展性、高可用性和并行处理能力是企业评估大数据存储最重要的三个因素。高可扩展性可以确保企业的IT能够随着数据量的增长和性能需求的提高进行扩展；高可用性能够保证大数据分析过程的平稳和无间断运行；高并行处理能力则能够确保在大数据处理过程中同时进行更多数据的处理，高效地完成数据分析，同时缩短产品或技术的上市周期。低延迟、自动分层存储以及对10GbE网络的支持等也是用户评估大数据存储的重要考核因素。

 

 

    “如何管理好大数据真的是一个大问题。从IT的角度看，我们还缺乏能够展现数据价值的行之有效的手段。数据作为一种资产，如何被长期、高效、经济地保存也是一个问题。”华为海量存储产品线总经理袁远表示，“大数据提出了一个新的方法论——以数据为中心，而不是以应用为中心。以数据为中心，就要考虑数据的来源，如何以更低的成本存储和管理数据，谁有权利获得哪些数据，对数据进行分析前必须进行模型化的抽象等。大数据需要新的工具、新的管理思路和方法，同时还要对技术架构进行创新。”

 

 

    欧洲核子研究中心（CERN）创建的OpenLAB旨在通过部署全球领先的IT系统和解决方案，将全球大型强子对撞机（LHC）行业的资源、研究成果汇集在一起。持续快速增长的海量科研数据对CERN的存储系统在可扩展性、可靠性等方面提出了严峻挑战，这也促使CERN开始评估新的存储技术。最终，CERN选择了华为UDS云存储系统，并在三个月内完成了安装调测和基准性能的评估。测试结果显示，UDS创新的软硬件和系统非常适合海量数据存储的业务要求，这让CERN可以在未来轻松应对EB级数据量的挑战。

 

 

    谈到华为大数据存储解决方案的特色，经宁概括说：“我们能更好地把握大数据的本质需求，并依靠自主研发能力，在IT架构上实现创新，将计算与存储进行有机结合。我们还基于自己的大数据存储平台，提供了多种类型的接口，便于与应用衔接。”从产品研发的角度看，华为将重点放在了软件方面，硬件则采用了开放的标准化的存储服务器架构。在2013年华为云计算大会上，华为与中央电视台正式签署合作协议，在大数据存储领域建立战略合作关系，为媒资行业提供领先的技术和应用模式。双方计划联合开发自适应、深度节能的高密度、大容量的媒资存储系统。

 

 

    面对大数据的需求，存储永远不变的是对数据可靠性、性能、可扩展性和效率的追求，而有可能发生改变的是为了提高效率、节省消耗，存储可以变得更加灵活，也可以考虑与计算进行融合等。不管存储如何变化，用户对高性价比的需求始终不变。

 

 

    数据收集和存储是大数据分析的第一个环节。在大数据时代，应用数量、数据量和使用者数量的增长，对存储IOPS以及OLTP和OLAP的要求越来越高，具体表现在现有的存储已不能满足业务关键型应用的需求。中桥调研咨询针对中国用户的调研数据显示，FC SAN仍是企业级用户（42.1%）和中型企业（34.0%）的首选，远高于其他存储类型的占比。这是因为FC SAN对OLTP和OLAP的性能稳定性优于其他存储技术。这一调查结果也显示，目前中国用户大多处于大数据分析的第一阶段，其工作以存储和IT架构的整合和优化为主。王丛分析说，随着Hadoop和MapReduce的不断普及，中国用户将逐步进入近实时和实时分析阶段，节点式存储的占比会随之增加。

 

 

    打通行业价值链

 

 

    华为的金字塔型“4V”理论具体来说，第一步，要建立一个高效的存储架构平台，它既能处理大量的小文件，也能处理单体较大的文件。第二步，这个存储平台要具备极高的处理性能。第三步，这个存储平台要能处理多样化的数据，包括结构化和非结构化数据。只有通过前面三步打下的基础，企业用户才能进入最后一步，在一个高效的专门为大数据构建和优化的平台上进行数据分析和挖掘，并最终获得所需的价值。

 

 

    经宁表示：“如果仔细甄别，大数据与海量数据还是有差别的，毕竟大数据不仅仅是指数据量大，还包括处理、分析和挖掘等过程。从表面上看，大数据的‘4V’特征是并列的关系，但实际上这些因素之间还是有层次性的。我们提出的大数据金字塔模型，可以更好展现大数据价值的实现过程。”

 

 

    华为倡导构建高效的大数据存储平台，而其中的高效又是如何来衡量的呢？高效的第一个衡量指标就是性能。性能是大数据存储平台的基石之一，没有性能的保证，大数据系统无异于空中楼阁。其次，大数据强调的是简化使用，提高效率。最后，高效的大数据存储平台应该采用融合的技术架构。以华为OceanStor 9000大数据存储系统为例，它采用华为首创的全融合创新架构，可以实现存储、分析和归档的融合，同时具有很强的横向扩展能力，最大可扩展至288节点，单一文件系统可支持40PB容量。分析功能是指OceanStor 9000中内置了分布式数据库，能完成数据的快速检索和查询，以支持上层应用。

 

 

    华为一直坚持“被集成”的策略，这在大数据领域同样适用。华为的大数据存储平台可以提供开放的接口，方便与BI软件和应用软件连接，进一步提高查询效率。在 OceanStor 9000这样的融合平台之上，用户还可以根据业务的情况灵活添加相关的功能模块。“在大数据方面，我们主要从垂直行业切入，与行业ISV紧密合作，为金融、电信运营商、媒体、智慧城市、石油勘探等领域的用户提供端到端的大数据存储解决方案。”经宁说，“虽然我们已在大数据存储市场上取得了丰硕的成果，但是我们更看好大数据存储市场未来的潜力，因为其增长速度远高于传统存储市场。”

 

 

    更好的兼容 更经济的交付

 

 

    中桥调研咨询的调查结果显示，未来24个月内，64.8%的用户将部署新存储来满足大数据时代业务关键型应用对存储性能越来越高的需求。王丛表示：“针对大数据应用，存储可以选择的余地较大，基于一些开源架构的基础平台也能满足大数据的需求。未来，大数据主要处理的是非结构化数据，如何将数据快速转变为价值是关键。大数据不是一个产品，而是解决方案，只有将解决方案与应用相结合才可能更好地挖掘数据的商业价值。”

 

 

    综合多位分析师的观点，在大数据存储领域，国外厂商仍处于领跑地位，国内厂商如华为也在大数据存储领域保持了高速增长。各厂商在大数据存储方面各具所长，谁能建立更好的客户关系和生态系统，使大数据存储解决方案与企业现有的技术架构兼容，并能实现更经济的交付，谁就能在大数据存储市场上脱颖而出。

 

 

    寻求容量、可靠性和速度的平衡

 

 

    用户说

 

 

    对非结构化数据进行存储，除了考虑易用性、性能和安全因素以外，还要考虑与智能挖掘相关技术相结合。

 

 

    大数据要求用户不仅要对传统商业智能软件进行改造，还要对企业已有的业务系统基础架构进行改造。

 

 

    大数据面临的最大挑战是大规模、实时的关联性分析。对于存储来说，高吞吐、低延迟的要求会越来越高，内存、闪存的重要性也会越来越高。

 

 

    中国的大数据应用已经起步。记者采访了金融、互联网、教育、制造等行业的一些敢于“吃螃蟹”的用户。