大数据世界正在到来

大数据是近两年最热门IT概念之一。

进入2012年以来，这个领域的风潮逐渐从专业IT人士和数据分析师，扩散到所有关注科技、互联网以及营销领域的人群中，甚至还包括政界人士。而2013年，也被许多国外媒体和专家称为“大数据元年”，如此看来，2012年应该是大数据正式启蒙之年，而一系列标志性事件的发生和建立，让人们越发感觉到大数据时代的力量。

回到2012年2月，《华尔街日报》发表文章《科技变革即将引领新的经济繁荣》，文中罕见地做出大胆预见：“我们再次处于三场宏大技术变革的开端，它们可能足以匹敌20世纪的那场变革，这三场变革的震中都在美国，他们分别是大数据、智能制造和无线网络革命。”

在中国硅谷之称的中关村，大数据产业已经纳入《中关村战略性新兴产业集群创新引领工程（2013-2015年）》，将开展云运营和大数据示范应用，建设云计算应用支撑平台、虚拟化平台，支持开展海量数据存储、数据挖掘和分析等技术的行业应用，以及大规模云运营服务和大数据挖掘服务。甚至2012年12月13日被命名为首个“中关村大数据日”，中关村示范区接连成立大数据产业联盟、发布三支产业投资基金，支持中国大数据产业发展。

这并不稀奇。事实上美国奥巴马政府已经把“大数据”上升到了国家战略的层面。今年3月，奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”，希望增强收集海量数据、分析萃取信息的能力。另据一份报告显示，英国政府通过高效使用公共大数据（Big Data）每年可节省330亿英镑。这个数字相当于英国每人每年节省500英镑。事实上在国家层面，大数据已经成为继边防、海防、空防之后，第四个大国博弈的空间。

一个关于大数据价值的核心的逻辑是，这种背景下，在商业、经济、政府及其他领域中，决策行为将日益基于数据和分析而作出，而并非基于经验和直觉；而在公共卫生、经济预测等领域中，“大数据”的预见能力也已经崭露头角。

数据商业与技术爆发

关于大数据领域最经典的案例再也不是老掉牙的“啤酒与尿布”，而是来自一位美国少女。

今年年初，美国一名男子闯入了他家附近的Target店铺（美国一家零售连锁超市）。“你们怎么能这样！”男人向店铺经理大吼到，“你们竟然给我17岁的女儿发婴儿尿片和童车的优惠券，她才17岁啊！”店铺经理不知道发生了什么，立刻向来者道歉，表明那肯定是个误会。然而，经理没有意识到，公司正在运行一套大数据系统。但高潮是，一个月后，这个愤怒的父亲打来电话道歉，因为Target发来的婴儿用品促销广告并不是误发，他的女儿的确怀孕了。

在这个案例中我们看到，数据的力量，不仅让商家提升了自己的业绩，还让客户为之心甘情愿买单。据报道，Target创建了一套女性购买行为在怀孕期间产生变化的模型，不仅如此，如果用户从他们的店铺中购买了婴儿用品，Target在接下来的几年中会根据婴儿的生长周期情况定期给这些顾客推送相关产品，使这些客户形成长期的忠诚度。

事实上在商业零售领域，诸如沃尔玛、Tesco等巨头已从数据中获得了巨大的利益，也因此巩固了自己在业界的长盛不衰。

在互联网行业中，大数据更是为电商、广告商们提供了丰厚的回报。雅虎于 2008 年初便开始启用大数据技术，每天分析超过 200PB 的数据，使得雅虎的服务变得更人性化，更贴近用户和客户。它与雅虎 IT 系统的方方面面进行协作，包括搜索、广告、用户体验和欺诈发现等。AOL 也设立了 300 节点的服务器集群，将在其下属系列网站（如 AOL.com、Huffington Post、MapQuest 等）中每天 500TB 的用户浏览信息收集起来，分析和预测这些用户的行为，以便有针对性的为每个月 1.8 亿独立用户进行个性化广告服务。

当然，视数据为生命的不仅限于这些每天产生海量数据的零售和互联网行业，在生物医药、运动产品、能源甚至政务领域，数据越来越成为最不可或缺的价值。而支持其被后爆发的，则是大数据技术的迅猛发展。

一方面，数据量的爆发增长和数据结构的多样性，使得传统的关系型数据库技术已无法满足这些需求，但上世纪末出现的NoSQL技术一开始并未得到广泛应用，直到2009年，在搜索引擎、社交网络等互联网应用盛行使得数据量迅猛增加后，才开始为人们所重视并投入使用。发展到今天，NoSQL技术已经形成了一系列不同用途的数据库管理系统，

2004年初，Google开始研发BigTable非关系型数据库系统，它是建立在Google文件系统之上的一种压缩的、高扩展的数据库技术，可以让Google对于自身新增业务处理进行低成本的扩展。而BigTable这一模型，启发了众多“后来者”的数据技术。目前最为火热的Hadoop便是其中一员。这个由雅虎的前员工Doug Cutting（现任职于Cloudera公司）最初负责开发的项目，已成为大数据行业的技术中心。

在Hadoop生态中，2008年成立的Cloudera是最早将其商用的公司，它为合作伙伴提供Hadoop的商用解决方案，其中包括IBM、甲骨文（Oracle）、微软、EMC、Teradata等行业领先的数据解决方案提供商，使得NoSQL技术成为现存SQL数据解决方案的强有力补充；同时IBM、SAP、EMC等巨头也纷纷推出相应产品，来适应其客户数据业务的爆发增长。时至今日，Hadoop技术以及被广泛应用了各大互联网公司，这个名单包括Facebook、亚马逊、苹果、AOL、Ebay、Twitter、Netflix、淘宝、百度等等。

数据资产与“金融风暴”

在今年年初的瑞士达沃斯论坛上，一份题为《大数据，大影响》（BigData,BigImpact）的报告宣称，数据已经成为一种新的经济资产类别，就像货币或黄金一样。在这个逻辑下，在大数据时代，传统的商业思想正在被颠覆。

在过去，衡量企业最重要的资产无外乎土地、流动资金和人才等几个要素，如今，数据作为企业一项更加重要的资产将直接关系到企业的发展潜力。这意味着，在完成对企业智商和核心资产的重塑之后，数据资产正在当仁不让地成为现代商业社会的核心竞争力。

但大数据时代数据本身的资产价值也许还不止于此。

国内资深IT人士、大数据研究专家谢文撰文称，大数据将逐渐成为现代社会的基础设施的一部分，和公路，铁路，港口，水电，通讯网络一样不可或缺。谢文表示，就其价值特性而言，大数据却和这些物理化的基础设施不同，不会因为人们的使用而折旧和贬值。例如，一组DNA可能会死亡或毁灭，但数据化的DNA却永存。所以，舍恩伯格赞同许多物理学家的看法，世界的本质就是数据。谢文认为，大数据时代的经济学、政治学、社会学和许多科学门类会发生巨大的甚至是本质上的变化和发展，进而影响人类的价值体系，知识体系和生活方式。

2011 年 11 月，曾投资Facebook、DropBox、Cloudera、沃尔玛等200多家公司的硅谷着名风投机构阿克塞尔合伙人公司（Accel Partners），宣布成立一个金额 1 亿美金的大数据基金，专注于投资两种类型的数据创业公司：建设包括存储、安全和管理在内的新型架基础构类公司，以及在基础架构之上进行如 BI、行业应用、移动应用等开发的公司。

事实上从2008年起，美国IT领域有关数据服务相关的投资、收购案例开始迅速爆发，总价值超过千亿美元，包括SAP、IBM、EMC、甲骨文等IT巨头都在这个领域下了重注。而在2012年资本寒冬期，大数据成为唯一一个绿意盎然的领域。今年 4 月，成立于 2003 年的数据软件公司Splunk在纳斯达克以16亿美元的市值上市，更是给大数据行业打了一管兴奋剂。

人才市场的动向也颇具说服力。根据麦肯锡旗下研究部门麦肯锡全球学会（McKinsey Global Institute）2011年发布的一份报告显示，预计美国需要14万-19万名拥有“深度分析”专长的工作者，以及150万名更加精通数据的经理人，无论是已退休人士还是已受聘人士。而Gartner近期一份报告则预测，由于大数据热潮的出现，全球大约会新增440万个IT职位，这个数字十分惊人，但“不是所有需求都会满足，数据分析人才缺口仍然很大。”

数据价值与预测未来

全球范围来看，大数据体现的巨大经济价值，成功地获得了金融界和政界的亲睐。

据麦肯锡报道，大数据为美国的医疗服务业每年节省3000亿美元，为欧洲的公共部门管理每年节省2500亿欧元，为全球个人位置数据服务提供商贡献1000亿美元，帮助美国零售业净利润增长60％，帮助制造业在产品开发、组装等环节节省50%的成本。

此外，全新的、更具竞争力的商业智能服务，这也是大数据最为吸引人的地方之一。传统数据仓库的性能已无法应付庞大的信息，但是大数据（Big Data）技术使我们能够访问和使用这些宝贵的、大规模数据集以应对越来越复杂的数据分析和更好的商业决策制定——大数据将改变商业智能 （BI）的布局，并能为企业提供一种有价值的数据源，这在当下已经成为了一种趋势。

在此之上，则是关于“预测未来”的想象空间，但这并非神话——全球复杂网络权威巴拉巴西则认为，人类行为93%是可以预测的。

一个经典的“预测未来”案例来自在数据领域久负名气的ParAccel。它最成功的案例之一是向美国执法机构提供数据分析能力——ParAccel通过了一些渠道获得不少犯罪数据，并对15000个有犯罪前科的人进行跟踪，从而向执法机构提供了参考性较高的犯罪预测。所以ParAccel也被成为“犯罪的预言者”。

5月18日Facebook上市时，社交媒体监测平台DataSift宣布：Twitter上每一次情感倾向的转向都会影响Facebook股价的波动，延迟情况只有几分钟到20多分钟——它成功预测Facebook上市当天股价的走势。

另一个“恐怖”的断言是：“大数据”所能带来的巨大商业价值，将引领一场足以匹敌20世纪计算机革命的巨大变革——这个结论并没得到所有人的认可，但似乎没人否认，2012年，大数据时代已经“降临”。