云计算遭遇大数据 碰撞出技术革命

中国教育装备采购网2012-10-26 17:11围观1767次我要分享

  前两天有人在微博发问,用什么样的方式讲述大数据和云计算才能非专业人士听的更清楚,其实关于大数据的案例有很多,商业智能分析也多次提到过关于数据挖掘的价值和意义,只不过在今天看数据比以前还多而已,大数据并不可怕,可怕的是他的实时分析能力,会让缺点和真相赤裸裸暴露在人们面前,那么当云计算遭遇大数据一股脑向企业涌进的时候,企业能否驾驭呢?

  所谓的大数据主要涵盖3V面向,分别是处理时效(Velocity)、数据格式(Variety)与数据量(Volume);所以大数据并非单一技术,而是众多技术项目的集合体,它们的共同目的,都是在一定时间内处理完大量的结构化、半结构化或非结构化数据。唯有驾驭个中关键技术,方能分析处理大数据,建立商业应用价值。

  继续诉说Wal-Mart比父亲更早知道女儿怀孕的故事。2012年初的某一天,美国明尼苏达州有一名父亲,怒气冲冲跑到卖场并质问主管,为何将带有婴儿用品优惠券的广告邮件,寄送给他正在念高中的女儿?此举是否鼓励未成年女生怀孕?

  然而后来事实证明,这名父亲的女儿果真怀孕,卖场并非凭空乱洒广告邮件。人们不禁好奇,Wal-Mart何以如此神通广大,竟然能够隔空挖掘真相?答案就在于大数据的实时分析,包括这名女孩搜寻商品的关键词词,以及在社交网站所显露的行为轨迹,其实都已蕴藏丰富价值,足以表明她怀孕的事实,而接下来的时间,她最需要采购哪些商品,答案便呼之欲出。

  由此可见,倘若善用巨量资料实时性分析,这些看似枯燥琐碎的资料,立即就能蜕变为饶富价值的资产,造就无穷无尽的商机。它可以帮助精品服饰业者,快速洞察顾客的喜好变化,立即形成最佳的生产销售决策,继而创造源源不断的营收增长动能;它可以帮助投信业者,从Tweets中分析大众的情绪变化,藉以提高股市行情预测的精准度,创造远远优于同业的基金投资报酬率。

  也难怪各方都对巨量资料趋之若鹜,譬如美国欧巴马政府即在2012年3月间做成决定,此后将投入高达2亿美元的研究与开发经费,藉以改善巨量资料时代中,所需之开发、搜集、储存、管理、分享与分析工具与技术,以期利用这些技术加速科学及工程上的发现脚步、强化国家安全,并改善相关的教育及学习模式。

  大数据到底是个“神马”东西

  的确,虽然这些神乎其技的大数据应用,无不让企业心生向往,然而多数IT主管却对于个中技术一半未解,导致影响所属企业商业价值的产出,殊为可惜。

  究竟企业如何基于大数据的分析与应用需求,提高其技术整备度?知名研究机构Gartner在其发表的“Hype Cycle for Big Data”当中所呈现的巨量资料优先矩阵(Priority Matrix for Big Data),即已针对众多技术今后的兴衰浮沉,进行大致的预测;如此一来,哪些技术被定位为“革命性(Transformational)”,亟需密切留意,哪些技术处于高度(High)发展的轨道,值得善加运用,而哪些技术大抵维持中度(Moderate)发展格局,未来大起的机会不高,若要为此挹注大量投资,恐需再三思考,企业IT人员心中即有基本的谱图与脉络。

  根据Gartner预测,从现在起的两年之内,率先达到革命性等级的技术,便是字段式数据库(Column Store-DBMS),将呈现高度发展者,则为预测分析技术,至于社交媒体监控、Web分析等技术,发展状况持平。如此观之,举凡字段式数据库、预测分析,将会是企业亟需优先布局的标的。

  探究字段式数据库之所以抢得头香,其实并不难理解,因为对于数据撷取、保存、使用、分享与分析等用途而言,数据库系统皆堪称是最关键的载体,因此其面对大数据的读写效率、及近实时(Near Real-Time)运算能力的强弱,肯定需要审慎考虑;在此情况下,传统以Row为索引存取基础的数据库,效能显然不彰,无法承担因大数据而衍生的大量工作负载(Work Load),倘若不为此做改变,后头的进阶型分析应用,可说连想都不必再想了。

  当然,随着Hadoop大行其道,连带使得诸如BigTable、HBase或Cassandra等Key-Value数据库开始抬头,这些可被统称为“NoSQL”的数据库,不论是Key-Value Database、In-memory Database、Graph Database或Document Database,都有别传统关系数据库结构,似乎都更将贴近大数据的处理需求,既然如此,何不直接采用NoSQL数据库、而非字段式数据库?

  事实上,NoSQL另一层意涵为“Not Only SQL”,旨在补现有SQL之不足,而非取代SQL,企业宜先从数据库I/O需求、Schema Free需求、单一数据表的储存需求…等不同面向,彻底检视其于处理大数据的过程中,究竟可能面临哪些难题,而这些难题,哪些是SQL可以解决的、哪些又是SQL所不能解决的,莫要为了追求时髦而时髦;如此看来,字段式数据库被企业所倚赖的空间,确实十分宽广,最起码,它对于数据的读取效能,肯定比NoSQL数据库强大许多。

  云端运算与内存数据库 革命性技术值得关注

  被Gartner点名为革命性技术的“第二梯队”(注:预估2~5年发酵)者,则包含了两项,分别是云端运算、内存数据库系统(In-Memory DBMS)。

  至于同样落在2~5年区间的高度发展技术,项目就相当繁多,包括先进的诈欺侦测暨分析技术、以云端为基础的网格运算、数据科学家、内存分析(In-Memory Analytics)、内存数据网格(In-Memory Data Grids)、政府公开数据(Open Government Data)、预测模型解决方案(Predictive Modeling Solutions)、社交分析(Social Analytics)、社交内容(Social Content),以及文本金分析(Text Analytics)。

  云端技术对于大数据处理与分析的重要性,着实无庸置疑。先从私有云角度来看,要想透过不管是MPI或MapReduce进行大数据的分布式计算,都需奠基于计算、储存或网络等资源的灵活调度,值此时刻,若舍弃云端,似乎就唯有斥巨资部署超级计算机一途了。

  其次谈到公有云。尽管各行各业都可因大数据分析而获益,但多数应用场域,其实并非无时无刻都需要做分析,使用频率甚至长达每季一次、或每半年一次;在此前提下,企业若仅为了并非实时性的巨量资料分析,因而投注大量人力、物力与时间等成本建构Hadoop环境,投资报酬率似乎不太划算,的确值得商榷。

  此时此刻,企业若能以弹性付费的方式,向公有云服务供货商,租赁大数据分析所需之计算资源,且能比照内部On-Premise管理规则进行相关设定,实在称得上是美事一桩。以微软为例,即在Windows Azure公有云端平台上提供Hadoop租用服务,让企业无需投资布建大量服务器及数据库,便可随需推动大数据运算任务,甚至标榜能将 Windows与SQL Server方便管理的特性带到Hadoop环境,便是相当典型的云端Big Data服务。

  至于内存数据库,即是将关系数据库、甚至是字段式数据库,整个置于内存之中,这般做法的好处是,以往最让人诟病的磁盘I/O瓶颈,即可声应而破,从而大幅提振效能、缩短数据库作业的响应时间;身处现今凡事讲究超速的时代,企业若能更快获致商业运算结果,也意谓其获得胜利的可能性愈大。

  所以大家不难发现,当内存数据库被Gartner预期会在2~5年成为革命性技术的同时,“In-Memory”这个字眼仍在高度发展技术象限中反复出现,包括内存分析、内存数据网格等,也就充分凸显出,“效能”对于大数据处理,实在太过重要,而效能表现的强弱,甚至对于最终商业应用的绩效影响至巨。

  另值得一提的,在Gartner点名会在2~5年转为“中度发展”的技术名单中,其间不乏是近来非常热门的项目,譬如MapReduce、NoSQL数据库、数据库SaaS(Database Software as a Service;dbSaaS),此一看似将由热转冷的发展趋势,亦值得企业保持关注。

来源:CIO时代网责任编辑:荔枝

相关阅读