主“攻”大数据微软计划2013年推数据仓库一体机

中国教育装备采购网2012-12-14 13:53围观1782次我要分享

  微软计划于2013年上半年发布基于SQL Server 2012的并行数据库一体机(SQL Server 2012 Parallel Data Warehouse Appliance)以下简称PDW,用以布局未来大数据市场。

  当前,随着互联网的发展,企业的数据信息量正在呈几何增长,据IDC关于数据信息的报告显示,全球信息总量每过两年就会增长一倍,2011年的全球产生的数据总量为1.8ZB,而2012年数据量将会更高,大数据的出现正在引领着新一轮的商业变革。

  无论服务商、还是企业用户都在关注着的大数据的应用与发展,那么大数据自身的价值与挑战又有哪些?微软并行数据仓库全球卓越中心总监Russ Cavan在接受比特网采访中透露,从发展来看,数据从最初的MB到现在的PB级、ZB级,大数据不仅是体现在数据规模的增长,同时它所涉及的数据类型、数据复杂性也在不断的提高。


微软并行数据仓库全球卓越中心总监Russ Cavan

  “对于用户来讲,数据不在仅仅是简单的进行存储,而是应该如何考虑把数据应用起,怎么让数据产生价值,这才是最基本的核心。”

  Russ Cavan认为,大数据面临着许多技术方面挑战如数据来源于社交商务如微博、互联网等,这些数据不仅仅是规模巨大、而且要求实时性也要特别强大,这对于进行数据分析以及挖掘带来技术方面的挑战。


微软大数据解决方案

  数据仓库一体机为大数据而生

  “面对大数据,我们需要一个平台即能够处理规模的数据而且又能够响应实时分析处理的需求。” Russ Cavan说道。

  据了解,基于SQL Server的微软并行数据仓库一体机是现代的数据管理平台,可实现对于任何大小数据、随时随地的处理,简单而且更加容易部署。微软并行数据仓库一体机是针对企业数据仓库、高度可扩展的设备,使用Microsoft SQL Server中的“并行数据仓库”及其“大规模并行处理”体系结构,获得可伸缩的性能和灵活性。


基于SQL Server 2012的并行数据库一体机为数据而生

  据微软全球 PDW卓越中心数据仓库架构师乔怡介绍,基于SQL Server 2012并行数据仓库一体机与SQL Server 2012的区别就在于PDW是一体机,而且是“开箱即用”,它可以“实现任何规模的任何数据”。基于SQL Server 2012并行数据仓库一体机是面向大数据服务设计,具备以下技术特征:

  1、SQL Server 2012并行数据仓库提供了全新的PolyBase它是数据处理突破性的技术,实现 了传统关系型数据库表与非关系型Hadoop数据表的统一查询;查询关联Hadoop表和关系型数据库表,采用标准SQL语言;对于业务人员来讲,使用SQL语言并不是他的常项,而且使用不方便,有PolyBase技术后 业务人员或者前端用户可以利用现有的EXCEL技能来分析大数据。

  2、采用xVelocity列存储,查询速度大幅提升10至50倍,并可以满足实时数据仓库需求;采用高密度Direct Attached Storage,存储容量提升7倍多;列存储技术提供强大性能:可更新的聚焦列存储、数据以列形式存储、内存优化技术提供新一代性能、灵活可更新,同时满足批量导入或实时数据的加载更新需求,节省时间和成本。

  3、通过Windows Server 2012虚拟化技术一系列创新,SQL Server 2012数据仓库一体机实现业界每TB更低成本。

  SQL Server 2012并行数据仓库一体机呈现PB级的数据量,可以支撑数据量达到6PB的规模,使得大数据能够有非常好的性能查询。

  据了解,SQL Server 2012并行数据仓库一体机除了功能强大、简单易用的数据仓库软件以及最佳实践以外,在硬件方面也进行了合适的选择,SQL Server 2012 PDW将与惠普、戴尔等硬件服务商强强联手,为客户提供最优的数据仓库一体机选择。


微软端到端的大数据平台实现数据与信息消费化

  以惠普和微软构建并行数据仓库一体机解决方案为例,一体机将服务器、存储、内部互连以及预安装软件整合到一起的一体机,使用专用存储,从而确保了高性能,而且所需要的部署时间就是“开箱即用”,“早上搬运机器,中午前就可以应用”。

  除惠普与戴尔以外,据了解,针对微软未来将会与更多的合作伙伴共同合作,为更多的客户提供最优的服务。

  借助先进工具 破解大数据难题

  当我们了解到基于SQL Server 2012并行数据库一体机的性能以后,我们看到SQL Server 2012并行数据库一体机已经在得到行业用户的认可,以雅虎和审计署为例,让我们看一下他们是如何处理大数据应用的。


SQL Server 2012并行数据库一体机带来无限的选择

  雅虎公司是一个非常成功的大数据解决方案的案例,雅虎公司通过大数据实现了收入增长,它每季度处理4640亿行数据,平均查询时间低于10秒;如果换成五年前需要几小时处理,而今天的技术则更加快速。

  审计署国家重要的职能部门之一,其重要性是是国家经济社会运行的“免疫系统”,由于其业务的特殊性,审计具有财政资金运用到哪里审计就到哪里、横向扩面、纵向深化等特点。审计署在大数据方面面临着许多的挑战主要有以下原因:

  第一、如何轻松部署分布式存储和计算集群;

  第二、如何对各种类型及规模数据的实现管理和并行处理

  第三、如何根据需求实现缩放和扩展

  第四、如何支持TB/PB级数据的高效加载

  第五、如何满足多源异构数据的即席查询、联合查询和复杂关联处理

  第六、如何对大规模审计数据进行快速、深入的分析和挖掘……

  面对审计署部署大数据的挑战,最终选择了基于微软的PDW的大数据云平台方案,用于解决大数据大规模并行分析处理、分布式存储及管理。

  据了解,PDW平台保持与审计署现有数据平台兼容,提供对数据进行全方位管理、高性能处理,兼具典型大数据云平台的特性。

  小结

  据了解,大数据的应用涉及到方方面面,微软提供了一系列的产品来支持大数据的落地,来满足客户对于大数据的支持,据了解为了帮助客户快速部署大数据,兼容 当前最为流行的非结构化数据体系Hadoop,微软在Microsoft Windows Azure平台上提供了基于云的HDInsight服务,同时在Windows Server上提供 了基于私有云的HDInsight Server。微软HDInsight解决方案100%与Apache的Hadoop标准兼容。Windows Azure进一步简化了Hadoop的部署难度,用户可以在几分钟内在云端部署Hadoop集群,并能通过Microsoft System Center 实现轻松管理。除产品以外,微软PDW以及咨询服务团队有着非常资深的专家、团队。这些专家的任务不仅仅是提供灵活的平台,同时专家还要确保每一个高质量的实施方案。

来源:比特网

相关阅读