
1.3.4 深刻改变存储架构的新技术
随着硬件技术和互联网技术的迅猛发展,虚拟化云计算逐渐普及,新的技术显著地改变了存储架构。
1.SSD
SSD的延时从磁盘的毫秒级缩短到亚毫秒级(0.1毫秒),读写性能从单块15K(15 000转)磁盘的180 IOPS,猛增到单块SSD的8000 IOPS(当SSD内嵌在外置磁盘阵列里),甚至到单块SSD的36 000 IOPS(内嵌在服务器里的SAS或SAT接口的SSD,或者PCIe SSD);闪存价格的下降速度比硬盘更快,根据IDC预测,两者价格曲线将于2015—2017年出现交叉,届时单位GB的SSD的价格甚至低于单位GB的15K磁盘的价格。从公开的消息,我们可以看到以下内容。
2014年4月,SanDisk发布世界上第一款4TB SSD,2015年发布8TB,并计划2016年发布16TB SSD。2015年3月,SanDisk推出的InfiniFlash全闪存阵列里内置了64个单卡容量达8TB的闪存卡。
2015年3月,在美国2015 OCP峰会上,来自中国的初创公司NetBric全闪存阵列内置了8TB闪存卡,每个阵列共64个。
2015年8月,三星在闪存峰会上公布世界容量最大的2.5英寸SSD盘:16TB SSD PM1633a。相比之下,当时希捷或西部数据制造的容量最大的机械硬盘只有8TB或10TB。
2015年9月,东芝在IFA2015(柏林国际消费电子展)宣布,2018年将推出128TB SSD。东芝计划在2016年推出32TB,2017年推出64TB。而HDD硬盘在2020年也只有20~40TB(图1-19)。

图1-19 东芝在IFA2015宣布,2018年将推出128TB SSD
可以断定,SSD的发展远远快于磁盘的发展。
可喜的是,除了国外Intel、西部数据、Fusion-IO(2014年6月被SanDisk收购)、Micron、SanDisk(2015年10月被西部数据收购)、SamSung、Seagate、Toshiba、HGST(2011年3月被西部数据合并,2015年10月中国政府放行此次合并)、Greenliant(绿芯)等SSD厂商之外,中国也涌现出不少SSD厂商,除了华为自研SSD之外,还有MemBlaze(忆恒创源)、Shannon(中文名叫宝存,2015年4月被Silicon Motion公司收购)、RunCore(源科)、苏州恒成芯兴等SSD厂商。
2.存储控制器X86化
实际上,早在四五年前甚至更早时期,各大外置磁盘阵列的存储厂商的存储控制器(包括EMC、IBM、DELL等)都已经是X86架构,各个部件也都逐渐采用业界的标准硬件,和标准服务器差别不大。因此硬件已经趋于同质化,存储厂商也早已开始比拼丰富的软件功能。
不过,值得思考的是,除了X86架构之外,未来会不会出现ARM架构或者其他架构呢?
3.CPU多核技术
服务器的CPU多核早已被业务应用利用起来,尤其在虚拟化环境里,多核处理器功不可没,它既提高了处理器利用率,也提高了单台服务器上用户对更多I/O的需求,这其实也驱动着底层存储的变革。如前所述,绝大多数存储控制器采用了X86架构,但真正利用其多核处理IO,是从最近三四年才逐渐开始的。例如,DELL Compellent Storage Center 6.3在2012年11月推出多核技术;EMC VNX 2在2013年9月推出MCx多核技术;而作为纯软件方式的存储Nexenta,也利用多核技术去实现其在线的压缩功能。正是有了CPU多核的利用,分布式存储才能在处理业务应用之外,心有余力地去处理IO,实现丰富多彩的软件功能。
4.高速网络技术
分布式存储借助于节点之间的缓存(用SSD存放)同步复制来确保数据的冗余性,也得益于近些年来网络的高速发展;通常推荐采用万兆网络,甚至有的采用4万兆(40GbE)的网络。目前,万兆网络的延迟非常小,大约在100微秒,远小于PCIe闪存的延迟1毫秒;如果采用RDMA技术,延迟能更小,低至微秒级。
5.大容量服务器和磁盘
分布式存储借助于大容量的服务器和磁盘,也能够提供以往外置磁盘阵列才能支持的大存储容量。例如,DELL PowerEdge R730XD支持高达16个3.5寸近线SAS盘,采用6TB的盘,可达近100TB的裸容量。而且,单块的机械磁盘容量也越来越大,例如,2015年3月, HGST首次向公众展示了10TB的机械硬盘。
不远的未来,仅凭服务器内置磁盘,即可支持数百TB的裸容量。如果分布式存储还支持服务器连接JBOD、直连存储来进行Scale Up(纵向扩展),容量就更大了。
6.存储技术逐渐成熟
分布式存储的技术逐渐成熟,互联网巨头如Google、Facebook、Yahoo和百度、阿里、腾讯大规模采用分布式存储验证了这一技术的可行性。另外,面向对象存储的技术逐渐成熟。
7.虚拟化和云计算逐渐普及
虚拟化和云计算要求更智能的存储,能够调用API,配合上层实现更灵活敏捷地部署、管理和变更存储资源。
传统的IT基础架构是“烟囱式”的,或称“竖井式”的(图1-20),通常一个业务应用需要配备一套系统,包含计算、存储、网络等IT基础架构的各个组件。这种模式普遍存在如下问题:

图1-20 传统的数据中心——烟囱式或竖井式
(1)初次采购浪费较严重
一般需要考虑新应用未来3~5年,甚至更长时间,以及最高负载时对系统资源的需求,往往会在初次采购时,选择高出实际需求许多的硬件规格。而实际上新应用上线后的很长时间,负载需求都远低于初次采购的硬件规格,硬件利用率低,造成了很大的浪费。很难做到按需购买。并且,硬件的发展速度日新月异,相同的硬件配置几年后成本会降低不少。
(2)难以共享使用
传统模式下,每一个业务应用有自己专属的IT系统,即使某些应用在某一时段,所需资源远低于其硬件配置能提供的,也无法共享给其他应用使用。这样,整体资源利用率都比较低下,而且占用过多的空间和能源。随着应用系统的增多,或者应用的规模迅速增大,扩展性和可管理性都面临巨大的挑战。
解决这些问题的办法就是采用软件定义的数据中心,它依托于现有的虚拟化和云计算的各种技术。软件定义的数据中心体系结构是一个一体化的混合云,能够提供一流的计算、存储、网络连接虚拟化和管理产品与服务(图1-21)。

图1-21 软件定义的数据中心——抽象、池化、自动化
在这些需求和技术的推动下,软件定义存储(当前以分布式存储为主流)作为软件定义数据中心不可或缺的一环,已经逐渐普及开来。目前,在市场上,已经有很多SDS存储公司或方案。国外的有VMware VSAN, Nutanix, HP StoreVirtual, IBM GPFS, EMC ScaleIO, NetApp Data ONTAP, DELL Fluid Cache, Redhat Gluster和Redhat Inktank Ceph, Oracle,飞康FreeStor,先智数据(ProphetStor), Federator, DataCore, Nexenta,微软Storage Space, Maxta, Zadara, Simplivity, Pivot3, Scality, Pernixdata, Atantis, Sanbolic, Tarmin, Primary Data, DataGravity, Gridstore等;国内的SDS公司或产品,也如同雨后春笋般兴起,它们或者是新兴的初创公司,或者由传统存储公司转型而来,如华为FusionStorage、联想ThinkCloud AIO、达沃时代(Daowoo)、星辰天合(XSky)、BigTera、华云网际(FusionStor)、华三、青云、深信服aSAN、爱数、志凌海纳(SmartX)、大道云行(SSAN)、Zettakit、天玑数据、云和恩墨、沃趣、成都文武、信核、中科蓝鲸、金山云、九州云、海云捷迅、中兴等。
8.小结
最后总结一下,为何出现软件定义存储?
简而言之,随着用户需求的变化(因为数据激增)和技术的变革,软件定义存储能够提供给用户更快的性能,更高的灵活性和开放性,更强的扩展性,更简单的管理(后面的篇章会提到),更少的投入。
以Server SAN(分布式存储的一种,将计算节点内的盘的资源进行池化)为例:
从投入成本看,由于省却了外置磁盘阵列的存储控制器、存储光纤交换机和服务器HBA光纤卡,仅硬件的投入,即可降低到普通机架式服务器硬盘的价位。它将传统存储的专用硬件,转变成通用硬件,通过融合计算,存储达到降低成本的目的;
从开放性看,只要通过兼容性验证,它支持业界标准的硬件,如服务器、SSD、磁盘、IO控制器,并且能在最快时间内采纳新的硬件,灵活性极高;
从扩展性看,分布式存储都能支持在线的横向扩展,能自动地在一个资源池里线性地、同时地增加计算资源和存储资源,使用户获得可预测的性能和容量。
然而软件定义存储,绝不只是分布式存储,它还包含了如何实现存储策略驱动,配合软件定义数据中心、云计算所需的自动化。这部分的内容会在软件定义存储的分类里详细介绍。