实验IT技术、实践生活艺术！
AI by Bomi
Spruce Lab Since 2003
SUN 专家评SSD&ZFS
上一篇 / 下一篇 2008-09-04 05:02:06 / 个人分类：UNIX系统架构系
查看( 12 ) /
评论( 1 )
日志分类
- 归档分类:评论
- 信息来源:网络
磁盘(HDD)的存取速度增长越来越跟不上处理器的速度增长。也许人们已经习惯了一个机械设备和高速的电子设备在一起工作，但是整个系统的性能越来越拖累于慢速的磁盘，即使是15K RPM FC Disk。虽然可以通过增加内存缓存一些数据来提高数据存取性能，但是存储容量的增长速度远高于内存容量的增长。
SSD(Solid State Disk)并不是新概念，只是以前有一些技术问题没有解决而没有大规模地商用。一切都在变化，如今SSD的商用时代已经到来了。对比一下当前SSD和HDD的性能：
HDD： 180 write IOPS, 320 read IOPS
SSD：7000 write IOPS, 35000 IOPS
也许HDD将来的优势只有容量了。
特别是 ZFS更为SSD做了优化，可以把SSD作为文件系统的二级缓存(L2 ARC)以及ZIL(ZFS Intent Log)以大幅提高性能。在当前的过渡期，服务器内混合使用SSD和HDD不失为一种明智的选择。也就是说，从某个角度讲，把SSD作为HDD的 cache以提高系统的I/O处理速度。
今年四月在上海举行的Intel IDF大会上，ZFS的主要设计师之一Bill Moore到场做了一个专题讲座，讲的就是这个话题。演讲资料可以从这里下载
SUN专家 Jonathon的评论：
昙花一现
存储设备只有两类 - 已经出故障的，和将要出故障的。这就是大多数数据中心用户对传统机械存储设备的看法，说得不好听就是“旋转的锈铁”。所有的磁盘驱动器都会出故障，廉价驱动器更容易出故障。
如果出故障的平均年限为 5 年，您可以通过不定期备份来应对笔记本电脑的存储器故障。然而对于拥有一百或一千甚至一万或十万个独立磁盘驱动器的企业来说，就算不以小时计算，磁盘故障也足以称为日常事件。机械式存储设备总有出故障的一天。
发生故障后，用户往往要面临丢失数据的风险 - 如果您的老板因为违反数据保留法规支付 5 千万美元的罚款，那么使用传统磁盘来节省 50 万美元费用的做法则毫无益处。无论是存储证券交易信息、医疗影像资料，还是存储剧情片长度的影片，都必须保持某些数据完整无缺。一个小数点或象素位都不能错。
这正是 Sun 数年前就开始研发 ZFS 存储平台的原因。ZFS 引发了一个大胆的设想 - 可靠的系统必然包含不可靠的部件。通过利用剩余的计算周期，ZFS 不断进行有效的完整性检查，从而使数据损坏现象无处可藏。借助 ZFS，客户们可以用上最实惠的磁盘和最简单的系统，既能实现非凡的数据完整性，又能大大降低成本和系统复杂性。
此外，用户们还有另外一种新选择，它就是大多数人所熟悉的手机、iPod 音乐播放器或数码相机的内存卡 - 闪存设备。闪存设备读写数据的速度非常快，就像 DRAM（电脑的内存芯片）一样。它的价格介于 DRAM 和传统磁盘驱动器的价格之间。但与两者不同的是，闪存设备记忆数据不需要电源。随着全球电价上涨，要使 1 万个磁盘保持每分钟数千转的速度旋转，您必须为运行存储设备支付价值不菲的电费。电能已经成为影响部署大容量硬件设备决策的 主要因素 - 而闪存设备分裂我们的行业局势。
从历史角度来看，企业使用闪存设备存在两大障碍。
首先是成本。闪存设备每千兆字节的成本远高于同级别的磁盘驱动器成本。但是，随着电价成本上涨（和闪存设备价格的下降），闪存设备每可用千兆字节的相对成本迅速降低- 别忘了，磁盘驱动器必须通电才能工作。虽然机械磁盘每千兆字节的成本可能低于闪存设备每千兆字节的成本，但后者的数据读写速度却是前者无法匹敌的 - 这样一来，每千兆字节服务成本其实就很低了。
不过，单纯的将闪存设备作为另一层级的存储器引进数据中心并不是切合实际的好机会 - 这会使数据中心产生新的成本开支，面临新的管理纷争。要真正改变我们的行业，增置闪存的操作就必须透明，必须面向用户和操作者全面开放，避免出现转换成本或操作成本。而这些正是我们研发 ZFS 是所关注的问题。ZFS 将面向各种对性能最敏感的任务使用微处理器高速缓存，以透明的方式将闪存设备整合到在运行系统的存储器层级中，先是 DRAM，然后是闪存设备，再是磁盘驱动器（最后是磁带）。 ZFS 将允许闪存设备与 DRAM 和传统磁盘集成，形成可供 ZFS 自动使用的混合设备池，从而最大限度地实现最佳的价格、性能与能效组合。简单地说就是，不用升级微处理器我们就能获得更快的存储器和服务器系统处理速度。增置闪存设备将会变得像增添 DRAM 一样 - 完成设备增置后，系统又增加了新的容量，而不必增加管理负担。
这是闪存设备让我们感到兴奋的一大原因 - 对于采用闪存设备的混合存储器，其每千兆字节服务成本（存储器的总运营成本）直线下降，尤其是对于数据密集型或性能集约型应用程序（如 MySQL、Postgres、Oracle 或 SQL Server）。如果系统设计得当，闪存设备就能大幅提高设备的经济效益和性能 - 同时，随着 Sun xVM 虚拟机管理程序的面世，所有主机操作系统都将享受到这样的性能优势（Windows 操作者也可以通过运行顶层 xVM 来保持 ZFS+闪存设备的优势）。
第二个问题更加棘手 - 简单地说就是，闪存设备虽然可以无限次读取信息， 但却禁不起数十万次闪存写入操作所造成的磨损。目前，大多数普通人使用数码相机时所执行的写入操作次数不会达到 50 万次。而在企业中却存在这种可能。怎么办？
使用 ZFS。
对于 ZFS 而言，闪存设备与任何其它存储介质并无二致 - 记住，所有存储设备都会出故障 - 无论设备故障是因硬盘驱动器电机损坏、磁盘写入疲劳所导致，还是因 锤钻导致而成，ZFS都妥善管理数据的完整性。 同时，日益精密的“损耗���衡”算法也在���大程度上延长了闪存设备的使用寿命 - 均衡写入活动可以避免发生热点故障。而实现这一成效的基点在于，只有使用 ZFS 平台才能避开磨损问题（在硬盘驱动器或闪存设备上 - 两者都受到设备损耗的限制）。
这些都是 Sun 系统看齐 Open Storage 的前提要求。我们正在着手将 ZFS、闪存设备以及一些特殊硬件/硅片创新技术进行集成， 以推出高性能、低能耗的通用存储器与服务器产品 - 提高所有在 SPARC 或 x86 系统上运行的软件的运行速度（特别是MySQL 用户们将看到大提速）。作为专属 NAS 存储器常规成本的一部分。我很期待我们的首台闪存系统能在今年的年底面世。
如大家期望的那样，我们将免费提供 ZFS 及其所有附属软件，但不提供商业支持 - 现已对外提供的服务内容包括 OpenSolaris、ZFS、MySQL 以及 Postgres（单击左图获取免费的 LiveCD - 或查看 Apple 公司在 Mac OSX 发布的 ZFS 新闻）。我们的软件收入将来源于那些需要获取关键任务部署 Sun 技术支持的企业。在硬件方面，任何合作伙伴或客户都能通过 Sun 的先试用，后购买计划订购一套我们的系统产品，进行为期 60 天的免费试用 - 如果您用了以后觉得喜欢，则向我们付款购买产品。如果您不喜欢，我们将承担回邮费用。
如果大上述仍不清晰...我再解释一遍，我们认为闪存设备决不是昙花一现的事物 - 虽然虚拟化对数据中心经济产生了巨大影响，但是，随着电能价格不断攀升，闪存设备价格不断下降，闪存设备、ZFS 和各种实用型系统创新项目的组合将对数据中心经济产生更大的影响。
意义十分重大。
[本帖最后由 云杉上的蝴蝶 于 2008-6-26 08:38 编辑]
SSD(Solid State Disk)并不是新概念，只是以前有一些技术问题没有解决而没有大规模地商用。一切都在变化，如今SSD的商用时代已经到来了。对比一下当前SSD和HDD的性能：
HDD： 180 write IOPS, 320 read IOPS
SSD：7000 write IOPS, 35000 IOPS
也许HDD将来的优势只有容量了。
特别是 ZFS更为SSD做了优化，可以把SSD作为文件系统的二级缓存(L2 ARC)以及ZIL(ZFS Intent Log)以大幅提高性能。在当前的过渡期，服务器内混合使用SSD和HDD不失为一种明智的选择。也就是说，从某个角度讲，把SSD作为HDD的 cache以提高系统的I/O处理速度。
今年四月在上海举行的Intel IDF大会上，ZFS的主要设计师之一Bill Moore到场做了一个专题讲座，讲的就是这个话题。演讲资料可以从这里下载
Sun Intel flash pitch April 08.pdf
(2008-06-26 08:38:34, Size: 3.42 MB, Downloads: 11)
SUN专家 Jonathon的评论：
昙花一现
存储设备只有两类 - 已经出故障的，和将要出故障的。这就是大多数数据中心用户对传统机械存储设备的看法，说得不好听就是“旋转的锈铁”。所有的磁盘驱动器都会出故障，廉价驱动器更容易出故障。
如果出故障的平均年限为 5 年，您可以通过不定期备份来应对笔记本电脑的存储器故障。然而对于拥有一百或一千甚至一万或十万个独立磁盘驱动器的企业来说，就算不以小时计算，磁盘故障也足以称为日常事件。机械式存储设备总有出故障的一天。
发生故障后，用户往往要面临丢失数据的风险 - 如果您的老板因为违反数据保留法规支付 5 千万美元的罚款，那么使用传统磁盘来节省 50 万美元费用的做法则毫无益处。无论是存储证券交易信息、医疗影像资料，还是存储剧情片长度的影片，都必须保持某些数据完整无缺。一个小数点或象素位都不能错。
这正是 Sun 数年前就开始研发 ZFS 存储平台的原因。ZFS 引发了一个大胆的设想 - 可靠的系统必然包含不可靠的部件。通过利用剩余的计算周期，ZFS 不断进行有效的完整性检查，从而使数据损坏现象无处可藏。借助 ZFS，客户们可以用上最实惠的磁盘和最简单的系统，既能实现非凡的数据完整性，又能大大降低成本和系统复杂性。
此外，用户们还有另外一种新选择，它就是大多数人所熟悉的手机、iPod 音乐播放器或数码相机的内存卡 - 闪存设备。闪存设备读写数据的速度非常快，就像 DRAM（电脑的内存芯片）一样。它的价格介于 DRAM 和传统磁盘驱动器的价格之间。但与两者不同的是，闪存设备记忆数据不需要电源。随着全球电价上涨，要使 1 万个磁盘保持每分钟数千转的速度旋转，您必须为运行存储设备支付价值不菲的电费。电能已经成为影响部署大容量硬件设备决策的 主要因素 - 而闪存设备分裂我们的行业局势。
从历史角度来看，企业使用闪存设备存在两大障碍。
首先是成本。闪存设备每千兆字节的成本远高于同级别的磁盘驱动器成本。但是，随着电价成本上涨（和闪存设备价格的下降），闪存设备每可用千兆字节的相对成本迅速降低- 别忘了，磁盘驱动器必须通电才能工作。虽然机械磁盘每千兆字节的成本可能低于闪存设备每千兆字节的成本，但后者的数据读写速度却是前者无法匹敌的 - 这样一来，每千兆字节服务成本其实就很低了。
不过，单纯的将闪存设备作为另一层级的存储器引进数据中心并不是切合实际的好机会 - 这会使数据中心产生新的成本开支，面临新的管理纷争。要真正改变我们的行业，增置闪存的操作就必须透明，必须面向用户和操作者全面开放，避免出现转换成本或操作成本。而这些正是我们研发 ZFS 是所关注的问题。ZFS 将面向各种对性能最敏感的任务使用微处理器高速缓存，以透明的方式将闪存设备整合到在运行系统的存储器层级中，先是 DRAM，然后是闪存设备，再是磁盘驱动器（最后是磁带）。 ZFS 将允许闪存设备与 DRAM 和传统磁盘集成，形成可供 ZFS 自动使用的混合设备池，从而最大限度地实现最佳的价格、性能与能效组合。简单地说就是，不用升级微处理器我们就能获得更快的存储器和服务器系统处理速度。增置闪存设备将会变得像增添 DRAM 一样 - 完成设备增置后，系统又增加了新的容量，而不必增加管理负担。
这是闪存设备让我们感到兴奋的一大原因 - 对于采用闪存设备的混合存储器，其每千兆字节服务成本（存储器的总运营成本）直线下降，尤其是对于数据密集型或性能集约型应用程序（如 MySQL、Postgres、Oracle 或 SQL Server）。如果系统设计得当，闪存设备就能大幅提高设备的经济效益和性能 - 同时，随着 Sun xVM 虚拟机管理程序的面世，所有主机操作系统都将享受到这样的性能优势（Windows 操作者也可以通过运行顶层 xVM 来保持 ZFS+闪存设备的优势）。
第二个问题更加棘手 - 简单地说就是，闪存设备虽然可以无限次读取信息， 但却禁不起数十万次闪存写入操作所造成的磨损。目前，大多数普通人使用数码相机时所执行的写入操作次数不会达到 50 万次。而在企业中却存在这种可能。怎么办？
使用 ZFS。
对于 ZFS 而言，闪存设备与任何其它存储介质并无二致 - 记住，所有存储设备都会出故障 - 无论设备故障是因硬盘驱动器电机损坏、磁盘写入疲劳所导致，还是因 锤钻导致而成，ZFS都妥善管理数据的完整性。 同时，日益精密的“损耗���衡”算法也在���大程度上延长了闪存设备的使用寿命 - 均衡写入活动可以避免发生热点故障。而实现这一成效的基点在于，只有使用 ZFS 平台才能避开磨损问题（在硬盘驱动器或闪存设备上 - 两者都受到设备损耗的限制）。
这些都是 Sun 系统看齐 Open Storage 的前提要求。我们正在着手将 ZFS、闪存设备以及一些特殊硬件/硅片创新技术进行集成， 以推出高性能、低能耗的通用存储器与服务器产品 - 提高所有在 SPARC 或 x86 系统上运行的软件的运行速度（特别是MySQL 用户们将看到大提速）。作为专属 NAS 存储器常规成本的一部分。我很期待我们的首台闪存系统能在今年的年底面世。
如大家期望的那样，我们将免费提供 ZFS 及其所有附属软件，但不提供商业支持 - 现已对外提供的服务内容包括 OpenSolaris、ZFS、MySQL 以及 Postgres（单击左图获取免费的 LiveCD - 或查看 Apple 公司在 Mac OSX 发布的 ZFS 新闻）。我们的软件收入将来源于那些需要获取关键任务部署 Sun 技术支持的企业。在硬件方面，任何合作伙伴或客户都能通过 Sun 的先试用，后购买计划订购一套我们的系统产品，进行为期 60 天的免费试用 - 如果您用了以后觉得喜欢，则向我们付款购买产品。如果您不喜欢，我们将承担回邮费用。
如果大上述仍不清晰...我再解释一遍，我们认为闪存设备决不是昙花一现的事物 - 虽然虚拟化对数据中心经济产生了巨大影响，但是，随着电能价格不断攀升，闪存设备价格不断下降，闪存设备、ZFS 和各种实用型系统创新项目的组合将对数据中心经济产生更大的影响。
意义十分重大。
[本帖最后由 云杉上的蝴蝶 于 2008-6-26 08:38 编辑]
TAG:
-
jy_z2008发布于2008-09-04 15:06:40
-
不错
不错呀不错呀不错呀不错呀不错呀
我的栏目
标题搜索
日历
|
|||||||||
| 日 | 一 | 二 | 三 | 四 | 五 | 六 | |||
| 1 | 2 | 3 | 4 | ||||||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 | |||
| 12 | 13 | 14 | 15 | 16 | 17 | 18 | |||
| 19 | 20 | 21 | 22 | 23 | 24 | 25 | |||
| 26 | 27 | 28 | 29 | 30 | 31 | ||||
数据统计
- 访问量: 5716
- 日志数: 609
- 图片数: 11
- 书签数: 5
- 建立时间: 2008-02-15
- 更新时间: 2008-10-14
