大家好,我是加勒比考斯,是一个NAS领域的老司机。 以前是负责NAS板块的小编一枚,有幸玩过众多品牌的NAS,包括有群晖、威联通、华硕、铁威马以及Drobo等。 我会一直输出NAS干货,码字不易,希望大家给个收藏、关注!前言 数据丢失的情况相信在大家身边常有发生。前段时间和一个朋友聊天,他公司NAS由于安装好之后,用了几年一直没问题,后面也就没人关注,最后导致连续2块硬盘损坏数据丢失后大家才发现,最后公司斥巨资找人恢复数据。碰到这种情况还是挺扎心的,这次我针对NAS的数据安全给大家进行一次最全面的科普。目录 1、传统321数据备份原则 2、数据保护(硬盘层面、NAS层面) 3、希捷酷狼NAS硬盘数据保护机制 3。1、AgileArray技术(内置) 3。2、IHM健康管理功能(需开启) 3。3、3年原厂数据救援服务(祝大家用不到) 4、威联通NAS数据保护机制 4。1、阵列冗余概念(建议详细了解) 4。2、Qtier技术(需掌握并使用) 4。3、SSD高速缓存技术(需掌握并使用) 4。4、Qtier与SSD高速缓存孰优孰劣? 4。5、快照概念(你肯定知道游戏存档) 4。6、HBS3(多重备份) 5、总结 正文 笔者最近使用的NAS是威联通TS551加上希捷酷狼Pro系列硬盘。 威联通TS551是一款5盘位的NAS,采用X86架构,搭载了IntelCeleronJ3355双核2。0GHz处理器(睿频2。5G),标配内存为DDR3L4GB,有3个3。5英寸硬盘插槽和2个英寸SSD专用硬盘插槽,可建立较高安全的RAID5阵列保护,也可使用Qtier技术、SSD高速缓存加速技术为NAS提升整体性能。它支持4K30HzHDMI影音输出以及进阶的虚拟化功能与多样化生产力应用程序。 我采用的硬盘是希捷酷狼Pro6TB机械硬盘与酷狼110系列240GB固态硬盘。当前希捷的酷狼系列与酷狼Pro系列全系机械硬盘都是采用CMR传统磁记录技术,更适合作为NAS硬盘使用。它们专为多用户环境和高工作负荷率而设计,这些NAS硬盘通过希捷特有的AgileArray技术得以增强,可实现最佳可靠性和系统可扩展性。此外,硬盘还带有IronWolfHealthManagement(IHM)希捷酷狼健康管理功能,通过显示可操作的预防、干预和恢复选项来提高整体系统可靠性。当酷狼或酷狼Pro硬盘集成到兼容的NAS系统中时,持续监控和用户警报将让整体系统可靠性得以提高。 自2020年9月21日起购买希捷酷狼以及酷狼Pro硬盘,都会免费提供3年内原厂数据救援服务一次,各种原因导致的硬盘数据丢失,均可尝试此服务来恢复数据。只要是出厂日期不早于2020年1月1日均可享受此服务。只需拨打希捷服务热线,希捷那边就会安排免费上门取货。 接下来我会在文中通过威联通TS551和希捷硬盘来展示数据安全的技巧。 传统321数据备份规则 在讲数据保护之前,我们首先要知道数据保护最基本的概念321数据备份原则。 随着企业级容灾备份领域的发展,传统的321数据备份原则具体已经逐渐被很多人忘记,但是它已经演化成为各种企业级数据保护方案最基本的概念。然而下放到消费级而言,这个概念对于消费者玩家而言,依然行之有效。它可以提供安全的数据保护,以及遇到灾难后的数据还原。 数据备份的321规则规定,应在两个不同的存储介质上至少存储三个数据副本或版本,其中一个不在现场设施中存储。以下了解这三个要素中的每个要素及其要解决的问题: 图片来自Veeam 3个数据副本:除了原有的副本,你应该始终让你的重要数据有两个额外的备份副本,无论是存储在服务器、NAS、硬盘驱动器、网盘或其他地方。这将确保不会发生一次单一的事件而毁掉所有重要数据的情况。 2种不同的存储介质:用户应该将数据的副本以至少两种不同的媒介或存储类型保存。这可能包括一个内部驱动器,以及外部媒介,如磁盘、磁带、闪存、以及NAS或云盘存储。理想情况下,本地备份的其中之一应该采用映像技术,例如苹果公司的TimeMachine其能够备份整个操作系统、应用程序和文件来创建本地备份,所以您不必重新安装或重新配置您的系统偏好了。从本质上讲,映像备份可让您将整个系统恢复到一个特定的时间点。每种媒介都有不同的故障模式,而这就保证了不会有一样的故障模式。 1个异地备份:将至少一份备份存储在异地是保证数据免于受到类似火灾,水灾或盗窃等物理灾难损害的必要措施。当您已经对您重要的数据创建了多个副本之后,保存初始原件的完整性就显得异常重要,否则有该原件所备份的每个副本都会有相同的缺陷。如果你将其存储到多个位置,必须检查所有文件都是一致的。这样,重复数据删除技术将确保你能消除冗余的数据块,而加密将增加安全性,而分类编目和索引将方便您进行快速检索。 321数据备份原则一直是一个很好的原则,如果玩家能理解并且遵守这个原则,那么找数据保护层面会节省大量的时间和成本。 咱们后面也会在HBS3中讲到如何通过威联通NAS来进行321数据备份原则的实施。 数据保护(硬盘层面、NAS层面) 在消费级NAS玩家层面,技术的发展让无论是NAS还是硬盘厂商针对主体数据也拥有更多的保护措施。这些保护措施一般分为NAS层面和硬盘层面。两者又分别采用了众多技术来保证数据安全。 其中硬盘层面以希捷酷狼与酷狼Pro系列硬盘为例,它的数据保护技术已经包括有硬件和固件与服务两个方面,硬件层面包括用料、全系CMR传统磁记录技术设计以及硬件可靠性测试,包括有平均故障间隔时间、为期6周的可靠性测试,以及温度、电压、腐蚀、冲击和振动以及声学等检查测试,这些测试极其严苛。固件与服务层面又包括有希捷特有的AgileArray技术、IronWolfHealthManagement(IHM)酷狼健康管理功能以及3年内免费原厂数据救援服务一次。 NAS以威联通TS551为例,这包括有阵列冗余概念、Qtier技术、存储池概念、快照概念、HBS3混合云存储概念、档案层级与与区块层级备份等等。此外,威联通还推出全快闪、QuTSHero等新技术用来更好的保护数据,玩家可以去了解体验。 希捷酷狼(技术的实际应用) 首先,我们介绍希捷酷狼系列和酷狼Pro系列硬盘采用的数据保护技术,以及这些技术在实际生活中产生的影响。 希捷在全球数据存储领域已经拥有40多年的历史,其酷狼系列和酷狼Pro系列是针对消费级推出的最高级别的NAS硬盘,该解决方案接受超过160项严格的质量测试。希捷一直不断衡量产品质量的各个方面,无论是硬盘磁头在包含数据的磁盘上方多近的位置盘旋,还是确保边缘实时数据处理的兼容性。 希捷酷狼和酷狼Pro系列的可靠性测试包括有平均故障间隔时间、为期6周的可靠性测试,以及温度、电压、腐蚀、冲击和振动以及声学等检查测试,这些测试极其严苛,以确保该系列的高质量与高可靠性。 AgileArray技术(内置) AgileArray技术是希捷酷狼系列的核心技术,它针对硬盘在NAS网络存储环境进行了优化。AgileArray拥有全球最先进的硬盘电源管理,这个最先进的最字并不是虚的,它是确切的描述。它支持在多盘位环境中实现硬盘的双面平衡和RAID优化。 在实际体现中,希捷酷狼Pro系列6TB硬盘的的典型待机模式下的功耗为1W,它的典型休眠模式下的功耗为1W。平均运行时功耗为8。1瓦。平均无故障时间(MTBF)为120万小时,最大不可恢复错误被读数据为110E15,每年运行小时数为8760小时,质保期为5年。 IHM酷狼健康管理功能(需开启) 希捷还有一个IronWolfHealthManagement(IHM)酷狼健康管理功能,它其实是一个NAS的内置软件,专为管理希捷酷狼和酷狼Pro的健康而研发,可以有效实现预防、干预和恢复功能。酷狼健康管理软件完全嵌入NAS设备中,可以实时保护硬盘的数据安全。 我们需要在威联通NAS后台(存储与快照总管磁盘VJBOD),点击具体硬盘,打开IronWolf运行状况管理里面对硬盘进行定期测试,从而通过持续分析和诊断关键参数,从而全面监控NAS设备中硬盘的健康状况,比如,该软件可以监测温度、冲击、摄动和湿度在内的多项运行参数信息,为用户提供预防措施和建议,避免潜在问题的发生,确保NAS硬盘的健康运转。 3年原厂数据救援服务(祝大家用不到) 今年9月份,希捷宣布其全线的希捷酷狼(IronWolf)和酷狼Pro(IronWolfPro)系列存储产品均配备3年内免费原厂数据救援服务(SeagateRescueDataRecoveryServices,SRS)1次。希捷数据救援服务是业界首家原厂全面数据救援服务,其覆盖范围非常广泛,不仅帮助希捷的用户恢复珍贵数据,同时还将服务延伸到其他品牌的用户,成为众多用户珍贵数据的忠实卫士。 希捷拥有一个由世界级数据恢复专家组成的一流数据恢复团队,并在杭州设立了实验室,无论用户硬盘是遭遇磕碰、浸水,或是数据遭到误删等,数据恢复团队都会针对不同的情况,设法从各种存储设备中恢复数据。在希捷数据救援服务的帮助下,用户的数据恢复成功率高达90,大部分用户的数据都可以在2天至1个月内得到恢复。此外,被恢复的数据还会被加密返还,用户的隐私也能得到严格保护。 威联通(数据层面技术) 威联通最初是专业做企业级NAS的,所以它家的NAS系统整体UI设计可能更偏向工业风,但是就功能而言,它的数据保护功能在领域内绝对是非常强的。我们首先谈一下关于威联通的存储架构。阵列冗余概念(建议详细了解) 威联通的存储池架构如下: 这张图是威联通QTS的存储系统架构,底层是物理硬盘,上层是逻辑存储区域。物理硬盘HDDSSD构成存储池StoragePool,存储池之上划分卷Volume,卷上划分共享文件夹SharedFolder。 用我们平常使用的Windows系统进行类比: 1、SharedFolder相当于Windows下的一个文件夹,可以单独配置用户的存取(Access)权限。 2、Volume即是逻辑分区,例如C盘、D盘这样的。 3、StoragePool即是对底层硬盘的一层逻辑封装,将RAID等底层细节隐藏,不暴露给上层的操作系统或应用程序。当底层硬盘发生更换、故障时,都不会影响上层系统的运行(前提是你做了RAID1等冗余设置)。 4、HardDrives即是在现实中真实存在的硬盘本体。 通过HDDSSD构成存储池StoragePool的过程就是使用磁盘阵列(RAID)来进行。 磁盘阵列(RedundantArraysofIndependentDisks,RAID),有独立磁盘构成的具有冗余能力的阵列之意。磁盘阵列是由很多价格较便宜的磁盘,组合成一个容量巨大的磁盘组,利用个别磁盘提供数据所产生加成效果提升整个磁盘系统效能。利用这项技术,将数据切割成许多区段,分别存放在各个硬盘上。 简而言之,RAID可以提供安全性、读写性能、存储池容量,具体根据阵列类型而定! RAID方案常见的可以分为6种。 JBOD、RAID0、RAID1、RAID5、RAID6、RAID10 JBOD(Justabunchofdisk)严格上来说不是一种RAID,因为它只是简单将多个磁盘合并成一个大的逻辑盘,并没有任何的数据冗余。数据的存放机制就是从第一块磁盘开始依序向后存储数据。如果某个磁盘损毁,则该盘上的数据就会丢失。 RAID0无冗余备份,存储池包含所有硬盘容量,硬盘全部用来提升读写能力。简单而言:假设10块硬盘组成RAID0阵列,存储池读写能力变成单个硬盘的读写能力的10倍!硬盘只要损坏一块,阵列内所有硬盘的数据会立刻丢失。 RAID1是一种镜像磁盘阵列,其原理就是把一块硬盘的数据以相同位置指向另一块硬盘的位置。RAID1又称为Mirror或Mirroring,它的宗旨是最大限度的保证用户数据的可用性和可修复性。它只支持2块硬盘。存储池容量只有单块硬盘容量大小,不能提高存储性能,硬盘可以允许随机损坏一块。它的高数据安全性,尤其适用于存放重要数据,如服务器和数据库存储等领域。 RAID5将数据以块为单位分布到各个硬盘上。RAID5不对数据进行备份,而是把数据和与其相对应的奇偶校验信息存储到组成RAID5的各个磁盘上,并且奇偶校验信息和相对应的数据分别存储于不同的磁盘上。当RAID5的一个磁盘数据损坏后,利用剩下的数据和相应的奇偶校验信息去恢复被损坏的数据。它的容量为(n1)块硬盘总容量,存储性能提升(n1)倍,硬盘可以允许随机损坏一块。 RAID6同RAID5一样,数据和校验码都是被分成数据块然后分别存储到磁盘阵列的各个硬盘上。RAID6加入了一个独立的校验磁盘,它把分布在各个磁盘上的校验码都备份在一起,这样RAID6磁盘阵列就答应多个磁盘同时出现故障,它会进行两次奇偶校验,以提供写入保护,因而RAID6的写入速度小于其它级别的RAID。RAID6容量为(n2)块硬盘总容量,存储性能提升(n2)倍,硬盘可以允许随机损坏2块。但是在4块硬盘的情况下,RAID6的计算相较于RAID10而言会更加密集,所以重建速度较慢。 RAID10其实结构非常简单,首先创建2个独立的RAID1,然后将这两个独立的RAID1组成一个RAID0,RAID10容量为2块硬盘总容量,存储性能提升2倍,硬盘可以防止两个磁盘同时出现故障,但是这两块硬盘不能是存储同一份数据的硬盘。如果发生意外,RAID10重建速度较RAID6更快。 大家对于各种RAID磁盘阵列的选择,拥有太多种方式,我随意列举几种资深老玩家的方法: 1、一个存储池:RAID51(一块热备盘) 2、一个存储池:RAID1剩下都是静态卷 3、一个存储池:RAID10 4、一个存储池:RAID6 5、两个存储池:RAID1,RAID5 6、全部静态卷。根据文件重要程度,按需手动备份多块硬盘 建立完存储池后就需要在上面建卷,威联通又提供静态卷、厚卷、精简卷三种卷形式。 静态卷:适合放置对磁盘性能要求高的应用或文件,例如作为下载盘,或者用于存放虚拟机的硬盘。不支持快照。 厚卷:支持快照、LUN,适合存放照片等一般文件。没有特殊需求的话一般使用厚卷。 精简卷:支持快照、LUN,空间非常灵活,用多少就占用多少,原理和虚拟机的虚拟硬盘类似。性能比较差。 Qtier混合存储技术(需掌握并使用) 从2008年将SLC存储介质引入EMCDMX开始,向全闪存存储过渡约有十年的时间。但是全闪存成本太高,而作为过渡使用的混合存储系统也逐渐成为一种新的主流。威联通在混合存储领域的研究是目前所有NAS品牌里面最为深入的。目前威联通提供了Qtier技术和SSD高速缓存加速技术,这两种技术相信大家肯定都有所了解。但是这次我们需要好好进行比较一下。 QNAPQtier技术是威联通独有的实现自动分层存储解决方案,可识别数据的存取频率,自动将频繁存取的热数据移动到性能较高的磁盘层,而将较少存取的冷数据移动到成本低、大容量的磁盘层,让企业享有性能与成本(TCO)兼顾的存储服务。 Qtier几点特色值得一说: 1、自动学习。 用户可以启用自动排程,由系统主动分析存储池读取及写入的IO量,决定适合的时间点进行数据分层转移,并自动调整数据迁移的速度。智能数据感知的学习机制每一天都会运作,让存储效率达到最佳。 2、智能感知(IOAware),性能提升更明显。 系统将在SSD层将能保有预留空间,随时支援临时出现的高随机读写重要应用,提供如同SSD高速缓存般加速IOPS性能的好处。此功能将可避免若SSD层空间已完全被占用,而无法应付突如其来的高密集存取重要应用的需求。随选即用 3、随选随用,自定义配置。 Qtier在每个阶段都可弹性启用,不再受限于一开始建立存储池时的设定。您可依应用需求弹性为NAS安装SSD、QM2扩充卡,或连接存储扩充设备,再透过存储与快照总管,将单一存储池自由加入新的分层,并立即升级启用Qtier。 玩家需要在建立存储池的时候,选择启用Qtier。作者使用2块酷狼110系列240GB固态硬盘组成RAID1作为超高速层,使用3块希捷酷狼Pro6TB机械硬盘组成RAID5作为容量层。 SSD高速缓存技术(需掌握并使用) 与Qtier相似的技术是SSD高速缓存技术,基本所有NAS厂商都有。这个技术类似于将SSD作为HDD的SLCCache来使用,从而有效提升磁盘访问的IOPS性能。 首先介绍一下SLCCache。 TLCSSD为了解决NANDFlash读写较慢的问题,就为产品配备了SLCCache,之所以称之为SLCCache,是因为它并不是真正意义上的SLCNANDFlash,我们知道SLCNANDFlash因为每个Cell只存储1bit数据,所以读写速率全面领先MLC和TLC,TLCSSD里面配备的SLCCache实际上是在既有的TLCNANDFlash里面划出一部分空间,在其中的每个Cell中只写入1bit的数据,以提升SSD的读写性能。 而SSD高速缓存的机制与此类似,只是把SSD区域作为SLCCache来使用,在该容量内NAS可以一直保持SSD的读写速度,但是当单次传输超过SSD区域容量时候,会出现明显掉速情况。但是这样也是极大提升了原本的NAS读写性能了。 开启这个也十分简单,只需要选定磁盘,选择高速缓存类型即可,包括RAID类型。 高速缓存类型包括有:只读高速缓存,读写高速缓存,只写高速缓存。根据选择的种类不同,SSD选择的RAID不同,用来加速的场景也不同。 1、对于只读高速缓存,可以使用RAID0来提高性能,因为不存在丢失数据的风险。 2、对于读写高速缓存和只写高速缓存,应当使用受保护的RAID类型(RAID1、5、6、10)来保护高速缓存中的数据。对于多个SSD,为了获得最佳写入性能,应当使用RAID10。 Qtier与SSD高速缓存孰优孰劣? 作者接下来会针对三种情况进行测试: Qtier技术:作者使用2块希捷酷狼110系列240GB固态硬盘组成RAID0作为超高速层,使用3块希捷酷狼Pro6TB机械硬盘组成RAID5作为容量层。 SSD高速缓存:作者使用3块希捷酷狼Pro6TB机械硬盘组成RAID5,使用2块酷狼110系列240GB固态硬盘组成RAID0作为SSD高速读写缓存。 混合使用:作者使用3块希捷酷狼Pro6TB机械硬盘组成RAID5,使用1块酷狼110系列240GB固态硬盘,两者组成Qtier混合存储,再来1块酷狼110系列240GB固态硬盘作为高速读写缓存。 实际体验结果如表格。在千兆局域网内,三者结果相差不大,Qtier技术的提升效果比SSD高速缓存加速的效果略好。 快照概念(你肯定知道游戏存档) 威联通的特色快照功能非常值得一提。 大家之前应该都玩过单机游戏,大多数单机游戏都有存档功能,你可以选择任意时间点进行存档,如果后面关卡GAMEOVER就可以读档重来。而威联通的快照备份也是针对于NAS的某一个时间点的状态进行存档。 你可以主动存档,也可以设置定时自动存档,如每周一次,每天一次均可。 威联通快照为数据提供区块级保护。快照可以记录厚卷、精简卷或区块iSCSILUN在特定时间点的状态。意外删除或修改快照中的数据时,可将其迅速恢复至该状态。 那么何为区块级保护? 区块层级BlockbasedLUN技术:以iSCSILUN分享NAS空间的方法,可分为FilebasedLUN与BlockbasedLUN两种。FilebasedLUN是在NAS的文件系统中建立映像档,再将空间分享给其他设备,但也因其存在于文件系统上,性能发挥有限。而后期所发展的BlockbasedLUN,则直接将LUN以区块的方式做分配应用,不仅加强性能,更原生支持虚拟化应用技术,如:VAAI精简分配与空间回收、MicrosoftODX等,成为iSCSI存储应用的首选。 档案层级FilebasedLUN技术:因为BlockbasedLUN具备高效及完整的虚拟化支持,能让各式服务器、虚拟机以优化且稳定的方式运用本机外的存储空间,因此受到企业用户所喜好。而QNAPNAS的快照功能均以支持BlockbasedLUN为首要目标,BlockBasedLUN搭配QNAP快照,将可给企业用户带来比起FilebasedLUN快照更高速的秒速快照撷取与还原,并有效帮助降低灾难发生时的复原时间乃至营业损失。 在此之前,所有NAS的备份都是使用档案层级FilebasedLUN技术,后来区块层级BlockbasedLUN技术出来后威联通率先采用。威联通提供多项功能以进行数据快照与还原,可轻松回复意外删除或覆盖的文件,亦能还原整个系统至特定时间点下的健康状态。用户可以通过计划或手动模式创建快照,并将快照文件再次备份于另一台NAS或服务器中。 目前威联通快照支持的各种参数如下。 快照已成为现今存储系统必备的功能之一。QNAP提供的快照功能,可有效保护存储系统中的文件夹、文件、及iSCSILUN的数据。当恶意软件攻击或意外事件发生时,用户便可以利用快照,迅速将资料复原至特定时间点的状态,确保系统运作不中断。但是它与其他品牌NAS的快照有什么不同呢? 最后,快照功能是万无一失的吗? 不是的,快照功能是建立在存储池之上的,它只能保证建立在存储池上的卷数据不被丢失,但是如果存储池崩了,它对于数据的保护也是无能为力。 HBS3(多重备份) 威联通HybridBackupSync3(HBS3)是将数据备份、复原、同步等功能整合到一个应用里面,通过USB单键备份、TimeMachine备份、RTRR远程备份(或通过RTRR、Rsync、FTP、CIFSSMB文件同步等作法)等超强备份功能可以将QNAPNAS中的数据备份或同步到另一台QNAPNAS、远程服务器或云服务中。 目前,HBS3整合了WebDAV、GoogleDrive、MicrosoftOneDrive、HUAWEICloud、Dropbox、Box、YandexDisk、AmazonCloudDrive、AmazonS3、AmazonGlacier、AzureStorage、GoogleCloudStorage,以及与S3、OpenStackSwift、WebDAV兼容等32种云端存储服务,这让它兼具私有云及公有云优点,提供用户更弹性的混合云存储应用体验,并支持TCPBBR壅塞控制算法,翻倍外网传输速度,开创更完备的备份策略。 而在远程服务器方面,威联通也支持远程NAS、Rsync、FTP、CIFSSMB等远程端的备份。 HBS3还支持QuDedup技术,它可以进行来源端的重复数据删除,极小化备份文件有效减少带宽及云端备份空间的使用,加速数据备份及还原时间。用户可于计算机上安装QuDedupExtractTool轻松开启云端下载经由QuDedup去重复化的。qdff格式文件,实现数据可携,工作随时随地快速接轨。 此外,用户还可下载QuDedupExtractTool应用工具解析QuDedup去重复化文件格式。qdff,并直接在计算机上还原从远程或云端上所下载的。qdff资料,这意味着你的资料可以在NAS、计算机及云端跨设备存取,不担心在云端泄露。 总结 又到了结尾时间,很高兴大家看完这篇科普贴。有问题欢迎留言互动。 我是加勒比考斯,我们下期再见。