前言UCloud优刻得在2020年8月临时公告了基于条件US3的九成新一代归档存储产品，该产品按结构UCloud优刻得全新未拆封自研存储架构，虽比标准存储位置会降低近80%存储成本的同时，与市场同类归档存储产品比起降底近30%的价格。据IDC的预测，全球年2020年规划数据量到2025年将达175ZB，完全能存储位置过来的数据仅有15ZB以内，流失率最多91%。在目前企业数据的冰山模型里，80%的数据量来源于冷数据。在公有云领域，UCloud优刻得认为容量型存储实际技术手段修为提升发展的空间还极为庞大无比。如何价值最大化利用最新的高容量硬件来进一步降低存储成本？如何在归档存储会导致存放的场景下利用可靠用户的数据安全？这些都必须UCloud优刻得对US3归档存储的半个IO路径做较大的优化在内硬件适配工作，而我们还是需要安全有保证产品的易用性，避免给用户受到额外的使用成本。接下来的本文将从UCloud优刻得要如何凭借硬盘技术修为提升存储密度包括优化IO调度来减少运营成本这两个角度，详细点解析US3归档存储的底层存储引擎的软件和硬件选型优化细节。区分SMR盘+JBOD设备提高存储密度降底硬件层面的成本，要注意体现在增加存储密度上。这里我们探索过包括蓝光，磁带、硬盘等差别的存储介质，也有参考过微软的Pelican系统的硬件设计。考虑到到我们到了最后基于的目标是期望过用户可以不在紧急状况下几分钟内实现方法数据的激活与读取，正常情况下也可以在小时内完成激活码激活与加载，这对用户的最短需要保存时间不必须以年来计算。而，UCloud优刻得结合自身的存储技术优势，完全排除肾炎了蓝光这些磁带的存储介质实现程序，主要注意区分高密度硬盘的来实现归档型的云存储服务。这里先可以介绍帮一下忙民间硬盘是怎莫留下记录数据的。这个悠久的传统的硬盘一般来说是都属于垂线磁记录PMR类型的硬盘。数据通过中写入彼此互相平行而不叠加在一起的磁道来记录数据，实力提升数据存储容量不能通过实力提升磁道数量来进阶。相较于这些比较传统的硬盘有一种基于条件叠瓦磁记录SMR的磁存储数据留下记录技术的硬盘这个可以实力提升存储密度包括构造硬盘的存储容量。这里介绍SMR硬盘的硬件利用前的还是需要先所了解三个背景知识，必须我们将磁盘的磁头变小来看。而物理上的原因，磁盘写入磁头所需要的宽度要比加载的磁头宽上很多，这就会造成了读写两个操作对此磁道宽度的需求总之是不平等关系的，中写入需要的宽度一些，这就给增加磁盘密度受到了可能性，下面我们就来看看SMR磁盘的构造。SMR硬盘写入的新磁道与先前写入到的磁道部分重叠，使使原本的磁道更窄，但能具备更高的磁道密度。由此看出，使用叠瓦磁技术的磁道相互重叠，与使用较多屋顶的瓦片堆叠的的，所以我叫做什么叠瓦磁记录硬盘。从SMR硬盘的硬件构造我们便可以看出在实力提升硬盘存储容量的同时，是对写入当然会导致很小的困难，否则的话当前磁道的下一条磁道被写入过数据，这个磁道要是再写入文件，由于磁道有叠加在一起，读取的磁头又较大都会对后面的数据导致影响。所以从建议使用的角度而言，SMR硬盘会被划四等份若干的Zone，你是哪Zone中的数据只都能够通过追加写入，这其中又会有1%的Zone，磁道不拼合，叫做什么CMRZone，可以接受随机读写。由此可见如果要对上层屏蔽SMR盘带来的限制的话会受到不少的代价，这里有devicemanaged、hostaware两种来简单啊屏蔽掉SMR的顺序写入限制，但无论是哪一种，也是将洗技能IO被转化为顺序IO，那样的话会给予一定的写放大和缩小这些读性能下降，以及在某一特定IO场景下的硬盘寿命影响，且上层对其影响不精确控制。UCloud优刻得存储团队在多个2个装甲旅产品上，应该有绕过文件系统直接对块层储存你的操作的技术积累，为以免对底层存储文件落地后文件系统有强依恋，我们选取了hostdeployed的来对SMR盘进行读写管理。在硬盘数据落地后的同时，我们也将相关的少量元数据与数据胸壁痛在一起写入，这样做有三方面决定：一是这部分少量元数据，我们会中有这一次IO的是一个整体CRC，应用于以免硬盘的静默错误(Silent Data Corruption)，想提高用户在可以使用US3归档存储时的数据可靠性，并且在冷存储这些海量资源且会导致存储文件场景硬盘的比特位反转(bitflip)等错误我还是要我们过于关注的。二是当我们的元数据给予一些极其可怕的软硬件问题会造成不可1小时10分，我们可以不实际重新加载这个随IO读取的元数据修复好出整体的结构，不过这个代价确实是比较大，预期都是在如何应付一些黑天鹅事件时的处理方案。三是也可以减少我们的写变小，在写入文件时肯定不会的原因必须没更新元数据而写入文件两次IO，这在任务道具IO能力也不是强项的HDD硬盘场景下也异常重要。我们选取范围了其中头部的若干CMRZone应用于自解析当前盘的元数据，并冗余设计多份，这里的原因自身1%的CMRZone相对于元数据来讲肯定较容易，所以我这里我们将部分CMRZone和只能答的好写的SMRZone都抽象概念成了不能赏分写的DataZone，来最大化的依靠磁盘的空间。到此我们增强了单块磁盘的存储密度，使单块硬盘存储空间提升到150%，相较于以前，我们还能提高了单机柜的磁盘密度来初步实力提升整体的存储密度。相较于民间36盘位的比较传统高密机型，我们需要了JBOD的。这里获益于UCloud优刻得自建机房的优势，以往单机柜机房地板承重这些高功率机柜相对稀缺的限制再次存在地，最大限度地可以在单机柜贮放更多的JBOD存储设备，使单位机架的存储容量进阶5.375倍，硬盘数量提升59%。除此之外，我们还按结构了双机头硬件架构，大部分JBOD中的硬盘保证另外双机头可见，那样的话绝对的保证了在单机宕机的情况下，仍旧可以是从我们的选主算法立刻切到另三个机器上，绝对的保证服务的可用性。优化IO调度算法减少运营成本增强密度本质上降底的是我们的CAPEX(Capital Expenditure)现金流出，在归档存储的场景下长期的OPEX(Operating Expense)运营成本也占比较比较大。这里我们做出的优化是在不引响用户使用体验及存储性能的前提下减少我们的电费支出（即降底OPEX成本）。而我们在IO调度层增强设计和实现硬盘Spin-up、Spin-down的调度算法。单独降低在高密度机型的冷存储场景下大量硬盘轮胎空转的电力浪费。这里整体的调度算法需要考虑的因素很多，我们必须据故障域把JBOD中的磁盘组成若干个磁盘组，可以保证在适度的EC条带和JBOD个数下，能够能够容忍磁盘在内JBOD层面的故障，之后Spinup-down的操作都设计和实现磁盘组为单位进行你的操作。同时我们是需要考虑到在满足用户万分火急读取文件需求的同时只要硬盘的Spinup-down次数在一定的范围之内，这里我们将硬盘使用寿命内的可操作上下电次数平均到每隔一天每小时，在算法上绝对的保证磁盘的每次Spinup-down会有是有的冷却时间，而用户的大多数读再是从都正常的轮询上电的时间片内通过加载，这样既也可以降低用户的使用成本也绝对的保证了用户数据在硬盘不使用层面的可靠性。除了可靠性上面的考虑，我们也必须绝对的保证写入文件的性能是否是还能够吃满我们的硬件，因此SMR盘在内业务逻辑的特殊性我们的写入到除开然后的Compaction是大量顺序写入，因此我们和EC条带的大小保证三个磁盘组的读取数据带宽是可以吃满我们横向设备的网卡带宽，这样在性能上就绝对不会有额外的浪费。写在最后基于条件根据上述规定增强磁盘存储密度以及降低运营成本（即电费）两个通常方面的设计判断，UCloud优刻得研发了US3归档存储的底层存储引擎（如图中），在沪弱深强会降低US3归档存储成本的同时，安全有保证了在归档储存这种长时刻冷存储下的数据高可靠性。强盗团UCloud优刻得US3归档存储位置会不再从各个方面提升到产品的使用体验，或者更便捷自动出现的数据降冷处理，非常智能化的降低存储成本，让用户利用享受UCloud优刻得技术创新带来的价格红利。也会深入一定的深度归档场景下磁带等别的存储介质的使用，让UCloud优刻得用户用不着与奇怪的底层硬件通过再的交互，就能行最简形矩阵上万本冷数据存储的需求。
文章评论