创新存储架构，突破IPFS算力瓶颈
发布时间：2022-11-04 16:00:11 所属栏目：大数据 来源：
导读： 日前，在中国电子信息博览会、深圳国际大数据与存储峰会暨Web3.0中国峰会上，西部数据公司副总裁兼中国区业务总经理刘钢发表了“创新存储架构，突破IPFS算力瓶颈”主题演讲。其内容与Web3.0相关，&ldq
|
日前，在中国电子信息博览会、深圳国际大数据与存储峰会暨Web3.0中国峰会上，西部数据公司副总裁兼中国区业务总经理刘钢发表了“创新存储架构，突破IPFS算力瓶颈”主题演讲。其内容与Web3.0相关，“因为Web3.0的核心技术就是IPFS。”刘钢指出。GKYednc 大数据的发展趋势和机遇 首先他分享了大数据在未来几年的发展趋势。可以用两个数据来标志大数据存储的发展速度。GKYednc GKYednc 2024年，以HDD为代表的大数据预计将增长到1.62ZB，因此从现在开始到2024年，年化增长率在30%左右。除了大数据以外还有快数据，“因为我们不仅想把数据存储下来，还希望能够对数据进行挖掘、进行计算，来为客户的商业提供帮助。”刘钢表示。GKYednc 快数据是以SSD作为衡量标志。SSD在2024年预计将达到333EB，与HDD加在一起大概有2ZB左右。“这是非常快速的增长，因为SSD的增长几乎接近50%，相较于大数据HDD30%的增长，这个增长是非常快速的。”他补充说。GKYednc 但是把它与当年产生的数据相比还是很小，几乎只有1.5%的数据被存储了。“因为在2024年产生的数据有143ZB，大数据只存入了1.62ZB，快数据333EB（0.333ZB），所以加在一起也小于当年产生的数据的1.5%。”他解释说。GKYednc 为什么会这样？“在数字经济时代，数据就是石油，就是发展的动力。那么多宝贵的石油或者资源为什么没有被存储下来，没有进行挖掘、进行分析处理？很重要的一个原因是因为存储的架构和存储的技术没有及时地跟上，以至于有很多数据被浪费掉了，没有办法被存储下来并及时使用。所以我们需要创新存储架构来为更多的数据提供海量的存储，并且能够快速地访问。”刘钢说。GKYednc 企业级存储架构面临的挑战 在提到突破存储架构的时候，可以看到数据存储面临下面几个方面的挑战。总结来说就是用户既需要大容量，也需要快速访问，又需要低成本，还需要低功耗。那么有没有一个存储设备或者一种存储介质能够同时满足这四个方面的需求？GKYednc GKYednc “其实你很难找到一个存储介质、存储设备能够同时满足这四个方面用户需求。然而好消息是，当你创新存储架构的时候，你有可能作为系统来满足用户各方面、各种存储场景的需求。因为用户的数据是要进行分层的，用户数据也是有不同的类型，它对存储的要求也是不同的。”刘钢谈到。GKYednc IPFS去中心化分布式存储架构 首先来看下对存储架构的创新——分布式存储架构。“我们知道，存储架构有中心化的云存储，还有去中心化的分布式存储。就像Web3.0或者各种IPFS方案，它们就是去中心化的分布式存储。它跟原来的云存储有很大的不同，它有可能会通过新的存储架构来降低成本。”刘钢指出。GKYednc GKYednc 从上面的数据可以看出，传统的云存储给用户提供服务的时候，它的成本大概是什么样的。其实在IPFS之前，早就有一个分布式的去中心化存储的架构叫做Storj，我们可以在网上找服务、购买服务。而IPFS在去中心化方面可以进一步地做优化。GKYednc 创新存储架构——分层存储 除了存储架构以外，对于数据的价值，可以将它简单分成五层：极热数据、热数据、温数据、冷数据和极冷数据。GKYednc GKYednc 对不同层的数据，所要采用的存储介质和存储的设备是不一样的，这样才能够既有海量存储的大数据，又能对快数据提供快速的访问。“根据数据对时延和容量的要求，我们把数据分成这五层，并且划分了对应的应用场景。”刘钢介绍说。GKYednc 大数据：企业级高密度HDD 刘钢继续说到：“首先来看大数据部分，针对冷存储和极冷存储，现在业界通常用的方案是高密度的大容量企业级硬盘。这个部分的发展，已经进化到了18T的高密度企业级硬盘。甚至针对极冷数据，有公司利用软件与技术优化，采用了SMR叠瓦式的硬盘，能做到20T的高密度企业硬盘。”GKYednc GKYednc 云服务商vs.IPFS服务商 如下图所示，头部的云服务商的硬盘在过去4年当中，从8T进化到了18T。IPFS的服务商则在以更快的速度进化。“他们几乎在过去四个季度就走完了云服务商过去四年硬盘的演进过程，也从8T进化到了18T。IPFS用了四个季度走完了过去云服务商四年对存储容量点的进化。”刘钢说。GKYednc GKYednc 14TB升级到18TB，提供更优TCO 为什么大家会从8T进化到12T、14T、16T，很快就过渡到了18T呢？从下图来看就更清楚了。GKYednc GKYednc 举个简单例子，市场上还流行14T，也有些人用16T，为什么今天会到18T呢？“当数据中心只是从14T升级到18T，为了达到同样存储的容量，你的服务器数量会减少约22%。不只是服务器数量减少了，存储密度提高了，而且单位功耗还降低了约21%。所以部署成本降低了，你的运维成本也降低了。”刘钢说。GKYednc 20TSMR成功案例：云服务商 很多IPFS公司或者云服务商已经在考虑从本季度开始迁移到18T高密度的硬盘上面。还有公司利用软件技术已经开始部署20T的SMRHDD。比如Dropbox，全球领先的云存储服务商，它在去年年底就已经迁移到20TSMRHDD了。通过迁移到20TSMR，它得到了更低的总体拥有成本（TCO）与更高的存储密度。GKYednc GKYednc 快速据：企业级SSD 除了上述大数据的部分，对于用户需要能够快速访问数据的快数据这部分又是怎么样呢？热存储和温存储这两个部分可以使用两类SSD：一类是主流的SSD，还有一类是针对写密集、计算密集的高性能SSD（分别对应下图中的UltrastarDCSN840NVMeSSD和UltrastarDCSN640NVMeSSD）。应用到IPFS里，尤其是针对封装计算机、封装服务器的时候，4个7.68T的SSD能提供非常好的加速。GKYednc （编辑：航空爱好网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐