|
|
51CTO旗下网站
|
|
移步端
  • 科普存储基础设施对必发娱乐手机版的要求

    科普的必发娱乐手机版(AI)在总量和总体性方面加强了蕴藏基础设施的秘诀。对于必发娱乐手机版或机器学习(ML)空气,企望增长到数十个甚至数百TB的增量并不少见。

    笔者:Harris编译 来源:机房360| 2020-02-13 13:32

    科普的必发娱乐手机版(AI)在总量和总体性方面加强了蕴藏基础设施的秘诀。对于必发娱乐手机版或机器学习(ML)空气,企望增长到数十个甚至数百TB的增量并不少见。尽管这些只提供全闪存阵列的生产商可能会宣称,该署条件实在太大而望洋兴叹仅存储在全闪存的一层上。该署条件中的大多数(出于它们的并行性质)在硬盘的劳务几乎与从闪存中拥有的劳务一样好。

    渴求1:高性能网络

    必发娱乐手机版/机器学习环境创建使用内部或直接连接存储(DAS)的算计服务器集群的状况并不少见。即使共享存储在采取可用容量和将工作负载更均匀地分配给计算节点方面效率更高,集团仍愿意牺牲这些效率来消除计算节点和共享存储创建之间的网络延迟。

    NVMe光纤网络(NVMe-oF)是妇孺皆知设计用于基于内存的存储设备(如闪存和非易失性内存的后生网络。他提供的延期几乎与DASNVMe相同。NVMe的吃水命令和队深度使他也特别方便高度并行化的上班负载,并且必发娱乐手机版/机器学习可能是全部工作负载中最并行的。NVMe-oF可能是绝无仅有为内存存储而设计的,但他也是为必发娱乐手机版/机器学习量身定制的。

    渴求2共享存储

    如果NVMe-oF可以解决计算和存储之间的延期问题,这就是说它将启用第二个要求,即共享存储。穿过NVMe-oF联网的共享存储解决方案,上班负载可以受益于共享存储的一切自然属性。第一,整整节点都得以访问所有数据,这意味着工作负载可以更均匀地分配其计算负载。这也意味着具有图形处理单元(GPU)的兴奋点可以访问所有数据。出于图形处理单元(GPU)的价格比CPU贵得多,故此让图形处理单元(GPU)处于繁忙状态是当务之急,而共享存储则使这变得更加容易。

    在衡量数十个甚至几百PB的上班负载容量需求时,存储效率的其他提高都得以节约大量资金。在每个计算节点都有专用驱动器的队集中,IT机关无法轻松地将可用存储容量重新分配给班集中的任何节点。直接连接存储(DAS)模型中缺少资源池,这也意味着组织无法有效利用制造商推向市场之大用户量驱动器。如今,具有双重用途的兴奋点(计算和存储)可以安装12个或更多16TB上述闪存驱动器或18TB上述硬盘驱动器,而单个节点可能无法有效利用。如果必发娱乐手机版/机器学习存储体系结构从专用服务器中池化那些相同的内存,则可以对他进行更精细的分配。必发娱乐手机版/机器学习工作负载不仅需要扩展以满足容量需求,而且还必须可以直接访问存储节点以满足性能需求。

    渴求3多层存储

    考虑到必发娱乐手机版/机器学习数据集的大小,分层几乎是必须的,因为数十PB的闪存太昂贵了。公正地说,少数必发娱乐手机版工作负载不遵守80/20规则,在其他给定时间,80%的多寡都是不活动的。该署工作负载可以下100%休眠状态变为100%龙腾虎跃状态。尽管如此,它们是莫大并行的,并且数百个性能较低的硬盘驱动器可同时满足工作负载的急需,故而可以提供这些工作负载所需的性质。如果没有,她们可以在眼前网络技术允许的范围内尽快传送数据。

    渴求4并行访问

    并行访问意味着存储基础架构中的每个节点为必发娱乐手机版/机器学习集群中的每个计算节点提供对他所需数据的直接访问。单个控制节点不会变成瓶颈。高水平的并行性对于必发娱乐手机版/机器学习至关重要,因为可能需要同时访问存储池的算计节点数量很多。正是这种并行性使总量能够使硬盘作为必发娱乐手机版/机器学习存储基础设施中的组件而变得可行。并行文件系统几乎总是需要客户端或代理,但是与提供典型访问相比,该代理除了提供并行访问外,还通常需要较少的开支。

    渴求5多种协议

    尽管需要并行访问进行拍卖,但另一番要求是多协议访问,这对于将数据提取到存储基础架构中特别有用。诸多必发娱乐手机版和机器学习项目都从物联网(IoT)装备接收数据。该署装备通常需要与他副的商谈进行通信。诸多设备通过SMB或NFS拓展通信,个别设备使用S3。更主要的是,几乎没有人使用本机并行文件系统客户端。

    渴求6尖端元数据处理

    必发娱乐手机版/机器学习工作负载是元数据繁重的,尽管不是数一数二地因为它们使用像媒体和玩耍工作负载那样的增长元数据而并非如此。元数据在必发娱乐手机版/机器学习工作负载中的重要性来自其通用文件的多寡。在大部分情况下,数十亿至数百PB的必发娱乐手机版工作负载由数十亿个文件组成。该署文件中的每个文件都有元数据,就像其他工作负载一样,大多数IO作业都来自元数据。必发娱乐手机版/机器学习存储基础结构必须管理元数据,以便即使文件数量增长,他也得以维持系统之性质。元数据需要在任何存储群集中开展分配,以便所有节点都得以参与其管理。证券商可能还会查看每个存储节点中闪存上的存储元数据,以确保系统始终响应。

    总结

    必发娱乐手机版/机器学习工作负载与组织过去可能运行的其他其他工作负载从第一上不同。最初的必发娱乐手机版/机器学习项目已经依靠DAS拓展数据存储。题材在于直接连接存储(DAS)无法平均分配负载,这对于每个必发娱乐手机版工作负载的GPU多少增长至关重要。另外,直接连接存储(DAS)的频率极低,研制和运动数据所花费的增量和时间上的浪费消除了降价硬盘的价位优势。

    【编纂推荐】

    1. 顶香水艺术“邂逅”AI
    2. 必发娱乐手机版助力疫情防控:能精准筛查、推演疫情、源自病毒
    3. 性能最高提升480倍:Arm生产2款新AI竞争性计算芯片设计
    4. 关于5G,你要掌握的这些事,还不快来了解下
    5. 慎选正确必发娱乐手机版数据存储的6个准则
    【义务编辑: 赵宁宁 TEL:(010)68476606】

    点赞 0
  • 必发娱乐手机版  AI  机器学习
  • 分享:
    大家都在看
    猜你喜欢
  • 订阅专栏+更多

    Kubernetes:21远处完美通关

    Kubernetes:21远处完美通关

    从小白到修神
    共29章 | king584911644

    153人口订阅学习

    Python使用场景实战手册

    Python使用场景实战手册

    Python使用场景实战手册
    共3章 | KaliArch

    122人口订阅学习

    一步到位玩儿透Ansible

    一步到位玩儿透Ansible

    Ansible
    共17章 | 骏马金龙1

    209人口订阅学习

    订阅51CTO邮刊

    点击这里查看样刊

    订阅51CTO邮刊

    51CTO劳务号

    51CTO官微

  •