国内最专业的IT技术学习网

UI设计

当前位置:主页 > UI设计 >

AI数据存储设备选型的6个关键要素

发布时间:2019/09/19标签:   数据    点击量:

原标题:AI数据存储设备选型的6个关键要素
野生智能(AI)和呆板进修将成为关心企业应用其中心数字资产制造合作上风的很主要东西之一。但在选购AI数据存储装备之前,企业必需斟酌呆板进修平台在猎取、处置和保存数据时的一系列需要。咱们起首须要研讨一下呆板进修软件应用的数据的性命周期,由于这有助于企业懂得在为AI抉择存储时应当斟酌哪些要素。最开端的时间,企业必需猎取大批的数据来练习呆板进修或AI算法。AI软件东西经过处置数据来进修义务,如辨认某个工具、处置视频和跟踪活动。数据能够从种种百般的源天生,而且实质上长短构造化的,比方工具和文件。在练习或开辟AI算法时,可能经过对数据的处置开辟一个模子,为企业供给所需的洞察力或效益。开辟呆板进修算法很少是作为一个繁多的进程来实现的。跟着企业一直积存新的数据,算法也会失掉改良。这象征着很少无数据被抛弃,相同,数据会跟着时光的推移而疾速增加和从新处置。AI数据存储装备的选型尺度在企业为AI平台抉择存储装备之前,必需起首斟酌以下几点:1、本钱。AI数据存储装备的价钱对企业来讲是一个要害要素。明显,高管层和那些参加洽购决议的人会盼望存储尽能够存在本钱效益,在很多情形下,这将影响构造的产物抉择和战略。2、可伸缩性。如上文所说,在创立呆板进修或AI模子的进程中,网络、存储和处置大批数据长短常须要的。呆板进修算法请求源数据呈指数增加,才干完成精度的线性进步。创立牢靠而正确的呆板进修模子能够须要数百TB乃至PB的数据,并且这只会跟着时光的推移而增添。构建PB级存储体系,个别须要应用工具存储或横向扩大文件体系。现在的工具存储固然能够满意AI任务负载的容量需要,但它们能够无奈满意其余尺度,如高机能。横向扩大文件体系能够供给高机能和精良的可伸缩性,然而将全部数据集存储在一个平台上能够会很高贵。别的,出于可伸缩性需要和高容量产物的本钱,块存储每每不是呆板进修某人工智能的准确抉择。这里独一的破例是私有云,稍后咱们对此停止探讨。存储本钱的变更引入了分层存储或应用多品种型的存储来存储数据的观点。比方,工具存储是存储大批不活泼的AI数据的精良目的。当须要处置数据时,能够将数据挪动到工具存储中的高机能文件存储集群或节点上,一旦处置实现,便可以将数据挪动返来。3、机能。AI数据的存储机能有三个方面。起首,能够也是最主要的是耽误,也就是软件处置每个I/O恳求的速率。低耽误很主要,由于改良耽误对创立呆板进修或AI模子所需的时光有间接影响。庞杂的模子开辟能够须要数周或数月的时光。经过收缩这个开辟周期,构造能够更快地创立和细化模子。在检讨耽误才能时,因为工具拜访的流特征,工具将援用时光存储为第一个字节,而不是单个I/O恳求的耽误。机能的另一个方面是吞吐量,以及从存储平台写入或读取数据的速率。体系吞吐量很主要,由于AI练习须要处置大批数据集,常常反复读取雷同的数据,以正确地开辟模子。呆板进修和AI数据的起源,比方主动驾驶汽车上的传感器,天天能够天生多个TB的新数据。全部这些信息都必需增加到现有的数据存储中,而且对任何现有处置的影响要最小。机能的最初一个方面是并行拜访。呆板进修和AI算法并行处置数据,运转多个义务,这些义务能够屡次读取雷同的数据,并逾越多个并行义务。工具存储善于并行读取I/O处置,由于不须要治理工具锁或属性。文件效劳器跟踪内存中翻开的I/O恳求或文件句柄。因而,运动I/O恳求的数目取决于平台上可用的内存。呆板进修数据能够由大批的小文件构成。在这个范畴,文件效劳器能够供给比工具存储更好的机能。这里须要问AI存储计划供给商的一个要害成绩是,在大文件范例和小文件范例上,他们的产物的机能特点会怎样变更。4、可用性和持久性。呆板进修和AI模子能够长时光持续运转。经过练习开辟算法能够须要几天或几周的时光。在此时期,存储体系必需坚持启动并连续可用。这象征着任何进级、技巧调换或体系扩大都须要在不绝机的情形下停止。在大型体系中,组件毛病是罕见的。这象征着任何用于AI任务的平台都应当可能从装备(如硬盘或SSD)和节点或效劳器毛病中规复。工具存储应用擦除编码在很多节点上普遍散布数据,并最小化组件毛病的影响。有一些擦除编码技巧能够用在横向扩大文件体系,以供给等同程度的弹性。擦除编码计划的效力十分主要,由于它间接关联到读写I/O的机能,特殊是关于小文件而言。因为少数大范围工具存储都太大,无奈按期备份,因而牢靠的擦除编码成为AI存储平台的一个基础特征。5、私有云。开辟呆板进修和AI算法须要高机能存储和高机能盘算。很多AI体系都是基于GPU的,比方Nvidia DGX,它能够用于开辟准确算法所波及的很多庞杂数学盘算。私有云效劳供给商曾经开端供给GPU减速的虚构实例,可用于呆板进修。在私有云中运转呆板进修东西下降了构建呆板进修开辟基本设备的资源本钱,同时供给了扩大开辟呆板进修模子所需的基本设备的才能。应用私有云盘算的挑衅在于,怎样以一种同时存在本钱效益和有用性的方法将数据导入私有云。基于云的工具存储速率太慢,跟不上呆板进修的I/O需要;因而,必需应用当地块存储。每耽误一分钟挪动数据,就会带来更多运转基本设备的本钱,以及履行呆板进修的耽误。私有云的另一个成绩是数据导出的本钱。只管云效劳供给商不收取将数据转移到其平台的用度,但它们确切对从其平台外的大众收集拜访的任何数据收取用度。因而,只管私有云在盘算方面供给了机动性,但以实时和经济无效的方法从云中猎取数据并不老是那末简略。供给商正在开辟存储产物,这些产物运转在私有云中,笼罩了当地和云。这些产物能够无效地复制数据或将数据挪动到云中,而且只在实现后将成果挪动返来。这些复制技巧存在高效的带宽,使得在条件上存储数据并导入到云中停止剖析任务变得实在可行。6、集成。在本文中,咱们将呆板进修和AI的数据存储与盘算离开来看。构建AI数据存储能够很艰苦,由于必需斟酌存储收集和调优存储以与呆板进修利用顺序协同任务的其余要素。产物的预打包使供给商可能在将产物托付给客户之前测试和优化其产物。现在,有一些存储产物联合了风行的AI软件、盘算(如通用cpu和gpu)、收集和存储,以托付一个AI停当的平台,很多具体的调优任务是在安排这些体系之前实现的。只管本钱能够是个成绩,但对很多客户来讲,事后打包的体系能够下降采纳AI存储的阻碍。明显,抉择准确的AI数据存储平台,实在是机能、可伸缩性和本钱等目标之间的均衡。准确应用存储平台十分主要,由于波及的数据量十分大。一旦抉择过错,其价值能够是昂扬的。与任何存储产物选型决议一样,主要的是与供给商相同,包含演示和评价,以正确懂得他们的产物怎样满意野生智能和呆板进修的需要。【编纂推举】野生智能有朝一日真的能代替人类老师吗?野生智能究竟能做甚么,明天带你全方面懂得野生智能进校园,恐适度“施展”涉及孩子们的隐衷底线,伤及自负野生智能统计考察:AI遍及让1.2亿休息者须要接收再培训北京、上海、深圳、杭州,谁才是中国野生智能行业一哥?【义务编纂:华轩 TEL:(010)68476606】 点赞 0

上一篇:没有了

下一篇:没有了

返回
版权信息Copyright © 银河官网 版权所有    ICP备案编号:鲁ICP备09013610号