你的位置:巨屌porn > 欧美人体艺术 >

哥俩撸 中国工程院院士郑纬民:执续优化数据存储结构

哥俩撸 中国工程院院士郑纬民:执续优化数据存储结构

  近日,在2024 Inclusion·外滩大会上,中国工程院院士、清华大学计较机科学与时刻系教悔郑纬民罗致上海证券报记者专访暗示,东谈主工智能将对经济发展和东谈主民生流水平耕种进展着越来越大的作用。东谈主工智能发展离不开三个身分,隔离是数据、算法、算力。算力扩容,除加强基础门径设置外,还应该千方百计扩大存储。建议东谈主工智能企业通过连接优化数据存储结构布置算力挑战。

  郑纬民觉得,大模子需要大算力,也需要大存储,但相应会导致大老本,“大模子生命周期的每一个身手齐与存储系统关连。散播式时刻又存在于大模子生命周期的每一环,建议优化里面存储结构,向存储要算力”。

  郑纬民分析称,比如在数据得到阶段,大模子熟识需要收罗海量多模态小文献,任一模态的数据集包含多达数亿至数百亿小文献,对文献系统元数据管制提议挑战。在数据处理阶段,泛泛、赶紧的小样本读取等海量数据(603138)处理也对底层大数据处理框架提议挑战。模子熟识阶段,查验点文献读写对存储系统读写提议挑战。在模子推理阶段,模子参数和中间恶果KVCache对内存系统容量和传输速率提议挑战,中间恶果KVCache不时要占据更多存储空间。

  “奈何花更少的资金设置更巨大的基础门径,兴奋更大的商场需求?东谈主工智能企业不要一味追求硬件扩容,应在软件优化上寻求处置决策。”郑纬民说。

  他建议,大模子企业在推理历程中,应试虑为历史中间恶果KVCache寥落成立高容量、高宽带的存储系统,保留中间恶果,以便重叠摆布,从简算力。“以大模子赞助读论文场景为例哥俩撸,当不同用户对合并篇论文进行发问,唯有能将分享的可复用的部分保存下来屡次复用,就不错大幅缩短算力支拨。”郑纬民说。

国产色片



Powered by 巨屌porn @2013-2022 RSS地图 HTML地图

Copyright Powered by站群系统 © 2013-2024