新浪科技讯 3月22日午间消息,近日,英伟达GTC大会上公布了快手的大模型训练解决方案,沿着大模型训练热点演进过程,分享了在计算通信重叠系列优化和超长文本场景下的最佳实践,通过计算通信重叠、异构存储利用、通信资源管控、算子优化等手段,可支持百万级别超长文本训练,并且在训练性能上比 sota 开源方案快 30% 以上。
新浪科技讯 3月22日午间消息,近日,英伟达GTC大会上公布了快手的大模型训练解决方案,沿着大模型训练热点演进过程,分享了在计算通信重叠系列优化和超长文本场景下的最佳实践,通过计算通信重叠、异构存储利用、通信资源管控、算子优化等手段,可支持百万级别超长文本训练,并且在训练性能上比 sota 开源方案快 30% 以上。
--结束END--
有问题投稿请发送至: 邮箱/
本文标题: GTC大会发布快手大模型训练解决方案可支持百万级超长文本
本文链接: http://myship.cn/xinwen/show-4128.html (转载时请保留)