产业动态

百度智能云千帆大模型2.0全面升级

  9月5日,在2023百度云智大会上,百度智能云千帆大模型平台宣布实现2.0全面升级,月活企业数已近万家,覆盖金融、制造、能源、政务、交通等行业的400多个业务场景。

  据百度集团执行副总裁、百度智能云事业群总裁沈抖介绍,升级后的百度智能云千帆平台2.0拥有“四个最”:预置最多的大模型和数据集、有最丰富最全面的工具链、最佳算力效能、最完备的大模型安全方案。

  在大模型方面,千帆平台纳管的国内外主流大模型达到42个,还预置了41个高质量有行业特色的数据集,预装了知识问答、客服对话、代码助手等10个精选应用范式,能够大幅降低企业使用、训练和推理大模型的门槛。此外,千帆不仅纳管大模型,还可增强大模型的能力。本次全新升级中文增强,可大幅提升大模型中文理解和生成能力,例如LIama2的国外大模型,也可实现中文对话好的效果。同时还全面提升训练和推理性能,训练LlaMA 2的总体吞吐可以提升1/4,推理甚至能提升3倍。

  在工具链方面,大模型开发、训练、部署、应用开发各个环节是紧密结合的。据介绍,千帆整套的工具链可以无缝衔接全生命周期的各个业务流程,最大化提升效率。过去用户验证大模型的效果至少需要一周时间,现在基于一站式的工具链,只需一天就可以跑通一个模型并看到效果。

  在算力效能方面,千帆底层是一套集合了异构算力集群、高速互联的网络、高性能存储,能够支撑万卡规模训练的AI算力基础设施,可将大模型训练、推理的成本降到最低。不仅如此,千帆平台还兼容国内外主流芯片和操作系统,企业客户的算法可以以最小的修改成本在这些硬件上运行。

  在大模型安全方面,通过千帆的安全机制,企业能够构建四层安全防线,全方位保障大模型的内容安全、数据安全和系统安全。对合规要求很高的客户,千帆支持国内、国外主流芯片和操作系统,也支持私有化部署,确保每个企业自己的大模型都自主可控。