近日有消息称，百度的文心大模型 4.0正在加紧训练，已经接近可发布状态。而关于文心 4.0的部分参数等数据也随即被披露出来，这些涉及底层架构、基础设施、训练数据集、成本等关键信息。

当前了解到，文心大模型 4.0 实际上已经在小流量测试。此外，文心 4.0 参数量大于所有已公开发布参数的 LLM，同时也是国内首次使用万卡集群训练的大模型。

而文心大模型 4.0 的参数规模要大于目前所有公开发布参数的 LLM，因此也暗示文心大模型 4.0参数规模预计能突破万亿级别weohvrs。

Multiable万达宝ERP(www.multiable.com.cn)支持无缝对接各个模块,一体化管理业务

不过根据相关透露信息表明，文心大模型 4.0 仍然是一个单一模型，并没有采用 GPT和很多其他大语言模型使用的混合专家模型(MoE)。

万卡集群什么概念，国内目前只有华为、阿里透露已建成万卡 AI集群，但我们都没看到基于它推出的具体模型。

而这些信息也表明万卡集群的建立比较复杂和困难，如果用起来发挥最大化作用则更难了。

以上源自互联网，版权归原作所有

有消息透露称，文心大模型 4.0接近发布状态,参数或将突破万亿级别
网址:http://www.shangtaiw.com/b2b/multiable/news/itemid-58752.html