开云体育[永久网址:363050.com]成立于2022年在中国，是华人市场最大的线上娱乐服务供应商而且是亚洲最大的在线娱乐博彩公司之一。包括开云、开云棋牌、开云彩票、开云电竞、开云电子、全球各地赛事、动画直播、视频直播等服务。开云体育,开云体育官方,开云app下载,开云体育靠谱吗,开云官网，欢迎注册体验！

　　DeepSeek研究人员开发了一种名为流形约束超连接（mHC）的技术，能够提升人工智能模型的性能。

　　DeepSeek创建mHC是为了增强大语言模型用于学习新信息的残差连接机制。这种机制发明于2015年，也广泛应用于许多视觉模型中。DeepSeek并非首个尝试改进残差连接的公司，但此前的尝试结果喜忧参半。

　　AI模型由众多被称为层的软件组件组成。当用户输入提示时，文本进入第一层，执行生成响应所需的一小部分计算。第一层将计算结果发送给第二层，第二层完成另一部分工作，将结果传递给第三层，以此类推。最后一层向用户输出答案。

　　最后一层在AI训练过程中发挥关键作用。如果模型输出错误的响应，最后一层会接收到所谓的梯度信号。梯度是一个表明AI犯错的信号，也包含了模型如何改进的信息。梯度进入最后一层，然后向后传播通过AI结构的其余部分，直到到达第一层。

　　2015年，研究人员发明了一种名为残差连接的梯度管理机制。这是一种快捷方式，使梯度能够直接在两个距离较远的AI层之间传播，而无需通过中间的所有层。残差连接缓解了几种常见的AI训练错误，这也是它们在大语言模型和视觉模型中被广泛使用的原因。

　　去年9月，研究人员推出了残差连接的替代方案——超连接。它解决了残差连接机制的几个不足，但也有自身的局限性。DeepSeek本周推出的mHC架构是超连接的增强实现版本，避免了后者相关的几个技术挑战，使其更适合生产使用。

　　mHC的主要创新在于它融合了所谓的流形。流形是一个广泛的数学对象家族，复杂程度差异很大。一些流形是简单的几何形状如圆形，而另一些则跨越三维以上的空间。DeepSeek表示，mHC使用流形来维持梯度在AI模型各层之间传播时的稳定性。

　　该公司通过使用mHC架构训练了3个分别拥有30亿、90亿和270亿参数的大语言模型来测试这一架构。然后使用超连接技术训练了三个参数量相同的其他模型。据DeepSeek称，在八个不同的AI基准测试中，mHC驱动的大语言模型表现更佳。

　　该公司表示，这种架构在硬件效率方面也优于超连接。超连接机制显著增加了大语言模型在训练期间的内存需求。在内部测试中，DeepSeek确定mHC仅产生6.27%的硬件开销。

　　通过深化对拓扑结构如何影响优化和表示学习的理解，mHC将有助于解决当前的局限性，并可能为下一代基础架构的演进照亮新的道路，DeepSeek研究人员在mHC论文中写道。

　　A：mHC（流形约束超连接）是DeepSeek开发的AI架构技术，用于提升人工智能模型性能。它是超连接技术的增强版本，通过融合流形数学对象来维持梯度传播的稳定性，避免了超连接的技术挑战，更适合生产使用。

　　A：在测试中，使用mHC架构训练的大语言模型在八个不同AI基准测试中均优于使用超连接技术训练的同等参数模型。此外，mHC在硬件效率方面也更优秀，仅产生6.27%的硬件开销，而超连接会显著增加内存需求。

　　A：残差连接是2015年发明的梯度管理机制，允许梯度直接在距离较远的AI层间传播。超连接是去年9月推出的残差连接替代方案，解决了残差连接的一些不足但有自身局限。mHC则是超连接的增强实现版本。

　　本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。