八三看书

436. 新的冲击 DeepSeek（第2页）

“如果能有后来的H100集群，我所需要的显卡数量可以减少至少8到10倍。”孟繁岐如今受到的一大限制，就是继续拓展算法边界所需要的显卡数量实在太多了。

卡一多，它就容易出问题，和人一样。

假设说一张卡训练三个月，百分之99.99的概率都是正常的。

当这个数字来到2000，乃至10000的时候，这个概率则会惊人地降低为82%和百分之37%。

也就是说，当你使用万卡集群的时候，想让每一张卡都能顺顺利利地把工作给完成了，这个可能性只有可怜的三分之一。

而只要一张卡出现了问题，就势必会对整个集群产生影响，中止训练。

为了避免这种一卡罢工，万卡围观的情况发生，孟繁岐投入了大量的资源和时间。

可GPT4o，以及具有推理功能的o1之上，使用旧有办法继续提升性能的空间并不太大了。

孟繁岐这边收效甚微，便给了追赶者们极大的机会。

原本性能差了closeai许多的诸多大厂们，都在过去的这段时间里大大缩短了大模型性能之间的差距。

“从根本上来看，硬件设备对我的限制其实远超软件算法。”孟繁岐此前一直认为自己失去先知优势后，无法继续软件上的突破将会是最大的问题。

如今看来并非如此，随着与孟繁岐关系亲近的那个男人下台，拜老登政府限制英伟达的计算设备出口中国。

这让一心想要走在算法技术最前沿倍感压力。

虽然以他和老黄以及英伟达的关系，可以通过诸多方式绕开此禁令。可不论如何，这都称得上是巨大的困扰。

倍感无奈的孟繁岐开始向内寻求算法突破，以期待能够降低自己对显卡设备的需求。

可原本孟繁岐比较看好的两个技术方向，都没有取得预期的成功。

其一，孟繁岐很早就意识到，早期深度学习模型大多依赖于FP32（32位浮点数）的高精度计算，虽然结果准确，但计算量和存储需求巨大。

根据前世的经验，孟繁岐早早就推动了FP16（16位浮点数）训练和推理。这种格式可以节约一半的计算资源，虽然会稍稍影响模型的性能，但在针对性的优化下几乎可以忽略不计，这也是前世的主流训练模式。

如今，被计算设备所限制的孟繁岐被迫探索准确度更差的FP8（8位浮点数）。

前世的通识是，该模式计算效率极高，但精度损失更大，适用范围非常有限。