长推:去中心化算力与AI的未来

Fred热度: 16862

本文讨论了去中心化算力项目选择AI推理的原因,英伟达在算力方面的优势,以及去中心化算力和算法模型的终局。目前难以实现大模型训练,但对于算力要求较低的需求,如AI推理和边缘计算,仍有潜力。未来可能会有少数闭源模型巨头,但多个大模型合作的模式也有潜力。

摘要由 Mars AI 生成
本摘要由 Mars AI 模型生成,其生成内容的准确性、完整性还处于迭代更新阶段。

原文作者:Fred

原文来源:Twitter@Dacongfred

核心讨论四个问题:

1、为什么大部分去中心化算力项目都选择做AI推理而不是AI训练?

2、英伟达究竟牛在哪里?去中心化算力训练难做的原因在哪?

3、去中心化算力(Render、Akash等)的终局会是什么样?

4、去中心化算法(Bittensor)的终局会是什么样?

接下来咱们层层抽丝剥茧:

1)纵观这个赛道,除了Gensyn之外,大部分的去中心化算力项目都选择做AI推理而不是训练,核心在于对于算力和带宽的要求不同。

为了帮助大家的简单理解,我们来把AI比作一个学生:

- AI训练:如果我们把人工智能比作一个学生,那么训练就类似于给人工智能提供了大量知识、示例也可以理解为我们常说的数据,人工智能从这些知识示例中进行学习。由于学习的本质需要理解和记忆大量的信息,这个过程需要大量的计算能力和时间。

- AI推理:那什么是推理呢?可以理解为利用所学的知识去解决问题或者参加考试,在推理的阶段中人工智能是利用学到的知识去解答,而不是活动新知识,所以在推理过程所需要的计算量是较小的。

容易发现,两者的难度差本质上在于大模型AI训练需要极大的数据量,以及对数据高速通信需要的带宽需求极高,所以目前去中心化算力用作训练的实现难度极大。而推理对于数据和带宽的需求小的多,实现可能性更大。

2)那么数据和带宽的卡点究竟在哪?为什么去中心化训练难以实现?

这就涉及到大模型训练的两个关键要素:单卡算力和多卡并联。

- 单卡算力:目前所有的需要训练大模型的中心,我们把它叫做超算中心。为了方便大家的理解,我们可以以人体作为比喻,超算中心就是人体的组织,底层单元GPU就是细胞。如果单个细胞(GPU)的算力很强,那么整体的算力(单个细胞×数量)也可能会很强。

- 多卡并联:而一个大模型的训练动辄就是千亿GB,对于训练大模型的超算中心来说,至少需要万级别个A100打底。所以就需要调动这几万张卡来进行训练,然而大模型的训练并不是简单的串联,并不是在第一个A100卡上训练完之后再在第二张卡上训练,而是模型的不同部分,在不同的显卡上训练,训练A的时候可能需要B的结果,所以涉及到多卡并行。

为什么英伟达这么厉害,市值一路腾飞,而AMD和国内的华为、地平线目前很难追上。核心并不是单卡算力本身,而是在于两个方面:CUDA软件环境和NVLink多卡通信。

- 一方面,有没有软件生态能适配硬件是非常重要的,如英伟达的CUDA系统,而构建一个新的系统是很难的,就像构建了一个新的语言,替换成本非常高。

- 另一方面,就是多卡通信,本质上多卡之间的传输就是信息的输入和输出,怎么并联,怎么传输。因为NVLink的存在,没有办法把英伟达和AMD卡打通;另外,NVLink会限制显卡之间的物理距离,需要显卡在同一个超算中心中,这就导致去中心化的算力如果分布在世界各地就比较难实现。

第一点解释了为什么AMD和国内的华为、地平线目前很难追上;第二点解释了为什么去中心化训练很难实现。

3)去中心化算力的终局会是什么样?

- 去中心化算力目前难以进行大模型训练,核心在于大模型训练最看重的是稳定性,如果训练中断,需要重新训练,沉没成本很高。其对于多卡并联的要求是很高的,而带宽是受物理距离的限制的。英伟达通过NVLink来实现多卡通信,然而在一个超算中心里面,NVLink会限制显卡之间的物理距离,因此分散的算力无法形成一个算力集群去进行大模型训练。

- 但另一方面,对于算力要求相对较低的需求是可以实现的,例如AI推理,或者是一些特定场景的垂类中小型的模型训练是有可能实现的,在去中心化算力网络中有一些相对大的节点服务商时,是有潜力为这些相对大的算力需求服务的。以及像渲染这类边缘计算的场景也是相对容易实现的。

4)去中心化算法模型的终局会是什么样?

去中心化算法模型的终局取决于对未来AI的终局,我认为未来AI之战可能会是有1-2个闭源模型巨头(如ChatGPT),再加上百花齐放的模型,在这种背景下,应用层产品没有必要和一个大模型绑定,而是与多个大模型合作,在这种背景下来看,Bittensor的这种模式潜力还是非常大的。

声明:本文为入驻“MarsBit 专栏”作者作品,不代表MarsBit官方立场。
转载请联系网页底部:内容合作栏目,邮件进行授权。授权后转载时请注明出处、作者和本文链接。未经许可擅自转载本站文章,将追究相关法律责任,侵权必究。
提示:投资有风险,入市须谨慎,本资讯不作为投资理财建议。
免责声明:本文不构成投资建议,用户应考虑本文中的任何意见、观点或结论是否符合其特定状况,及遵守所在国家和地区的相关法律法规。