长推：去中心化算力与AI的未来

核心讨论四个问题：

1、为什么大部分去中心化算力项目都选择做AI推理而不是AI训练？

2、英伟达究竟牛在哪里？去中心化算力训练难做的原因在哪？

3、去中心化算力（Render、Akash等）的终局会是什么样？

4、去中心化算法（Bittensor）的终局会是什么样？

接下来咱们层层抽丝剥茧：

1）纵观这个赛道，除了Gensyn之外，大部分的去中心化算力项目都选择做AI推理而不是训练，核心在于对于算力和带宽的要求不同。

为了帮助大家的简单理解，我们来把AI比作一个学生：

- AI训练：如果我们把人工智能比作一个学生，那么训练就类似于给人工智能提供了大量知识、示例也可以理解为我们常说的数据，人工智能从这些知识示例中进行学习。由于学习的本质需要理解和记忆大量的信息，这个过程需要大量的计算能力和时间。

- AI推理：那什么是推理呢？可以理解为利用所学的知识去解决问题或者参加考试，在推理的阶段中人工智能是利用学到的知识去解答，而不是活动新知识，所以在推理过程所需要的计算量是较小的。

容易发现，两者的难度差本质上在于大模型AI训练需要极大的数据量，以及对数据高速通信需要的带宽需求极高，所以目前去中心化算力用作训练的实现难度极大。而推理对于数据和带宽的需求小的多，实现可能性更大。

2）那么数据和带宽的卡点究竟在哪？为什么去中心化训练难以实现？

这就涉及到大模型训练的两个关键要素：单卡算力和多卡并联。

- 单卡算力：目前所有的需要训练大模型的中心，我们把它叫做超算中心。为了方便大家的理解，我们可以以人体作为比喻，超算中心就是人体的组织，底层单元GPU就是细胞。如果单个细胞（GPU）的算力很强，那么整体的算力（单个细胞×数量）也可能会很强。

- 多卡并联：而一个大模型的训练动辄就是千亿GB，对于训练大模型的超算中心来说，至少需要万级别个A100打底。所以就需要调动这几万张卡来进行训练，然而大模型的训练并不是简单的串联，并不是在第一个A100卡上训练完之后再在第二张卡上训练，而是模型的不同部分，在不同的显卡上训练，训练A的时候可能需要B的结果，所以涉及到多卡并行。

为什么英伟达这么厉害，市值一路腾飞，而AMD和国内的华为、地平线目前很难追上。核心并不是单卡算力本身，而是在于两个方面：CUDA软件环境和NVLink多卡通信。

- 一方面，有没有软件生态能适配硬件是非常重要的，如英伟达的CUDA系统，而构建一个新的系统是很难的，就像构建了一个新的语言，替换成本非常高。

- 另一方面，就是多卡通信，本质上多卡之间的传输就是信息的输入和输出，怎么并联，怎么传输。因为NVLink的存在，没有办法把英伟达和AMD卡打通；另外，NVLink会限制显卡之间的物理距离，需要显卡在同一个超算中心中，这就导致去中心化的算力如果分布在世界各地就比较难实现。

第一点解释了为什么AMD和国内的华为、地平线目前很难追上；第二点解释了为什么去中心化训练很难实现。

3）去中心化算力的终局会是什么样？

- 去中心化算力目前难以进行大模型训练，核心在于大模型训练最看重的是稳定性，如果训练中断，需要重新训练，沉没成本很高。其对于多卡并联的要求是很高的，而带宽是受物理距离的限制的。英伟达通过NVLink来实现多卡通信，然而在一个超算中心里面，NVLink会限制显卡之间的物理距离，因此分散的算力无法形成一个算力集群去进行大模型训练。

- 但另一方面，对于算力要求相对较低的需求是可以实现的，例如AI推理，或者是一些特定场景的垂类中小型的模型训练是有可能实现的，在去中心化算力网络中有一些相对大的节点服务商时，是有潜力为这些相对大的算力需求服务的。以及像渲染这类边缘计算的场景也是相对容易实现的。

4）去中心化算法模型的终局会是什么样？

去中心化算法模型的终局取决于对未来AI的终局，我认为未来AI之战可能会是有1-2个闭源模型巨头（如ChatGPT），再加上百花齐放的模型，在这种背景下，应用层产品没有必要和一个大模型绑定，而是与多个大模型合作，在这种背景下来看，Bittensor的这种模式潜力还是非常大的。