最近，市场讨论焦点主要在AI分布式云算力聚合平台上，但Messari一份报告却把注意力聚焦到了AI去中心化推理方向。而且该报告提到了 @MarlinProtocol 所推出的teeML去中心化推理架构，一种利用可信执行环境（TEE）来提供计算证明的方式。

为什么要做分布式推理架构？逻辑很简单，ChatGPT等大模型Prompt推理都依赖一个可信的中心化的模型服务器实体，比如：OpenAI，用户无法确保数据在推理过程中是否被恶意篡改或窥探。

而若采用分布式推理，用户的每次调用大模型输入和输出，都能有可验证的计算做保证，用户无需信任中心化的服务提供上，而仅可依赖密码学或者其他数据或安全模型来建立信任连接。

Marlin我之前有写文章分析过，主要定位做去中心化的节点增强服务，去中心化AI服务是其发力的一个核心场景。Marlin通过TEE可信执行环境协处理器，在节点硬件存储系统中构建了安全隔离的Enclave飞地环境，继而可实现AI数据模型训练和推理等服务。

在去中心化推理背景下，模型提供者可以选择在TEE环境下运行模型，并生成加密证明，由于证明本身也在TEE内环境下，因此可确保模型在运行过程中不被透露或篡改。

当然，在Messari的报告中，还提到了除了TEE之外的另外两种分布式推理架构方式：

1）基于zkML零知识证明协议，ZK可以证明某个输出是特定的Dataset产生的，ZK可以成为支撑模型运行的服务器和模型输出结果的可信桥梁。 @ProjectZKM 提供的zkVM可信验证最近也和Marlin达成了战略合作，会作为底层技术支持帮助Marlin基于zkVM进一步强化分布式推理能力；

2）基于Optimism ML乐观机器学习，和OP-Rollup逻辑类似，多方实体可共同参与指定的推理验证，若对结果存在分析，可以开启挑战模式，理论上，只有有一个诚实的验证者实体，opML就称得上安全可信。相比zkML，opML计算成本更低，但也会存在挑战时间窗口。代表项目有Ora 和 @HyperspaceAI.

总之，在我看来，当分布式AI聚合算力的应用场景被跑通，大量的中小型AI训练、推理、微调以及渲染等需求涌入后，一个完全分布式的可验证的推理计算证明就成了必须。分布式推理赛道也会随之热闹起来。