Dragonfly 合伙人:“不要信任,亲自验证”在去中心化推理中的应用
大型语言模型Llama2-70B需要超过140GB内存,无法在家用计算机运行。解决方案有转向云服务,但信任问题仍存在。可验证推断有三种方法:零知识证明(高成本)、乐观型欺诈证明(安全但成本高)、加密经济学(安全且成本低)。每种方法都有优缺点,需要根据网络参数和需求选择。GPT-3推断成本约为1 petaflop,但博弈论表明几乎不可能发生。验证ML困难,因为计算图不是为了被证明而设计。去中心化推理网络需要考虑许多细节,但区块链和机器学习都是创造信任的技术。期待企业家如何利用这些工具来构建最佳网络。