CoT+Transformer解决计算问题

优势

• 语言理解和生成能力

劣势

• 串行计算能力。
• Transformer只擅长做哪些一步到位、并行处理的任务。

解决方案 - 思维链CoT

时间换空间

CoT 步数与模型表达能力之间存在有趣的关系：

1. 对数级 CoT 步数不足以使模型超越 AC0。
2. 多项式级 CoT 步数使得模型可以计算 P/poly 类中的所有电路。
3. 线性级 CoT 步数则使模型能够计算所有正则语言。

未来基于CoT的研究方向

1. 自适应 CoT

想象一个能根据问题复杂度自动调整思维链长度的 AI 系统。简单问题快速解决，复杂问题细细推敲。

2. 多模态 CoT

将 CoT 方法扩展到图像、音频等多模态任务中。AI 不仅能解释文字，还能一步步分析图片、视频中的复杂场景。

3. 协作式 CoT

多个 AI 系统协同工作，每个系统负责思维链中的不同部分，共同解决超大规模的复杂问题。

4. 可编辑 CoT

允许人类专家干预和修改 AI 的推理过程，创造人机协作的新模式。

挑战

生成和处理长链推理需要大量计算资源，这在某些实时应用场景中可能成为瓶颈。

此外，如何确保每一步推理都是正确的，避免错误传播和放大，也是需要解决的问题