消费金融网站建设,wordpress 下雪,中国最新消息今天,专门做定制的网站Meta 的 FAIR 团队最近推出了一款名为 Dualformer 的全新 Transformer 模型#xff0c;该模型模仿人类的双重认知系统#xff0c;能够无缝整合快速和慢速推理模式#xff0c;在推理能力和计算效率上取得了显著突破。
人类的思维过程通常被认为是由两种系统控制的:系统1快速…Meta 的 FAIR 团队最近推出了一款名为 Dualformer 的全新 Transformer 模型该模型模仿人类的双重认知系统能够无缝整合快速和慢速推理模式在推理能力和计算效率上取得了显著突破。
人类的思维过程通常被认为是由两种系统控制的:系统1快速直观系统2则更慢但更具逻辑性。
传统的 Transformer 模型通常只模拟了系统1或系统2中的一种导致模型要么速度快但推理能力差要么推理能力强但速度慢且计算成本高。 Dualformer 的创新之处在于其训练方式。研究人员利用随机推理轨迹对模型进行训练在训练过程中随机丢弃轨迹的不同部分类似于分析人类思维过程并创建捷径。这种训练策略使 Dualformer 能够在推理时灵活切换不同的模式:
快速模式: Dualformer 只输出最终解决方案速度极快。
慢速模式: Dualformer 会输出完整的推理链和最终解决方案推理能力更强。
自动模式: Dualformer 可以根据任务的复杂程度自动选择合适的模式。 实验结果表明Dualformer 在迷宫导航和数学问题求解等任务上表现出色。在慢速模式下Dualformer 能够以97.6% 的成功率解决30x30的迷宫导航任务超越了只使用完整推理轨迹训练的 Searchformer 模型同时推理步骤减少了45.5%。 在快速模式下Dualformer 的成功率也高达80%远高于只使用最终解决方案训练的 Solution-Only 模型。在自动模式下Dualformer 则能够在保持高成功率的同时显著减少推理步骤。 Dualformer 的成功表明将人类认知理论应用于人工智能模型设计能够有效提升模型的性能。这种融合快慢思维的模式为构建更强大、更高效的 AI 系统提供了新的思路。 参考文章Meta新模型Dualformer融合快慢思维推理能力媲美人脑 | 进击的胖虎
