AI 的“心智理论”难题：Meta ExploreToM 探索突破之路

IT之家于12月20日报道，Meta公司联合华盛顿大学与卡内基梅隆大学，成立研究团队，共同推出了ExploreToM框架，该框架的目标是在评估和训练大型语言模型（LLM）在心智理论（Theory of Mind，ToM）能力方面更加高效。

心智理论解读

心智理论（Theory of Mind，ToM）是理解人类社会智能的重要组成部分，帮助我们理解他人的思维、意图与信念。这种认知能力在有效沟通和协作中扮演着至关重要的角色，是复杂社会互动的基石。

让人工智能具备ToM能力，对于建立能够与人类自然交流的智能系统至关重要，但现有的大型语言模型（LLM）在ToM方面依然面临显著挑战。

当前的基准测试往往缺乏复杂性和多样化，导致对模型能力的高估。例如，许多测试基于简单的预设场景，未能反映人类推断心理状态时所需的复杂推理过程。

ExploreToM框架概述

ExploreToM通过构建多样化且可扩展的对抗性数据集，为提高AI的ToM能力提供了坚实的基础。研究指出现有模型的局限性，并强调了高质量训练数据在弥补这些不足方面的重要性。

在数据集构建上，ExploreToM利用A*搜索算法和特定领域的语言生成技术，创建多样化且难度较高的测试数据集，以模拟复杂的社会情境，从而挑战LLM的认知极限。

与现有基准测试不同，ExploreToM旨在通过设计对抗性故事情境，揭示LLM在ToM推理中的盲点。

此外，此框架还引入了不对称信念更新机制，模拟不同角色对相同情境持有不同视角的复杂社交互动。

主流模型测试结果

在ExploreToM数据集上，GPT-4o和Llama-3.1-70B模型的准确率分别仅为9%和0%，显示出现有LLM在处理复杂ToM推理时的不足。

经过在ExploreToM数据集上微调后，这些模型在经典ToMi基准测试中的准确率提升了27个百分点，验证了框架的有效性。

IT之家提供相关链接

• Meta AI推出ExploreToM：一种程序引导的对抗性数据生成方法，用于心智理论推理

• 探讨心智理论：程序引导的对抗性数据生成针对心智理论推理

• GitHub

• huggingface

广告声明：文中包含的外部链接（如超链接、二维码、口令等），为传达更多信息而设，供参考，具体结果以实际情况为准。