港中文MMLab推出MME-COT基准，深度对比DeepSeek、OpenAI与Kimi的视觉推理实力

　　在当前人工智能领域，OpenAI的o1和DeepSeek-R1通过链式思维（Chain-of-Thought, CoT）展现出强大的推理能力。然而，这一能力对视觉推理的帮助程度如何，以及如何进行细粒度评估，仍然是一个未解的问题。为此，来自香港中文大学MMLab的研究者们提出了MME-CoT，这一全新的基准体系旨在系统地评估大型语言模型（LMMs）在视觉推理方面的表现。

MME-CoT的定义与目的

　　MME-CoT是一个全面且专门用于评估LMM视觉推理能力的基准，涵盖数学、科学、光学字符识别（OCR）、逻辑、时空以及通用场景等多个领域。与以往的基准相比，MME-CoT引入了一个严格且多方面的评估框架，旨在细致研究视觉CoT的各个方面，特别是在推理质量、鲁棒性（系统在内部结构或外部环境变化时的稳定性能）和效率等方面的表现。

实验测试与结果分析

　　研究者们对多种最新推出的LMM进行了测试，包括Kimi k1.5、GPT-4o和QVQ等。尤其值得一提的是，团队还将图像转化为描述文本后，对DeepSeek-R1和o3-mini进行了测试。基于实验结果，研究人员得出了几个重要结论。

　　首先，DeepSeek-R1在文本推理能力方面表现卓越，使用图像的caption就能在精确度上超越真实看到图片的GPT-4o，其最终的CoT质量与GPT-4o仅相差1.9%。这表明，通过有效的文本转换，模型可以在视觉信息中提炼出有效的推理能力。

　　其次，引入反思能力显著提升了CoT的质量。具备反思能力的LMM普遍展现出较高的CoT表现。例如，QVQ达到了62.0%的F1分数，远超Qwen2-VL-72B的6.8%。而Kimi k1.5则进一步超越GPT-4o，达到最佳质量。

鲁棒性与效率的考量

　　在鲁棒性方面，研究发现多数早期模型在感知任务中受到CoT的负面影响，表现出过度思考的有害行为。其中，InternVL2.5-8B在应用CoT后，其性能下降6.8%，这使得将CoT推理作为默认操作的可行性受到质疑。

　　关于CoT的效率，研究表明输出较长CoT的模型在步骤之间的相关性不足，模型容易被图像内容分散注意力，尤其是在处理通用场景、时空和OCR任务时。约30%到40%的反思步骤未能有效协助问题解答，突显了当前模型反思能力的重要缺陷。

评估框架的创新性

　　当前绝大多数的LMM基准仅评估最终答案的正确性，而忽视了推理过程中可能存在的问题。这导致模型推理能力的夸大和偏差。为此，研究者们提出了三个不同的评估方向，每个方向致力于回答一个关键问题，确保全面了解视觉CoT的各个属性。

　　在评估模型的推理过程时，研究者们引入了两个可解释的指标，以更深入地评估CoT的质量。同时，为了衡量鲁棒性，MME-CoT包括了两种任务类别：感知任务和推理任务，以及两种不同的提示形式：要求模型直接回答（answer directly）和采用CoT回答（think step by step）。

面临的挑战与未来展望

　　尽管长思维链模型在精确率上具有优势，但每个步骤的信息量却难以保障。研究团队观察到，虽然某些模型在最终答案的正确性上表现良好，但它们的召回率却未必高，可能会跳过中间步骤，这与CoT倡导的逐步思考原则相矛盾。因此，针对这种现象，未来的研究需要探讨如何在保证准确性与效率之间取得更好的平衡。

　　此外，研究还发现，参数量更大的模型通常在有效性评分上表现优越。这一模式在LLaVA-OV、InternVL2.5-MPO和Qwen2-VL中均有明显体现。这些发现部分验证了R1论文中的关键发现：同样的训练环境下，更大的参数模型能更好地掌握推理能力。

结论

　　展望未来，MME-CoT不仅为评估LMM的推理能力提供了系统化的基准，也为这一领域的研究指明了发展方向。通过揭示现有模型在推理质量、鲁棒性和计算效率等方面的不足，MME-CoT为后续研究奠定了重要基础。这些发现将推动LMM实现更强大且可靠的视觉推理能力，为人工智能技术的未来发展提供支持。