导览

机器之心团队报道，GPT-4V的发布为计算机视觉（CV）领域开辟了新机遇，激发了众多研究者探索其在实际应用中的潜力。近期，一篇名为《GPT-4V在自动驾驶领域的初步探索：视觉语言模型在自主驾驶场景中的能力测试》的论文，对GPT-4V在自动驾驶技术中的应用进行了深入分析。

该论文聚焦于GPT-4V在自动驾驶场景中的应用潜力，通过难度递增的测试，从基础理解到复杂推理，直至驾驶决策，全面评估了GPT-4V的能力。论文通过实证研究，展示了GPT-4V在自动驾驶领域的应用前景，尤其是在面对真实场景的全面测评中。

关键发现

• 情景理解：GPT-4V展现了对驾驶环境的初步理解能力，包括辨识天气变化、识别交通信号灯与标志，以及评估多种摄像头拍摄的照片中交通参与者的相对位置和行动。研究还探讨了GPT-4V对不同视角的图像和点云图像的适应性。

• 推理能力：在因果推理方面，GPT-4V展示了处理复杂边缘情况的能力，包括处理角角落落的罕见场景、提供全景视图的支持，以及将现实世界与导航图像关联的能力。研究者利用时间序列图像，评估了GPT-4V在处理连续驾驶情境中的表现。

• 驾驶决策：GPT-4V被模拟成一名驾驶员，根据实时环境信息进行决策。研究通过驾驶视频的逐帧输入，结合基本车速信息和导航目标，评估了其在不同驾驶场景下的表现，如封闭区域的右转离场、交通繁忙的十字路口。

局限性

尽管GPT-4V展现出了在自动驾驶领域的潜力，研究也揭示了其在特定任务上的局限性，包括：

• 方向识别：在某些情况下，GPT-4V在区分左右方向上遇到困难，特别是在复杂的路口决策中。
• 信号灯识别：GPT-4V在识别交通信号灯时存在挑战，特别是在图像裁剪和全图输入中的表现差异。
• 视觉定位：GPT-4V在像素级坐标或边界框的指定上表现欠佳，仅能提供大致的区域指示。
• 空间推理：在处理多视角图像拼接和估算相对位置关系时，GPT-4V的准确度有待提升，反映了其在理解和解释三维空间的复杂性上的挑战。

综上所述，虽然GPT-4V在自动驾驶领域展示了强大的应用潜力，但仍需进一步研究以克服其局限性，以期在未来实现更加安全、高效的自动驾驶系统。