《神奇宝贝》是东谈主工智能的一个粗重基准？ 一组盘问东谈主员觉得《超等马里奥昆季》挑战性更高。加利福尼亚大学圣迭戈分校Hao东谈主工智能实验室（Hao AI Lab）的盘问东谈主员周五将东谈主工智能干涉到现场直播的《超等马里奥昆季》游戏中。 Anthropic 的 Claude 3.7 发扬最佳开心五月，其次是 Claude 3.5。 Google的 Gemini 1.5 Pro 和 OpenAI 的 GPT-4o 则发扬欠安。
要知谈，《超等马里奥昆季》的版块与 1985 年发布的原版并空虚足考虑。 游戏在模拟器中初始，并与 GamingAgent框架集成，让东谈主工智能适度马里奥。
Hao AI Lab自行缔造的 GamingAgent 向东谈主工智能提供了基本教导，如"要是有辞谢物或敌东谈主围聚开心五月，向左移动/当先规避"以及游戏截图。 然后，东谈主工智能以 Python 代码的面目生成适度马里奥的输入。
不外，Hao说，游戏迫使每个模子"学习"权术复杂的操作和制定游戏战略。 道理的是，实验室发现，推理模子（如 OpenAI 的 o1模子，通过一步步"想考"问题来得出惩处有盘算推算）的发扬不如"非推理"模子，尽管它们在大大齐基准测试中广博更强。
盘问东谈主员示意，推理模子在玩此类及时游戏时碰到坚苦的主要原因之一是，它们需要一段时候--相通是几秒钟--来决定步履。 在《超等马里奥昆季》中，时候等于一切。 一秒钟的时候意味着你是安全跳过已经摔下山地。
几十年来，游戏一直被用来行动东谈主工智能的基准。 关联词一些大家质疑将东谈主工智能的游戏手段与本领普及关联起来是否贤达。 与履行寰球不同，游戏时常是详细的、相对浅易的，况兼从表面上讲，它们为锻练东谈主工智能提供了无尽量的数据。
最近轻薄的游戏基准标明，OpenAI 的盘问科学家和首创成员 Andrej Karpathy 正面对着一场"评估危急"。
他在 X 上的一篇帖子中写谈："我竟然不知谈当前该看什么 [AI] 办法。TLDR，我的响应是我竟然不知谈这些模子当前有多好。"
但至少咱们不错看东谈主工智能玩马里奥了开心五月。