新华视点:大模型玩你画我猜:Claude6局3胜,GPT-4o表现迷惑

智趣 | 2024-11-03| 10

大家好,今天小编来为大家解答【大模型玩你画我猜:Claude6局3胜,GPT-4o表现迷惑】这个问题,很多人还不知道,现在让我们一起来看看吧!

一群大模型玩你画我猜,人类一旁围观超起劲儿。

就像下面这张图展示的,由Grok画长颈鹿,一堆大模型根据生成内容猜答案。参赛选手包括GPT-4o、Claude、Llama、Gemini、Grok等。

其实这是最近爆火的一种新的测试基准(doge)。

游戏结果一定程度上能反映出大模型能力,比如这组测试一共进行了6局游戏,表现最好的是Claude:它赢了3次!

GPT-4o表现有点抽象。就它画的这龙卷风,人类也看不懂。

不止如此,在很多轮游戏中,其他模型都在认认真真地答题,而它的第一个回答经常是Circle??有点子抽象。

所以有人就说,这游戏可以当测试基准来用啊。

还有人表示,AI照这个速度发展,人类就只能当围观的瓦力了。

来看看更多有趣的例子

在比较简单的题目上,所有模型都在一两个回合中就猜对了答案,比如下面的房子

还有非常简洁的草地海洋

动物主题相对复杂一些,模型们一般需要猜4-5轮,比如大象这题:

游戏整体效果非常棒,网友们也是好评如潮:

你画我猜项目起源

模型画画早已不是新鲜事,但让大模型玩你画我猜?这天才想法是怎么产生的?

首先,不得不提到Simon Willison的一次测试,他让所有模型绘制自行车上有一只鹈鹕主题的图像,然后进行效果对比。

随后Paul Calcraft看到测试,他产生了一个想法:这样一个个比对太慢了,效果也不好,既然都画同一个主题,为什么不让大模型玩你画我猜的游戏呢?

没想到这位小哥说干就干,1天后就发布了“你画我猜”的0.0.1版(这令人羡慕的执行力)。

游戏中,他设定回答的模型每2秒猜测一次,回答更快的模型会更快返回答案。

网友评价褒贬不一

不少网友表示,之前大模型在《我的世界》里面比赛盖楼,令人印象深刻,而你画我猜可能成为新的视觉benchmark

还有人热心地提出了优化建议,比如以答对互相题目的速度作为评分准则,或者加入人类成绩作为参考。

还有人提议将游戏变成对抗式训练,这样大模型会进步更快。

不过,抛去趣味性,也有网友持负面观点,表示不理解这个项目的意义。

有网友调侃说,这个游戏的作用就是成为未来AI考古时的文物,帮助它们了解自己的起源。

好嘛,咱们AI有自己的洞穴壁画(doge)。

不过,游戏化学习(Learning through play)其实是教育理论和心理学中的一个重要术语。

多位网友表示,小孩子也是通过玩游戏来提升智力、学习技能的,或许这可以成为训练大模型的新方式。

虽然这次只有6轮游戏,参与的模型也有限,但确实是一次很有趣的实践。

作者Paul Calcraft也表示会继续更新这个游戏,包括分数显示、更多的游戏主题等等,期待更多后续!

以上就是【大模型玩你画我猜:Claude6局3胜,GPT-4o表现迷惑】相关内容,更多资讯请关注科技网

相关推荐相关推荐

每日热门:卢伟冰抵达临沂:小米汽车交付中心即将建成 和特斯拉是邻居

每日热门:卢伟冰抵达临沂:小米汽车交付中心即将建成 和特斯拉是邻居

大家好,今天小编来为大家解答【卢伟冰抵达临沂:小米汽车交付中心即将建成 和特斯拉是邻居】这个问题,很多人还不知道,现在让我们一起来看看吧!快科技11月15日消息,今天下午,小米集团卢伟冰抵达山东临沂。他表示,临沂小米汽车交付中心正在建设中, ...

智趣 4 2024-11-15
央视快评|乐道L60汽车推送OTA 1.0.5更新:新增网易云音乐,优化守卫模式报警灵敏度

央视快评|乐道L60汽车推送OTA 1.0.5更新:新增网易云音乐,优化守卫模式报警灵敏度

大家好,今天小编来为大家解答【乐道L60汽车推送OTA 1.0.5更新:新增网易云音乐,优化守卫模式报警灵敏度】这个问题,很多人还不知道,现在让我们一起来看看吧!IT之家 11 月 15 日消息,乐道汽车今日宣布,今日(11 月 15 日)起陆续向乐道 L60 汽车推送 ...

智趣 4 2024-11-15
专家热议:AI推理时代:算力能耗瓶颈下的“密钥”何在?

专家热议:AI推理时代:算力能耗瓶颈下的“密钥”何在?

大家好,今天小编来为大家解答【AI推理时代:算力能耗瓶颈下的“密钥”何在?】这个问题,很多人还不知道,现在让我们一起来看看吧!作者 | 程茜编辑 | 漠影2024年,千行百业对AI推理的需求将呈现出爆发式增长,行业对算力的需求远远超越以往。在这样的形势 ...

智趣 3 2024-11-15
全球讯息:拥有 10 台电机的仰望 U7,开启了中国品牌的高端轿车之路

全球讯息:拥有 10 台电机的仰望 U7,开启了中国品牌的高端轿车之路

大家好,今天小编来为大家解答【拥有 10 台电机的仰望 U7,开启了中国品牌的高端轿车之路】这个问题,很多人还不知道,现在让我们一起来看看吧!仰望 U7 一共有多少台电机?在今天开幕的广州车展里,仰望汽车为我们公布了答案——10 台。你没有看错,就是 1 ...

智趣 5 2024-11-15
每日热讯|锐龙7 9800X3D首次烧毁:微星官方回应正在调查

每日热讯|锐龙7 9800X3D首次烧毁:微星官方回应正在调查

大家好,今天小编来为大家解答【锐龙7 9800X3D首次烧毁:微星官方回应正在调查】这个问题,很多人还不知道,现在让我们一起来看看吧!近日,一位Reddit网友称自己的锐龙7 9800X3D被烧毁了,连带微星MAG X870 TOMAHAWK WIFI主板插座也被烧毁,引发广泛关注 ...

智趣 7 2024-11-15
【新浪热榜】“马部长”公布招人要求:超高智商、每周工作80小时、薪酬为零

【新浪热榜】“马部长”公布招人要求:超高智商、每周工作80小时、薪酬为零

大家好,今天小编来为大家解答【“马部长”公布招人要求:超高智商、每周工作80小时、薪酬为零】这个问题,很多人还不知道,现在让我们一起来看看吧!财联社11月14日讯当地时间周四(11月14日),美国“政府效率部”(Department of Government Efficiency) ...

智趣 6 2024-11-15
世界短讯!亚马逊推出Fire TV Soundbar Plus电视音箱:3.1声道、135W总功率,269.99欧元

世界短讯!亚马逊推出Fire TV Soundbar Plus电视音箱:3.1声道、135W总功率,269.99欧元

大家好,今天小编来为大家解答【亚马逊推出Fire TV Soundbar Plus电视音箱:3.1声道、135W总功率,269.99欧元】这个问题,很多人还不知道,现在让我们一起来看看吧!IT之家 11 月 15 日消息,亚马逊今天在海外推出一款 Fire TV Soundbar Plus 电视音箱, ...

智趣 3 2024-11-15
今日热讯:腾讯宣布新的干部轮岗安排,两位副总裁张孝超、姚晓光履新

今日热讯:腾讯宣布新的干部轮岗安排,两位副总裁张孝超、姚晓光履新

大家好,今天小编来为大家解答【腾讯宣布新的干部轮岗安排,两位副总裁张孝超、姚晓光履新】这个问题,很多人还不知道,现在让我们一起来看看吧!IT之家 11 月 15 日消息,腾讯控股在 11 月 13 日发布了截至 9 月 30 日的 2024 年第三季度财报:营收 1672 ...

智趣 2 2024-11-15
宇瞻发布NOX RGB DDR5电竞内存条,速度高达8000MT/s

宇瞻发布NOX RGB DDR5电竞内存条,速度高达8000MT/s

btna网 11 月 15 日消息,宇瞻Apacer昨日宣布推出NOX RGB DDR5电竞超频内存条,命名为“暗黑女神”。该内存条有两种配色可选:暴雪银和经典黑,均采用低高度的RGB马甲设计。 NOX RGB DDR5系列内存条流线型设计,配备薄型铝合金散热器,高度低于44m ...

智趣 2 2024-11-15
小米发布超级智能驾驶技术Hyper Autonomous Driving(HAD)

小米发布超级智能驾驶技术Hyper Autonomous Driving(HAD)

btna网 11 月 15 日消息,雷军在广州车展发布会上宣布,小米智能驾驶技术进入新阶段,命名为Hyper Autonomous

智趣 2 2024-11-15