大家好,今天小编来为大家解答【大模型玩你画我猜:Claude6局3胜,GPT-4o表现迷惑】这个问题,很多人还不知道,现在让我们一起来看看吧!
一群大模型玩你画我猜,人类一旁围观超起劲儿。
就像下面这张图展示的,由Grok画长颈鹿,一堆大模型根据生成内容猜答案。参赛选手包括GPT-4o、Claude、Llama、Gemini、Grok等。
其实这是最近爆火的一种新的测试基准(doge)。
游戏结果一定程度上能反映出大模型能力,比如这组测试一共进行了6局游戏,表现最好的是Claude:它赢了3次!
GPT-4o表现有点抽象。就它画的这龙卷风,人类也看不懂。
不止如此,在很多轮游戏中,其他模型都在认认真真地答题,而它的第一个回答经常是Circle??有点子抽象。
所以有人就说,这游戏可以当测试基准来用啊。
还有人表示,AI照这个速度发展,人类就只能当围观的瓦力了。
来看看更多有趣的例子
在比较简单的题目上,所有模型都在一两个回合中就猜对了答案,比如下面的房子:
还有非常简洁的草地、海洋:
动物主题相对复杂一些,模型们一般需要猜4-5轮,比如大象这题:
游戏整体效果非常棒,网友们也是好评如潮:
你画我猜项目起源
模型画画早已不是新鲜事,但让大模型玩你画我猜?这天才想法是怎么产生的?
首先,不得不提到Simon Willison的一次测试,他让所有模型绘制自行车上有一只鹈鹕主题的图像,然后进行效果对比。
随后Paul Calcraft看到测试,他产生了一个想法:这样一个个比对太慢了,效果也不好,既然都画同一个主题,为什么不让大模型玩你画我猜的游戏呢?
没想到这位小哥说干就干,1天后就发布了“你画我猜”的0.0.1版(这令人羡慕的执行力)。
游戏中,他设定回答的模型每2秒猜测一次,回答更快的模型会更快返回答案。
网友评价褒贬不一
不少网友表示,之前大模型在《我的世界》里面比赛盖楼,令人印象深刻,而你画我猜可能成为新的视觉benchmark!
还有人热心地提出了优化建议,比如以答对互相题目的速度作为评分准则,或者加入人类成绩作为参考。
还有人提议将游戏变成对抗式训练,这样大模型会进步更快。
不过,抛去趣味性,也有网友持负面观点,表示不理解这个项目的意义。
有网友调侃说,这个游戏的作用就是成为未来AI考古时的文物,帮助它们了解自己的起源。
好嘛,咱们AI有自己的洞穴壁画(doge)。
不过,游戏化学习(Learning through play)其实是教育理论和心理学中的一个重要术语。
多位网友表示,小孩子也是通过玩游戏来提升智力、学习技能的,或许这可以成为训练大模型的新方式。
虽然这次只有6轮游戏,参与的模型也有限,但确实是一次很有趣的实践。
作者Paul Calcraft也表示会继续更新这个游戏,包括分数显示、更多的游戏主题等等,期待更多后续!
以上就是【大模型玩你画我猜:Claude6局3胜,GPT-4o表现迷惑】相关内容,更多资讯请关注科技网
大家好,今天小编来为大家解答【卢伟冰抵达临沂:小米汽车交付中心即将建成 和特斯拉是邻居】这个问题,很多人还不知道,现在让我们一起来看看吧!快科技11月15日消息,今天下午,小米集团卢伟冰抵达山东临沂。他表示,临沂小米汽车交付中心正在建设中, ...
大家好,今天小编来为大家解答【乐道L60汽车推送OTA 1.0.5更新:新增网易云音乐,优化守卫模式报警灵敏度】这个问题,很多人还不知道,现在让我们一起来看看吧!IT之家 11 月 15 日消息,乐道汽车今日宣布,今日(11 月 15 日)起陆续向乐道 L60 汽车推送 ...
大家好,今天小编来为大家解答【AI推理时代:算力能耗瓶颈下的“密钥”何在?】这个问题,很多人还不知道,现在让我们一起来看看吧!作者 | 程茜编辑 | 漠影2024年,千行百业对AI推理的需求将呈现出爆发式增长,行业对算力的需求远远超越以往。在这样的形势 ...
大家好,今天小编来为大家解答【拥有 10 台电机的仰望 U7,开启了中国品牌的高端轿车之路】这个问题,很多人还不知道,现在让我们一起来看看吧!仰望 U7 一共有多少台电机?在今天开幕的广州车展里,仰望汽车为我们公布了答案——10 台。你没有看错,就是 1 ...
大家好,今天小编来为大家解答【锐龙7 9800X3D首次烧毁:微星官方回应正在调查】这个问题,很多人还不知道,现在让我们一起来看看吧!近日,一位Reddit网友称自己的锐龙7 9800X3D被烧毁了,连带微星MAG X870 TOMAHAWK WIFI主板插座也被烧毁,引发广泛关注 ...
大家好,今天小编来为大家解答【“马部长”公布招人要求:超高智商、每周工作80小时、薪酬为零】这个问题,很多人还不知道,现在让我们一起来看看吧!财联社11月14日讯当地时间周四(11月14日),美国“政府效率部”(Department of Government Efficiency) ...
大家好,今天小编来为大家解答【亚马逊推出Fire TV Soundbar Plus电视音箱:3.1声道、135W总功率,269.99欧元】这个问题,很多人还不知道,现在让我们一起来看看吧!IT之家 11 月 15 日消息,亚马逊今天在海外推出一款 Fire TV Soundbar Plus 电视音箱, ...
大家好,今天小编来为大家解答【腾讯宣布新的干部轮岗安排,两位副总裁张孝超、姚晓光履新】这个问题,很多人还不知道,现在让我们一起来看看吧!IT之家 11 月 15 日消息,腾讯控股在 11 月 13 日发布了截至 9 月 30 日的 2024 年第三季度财报:营收 1672 ...
btna网 11 月 15 日消息,宇瞻Apacer昨日宣布推出NOX RGB DDR5电竞超频内存条,命名为“暗黑女神”。该内存条有两种配色可选:暴雪银和经典黑,均采用低高度的RGB马甲设计。 NOX RGB DDR5系列内存条流线型设计,配备薄型铝合金散热器,高度低于44m ...
btna网 11 月 15 日消息,雷军在广州车展发布会上宣布,小米智能驾驶技术进入新阶段,命名为Hyper Autonomous