首頁(yè) > 科技要聞 > 科技> 正文

GPT-4王冠沒掉！Claude 3競(jìng)技場(chǎng)人類投票成績(jī)出爐：僅居第三

量子位 整合編輯：黃安莉 發(fā)布于：2024-03-10 21:42

Claude 3的競(jìng)技場(chǎng)排名終于來(lái)了：

短短3天內(nèi)，20000張投票，將榜單的流量推向空前。

最終，Claude 3最強(qiáng)的“大杯”模型Opus得分1233，成為第一個(gè)能和GPT-4-Turbo一較高下的選手。

“中杯”Sonnet也還不錯(cuò)，和GPT-4的兩個(gè)舊版本不相上下。

不過(guò)總的來(lái)說(shuō)，還是GPT-4系列占據(jù)上風(fēng)。

Claude 3的表現(xiàn)和宣傳有些許出入。如網(wǎng)友總結(jié)：

GPT-4還是大模型之王！

但，免費(fèi)的“中杯”Claude 3（Sonnet）更物超所值。

大模型競(jìng)技場(chǎng)出爐，“新王”排第三

Claude 3發(fā)布時(shí)官方的宣傳是全面超過(guò)了GPT-4，但沒提是哪個(gè)版本的GPT-4。

競(jìng)技場(chǎng)榜單（LMSYS Chatbot Arena Leaderboard）的最新更新，幫咱摸清了。

來(lái)看詳細(xì)情況。

排在第一名的是OpenAI去年11月推出的GPT-4 Turbo，也就是：

GPT-4-1106-preview。

它功能更強(qiáng)價(jià)格也更便宜，具有128k上下文，訓(xùn)練數(shù)據(jù)從此前的2021年9月更新到2023年4月。

與它并列第一的是GPT-4 Turbo最新的版本，今年一月發(fā)布的：

GPT-4-0125-preview。

它的訓(xùn)練數(shù)據(jù)更廣，擴(kuò)展到了2023年12月。

兩者均取得了1251的分?jǐn)?shù)。

接著才是Claude 3（訓(xùn)練數(shù)據(jù)截止到2023年8月）。

它的最強(qiáng)版本Opus得分1233，比GPT-4 Turbo低了18分。

這個(gè)差距相比起來(lái)不算太大，畢竟再往下看：

它比GPT-4的兩個(gè)版本（0314、0613）分別高了48分、72分。

至于中等性能的Claude 3 Sonnet，則排名第6，位于GPT-4這兩個(gè)版本之間：

不過(guò)只比0314版低5分，大有潛力一舉超越。

所以總的來(lái)說(shuō)，官方宣傳的也算沒大毛病，全面超越老版GPT-4，但離GPT-4 Turbo還有點(diǎn)距離，盡管不算太大。

——從此榜單的評(píng)比機(jī)制等情況來(lái)看，它的結(jié)果還是相當(dāng)有業(yè)內(nèi)認(rèn)可度的。

它由“小羊駝”（Vicuna）的作者團(tuán)隊(duì)發(fā)起。

但裁判官不是“小羊駝”，更不是GPT-4，而是基于人類偏好。

詳細(xì)來(lái)說(shuō)，也就我們隨機(jī)向兩個(gè)匿名模型提出任意問(wèn)題，然后評(píng)價(jià)它們各自的回答，把票投給更好的那一個(gè)。

如果一輪投不出，咱可以選擇繼續(xù)提問(wèn)。如果聊天中模型不小心透露了自己的身份，投票則作廢。

特別的，計(jì)分規(guī)則采用Elo機(jī)制來(lái)保證公平（玩王者榮耀的朋友都熟）。

舉個(gè)例子：如果某個(gè)模型輸了，但它的分?jǐn)?shù)不一定低，因?yàn)樗旧韺?shí)力就弱，這是預(yù)料之中。

截止目前，這個(gè)榜單可以說(shuō)是非�；鸨呀�(jīng)有全球73個(gè)模型參與挑戰(zhàn)，共收到了網(wǎng)友們37萬(wàn)張+投票。

通義千問(wèn)擠進(jìn)前10

除了Claude 3，我們?cè)倏纯雌渌憩F(xiàn)亮眼的選手。

首先要提的就是基于Gemini Pro的Bard，排名第四，僅次于GPT-4Turbo和Claude 3。

可以說(shuō)是有點(diǎn)讓人驚喜。

網(wǎng)友戲謔：

谷歌這是生生在在排行榜上開了個(gè)“洞”啊。

并連忙艾特JeffDean和DeepMind負(fù)責(zé)人：喂，加把勁兒�。ㄍ瘢�

然后要說(shuō)的就是阿里通義千問(wèn)（1.5版本，上個(gè)月發(fā)布）。

它在本次排名中擠進(jìn)了前十、并列第九，是國(guó)內(nèi)選手中表現(xiàn)最好的。

被它甩在身后的，除了其他國(guó)產(chǎn)選手，還有Claude 2、Gemini Pro和GPT-3.5等等。

完整榜單：https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard

參考鏈接：https://twitter.com/lmsysorg/status/1765774296000172289

文章來(lái)源：量子位
量子位

網(wǎng)友評(píng)論

聚超值•精選

推薦 手機(jī) 筆記本 影像 硬件 家居 商用 企業(yè) 出行 未來(lái)
二維碼 回到頂部