HAT:半年多过去了 ChatGPT的排名快“垫底”了_DEL

作者：三言科技

今天，笔者无意中刷到一张图片。

据该图片显示，OpenAI的GPT-4在11个大模型中（第一名序号为0），已经排到了最后。还有网友配上了“GPT4：我的冤屈怎么诉？”的字样。

这不禁让人好奇，今年年初，ChatGPT爆火以后，其他公司才开始提大模型的概念。

这才半年多，GPT就已经“垫底”了？

于是，笔者想看看GPT排名到底咋样了。

从前文中图片上显示的信息来看，这个排名是出自C-Eval榜单。

C-Eval榜单，全称C-Eval全球大模型综合性考试测试榜，是由清华大学、上海交通大学和爱丁堡大学合作构建的中文语言模型综合性考试评估套件。

据悉，该套件覆盖人文、社科、理工、其他专业四个大方向，包括52个学科，涵盖微积分、线性代数等多个知识领域。共有13948道中文知识和推理型题目，难度分为中学、本科、研究生、职业等四个考试级别。

于是笔者查看了最新的C-Eval榜单。

C-Eval榜单的最新排名与前文中图片所显示的排名相符，排名前十一的大模型中，GPT-4排最后。

知情人士：Reddit计划可能在今年下半年进行IPO:金色财经报道，知情人士称，美国社交媒体公司Reddit还远未实现盈利，但它的目标是在今年晚些时候最终上市，很可能是在下半年。Reddit和包括Instacart在内的其他公司正在更新他们的IPO文件，为市场状况好转时可能的IPO做好准备。但知情人士说，包括软件公司ServiceTitan、电子商务初创公司StockX和数据安全公司Cohesity在内的其他IPO竞争者已经停止更新申报文件，基本上是把自己的计划搁置了起来。

此前报道，Reddit于Polygon网络发行的NFT系列Reddit Collectible Avatar总量已突破1000万。[2023/2/15 12:07:28]

据C-Eval榜单介绍，这些结果代表zero-shot（零样本学习）或者few-shot（少样本学习）测试，但few-shot不一定比zero-shot效果好。

C-Eval表示，在其测试中发现许多经过指令微调之后的模型在zero-shot下更好。其测试的很多模型同时有zero-shot和few-shot的结果，排行榜中显示了总平均分更好的那个设置。

C-Eval榜单还注明了，大模型名字中带“*”的，表示该模型结果由C-Eval团队测试得到，而其他结果是通过用户提交获得。

研究：俄罗斯加密局在2020年上半年增长三倍:网络安全公司Kaspersky Labs研究发现，2020年上半年，俄罗斯与加密相关的呈指数级增长。研究人员确认了23000个涉及加密的网站，这些网站以新的受害者为目标，这一问题是去年同期的三倍。[2020/7/30]

此外，笔者还注意到，这些大模型提交测试结果的时间有很大差别。

GPT-4的测试结果提交时间是5月15日，而位居榜首的云天书，提交时间为8月31日；排第二的Galaxy提交时间为8月23日；排第三的YaYi提交时间为9月4日。

并且，排名前16的这些大模型，只有GPT-4的名字加了“*”，是由C-Eval团队测试的。

于是笔者又查看了完整的C-Eval榜单。

最新的C-Eval榜单一共收录了66个大模型的排名。

其中，名字带“*”，也就是由C-Eval团队测试的，只有11个，且提交测试的时间均为5月15日。

这些由C-Eval团队测试的大模型，OpenAI的GPT-4排第十一，ChatGPT排第三十六，而清华智谱AI的ChatGLM-6B排在第六十，复旦的MOSS排在了第六十四。

Coinbase：上半年机构业务增长出现了明显上升:Coinbase表示，越来越多的机构投资者正在使用其平台在加密货币市场建立直接头寸。在近期发布的一份报告中，Coinbase称已注意到该交易所上半年“机构业务增长出现了明显上升”。该交易所还表示，“信誉良好的投资者对数字资产的热情高涨”也有助于增强加密货币行业的信心。（Bitcoin.com）[2020/7/29]

虽然这些排名可以看出国内的大模型发展势头的迅猛，但笔者认为，毕竟不是同一团队在同一时间进行的测试，不足以完全证明这些大模型谁强谁弱。

这就好比，一个班的学生，每个人的考试时间不同，答的试卷也都不一样，怎么能靠每个学生的分数比高低呢？

最近，大模型的圈子相当热闹。

又是百度、字节等8家公司大模型产品通过了《生成式人工智能服务管理暂行办法》备案，可正式上线面向公众提供服务。又是其他公司相继发布自家大模型产品。

那这些大模型的开发者又都是怎么介绍自家产品的呢？

7月7日，在2023世界人工智能大会“大模型时代的通用人工智能产业发展机遇以及风险”论坛上，复旦大学计算机科学技术学院教授、MOSS系统负责人邱锡鹏表示，复旦对话式大型语言模型MOSS在今年2月发布后，还在连续不停地迭代，“最新的MOSS已经能够在中文能力上超过ChatGPT。”

动态 | 2019年上半年中国企业区块链专利占总体的67%，阿里巴巴以322件专利位列第一:近日，知识产权产业媒体IPRdaily与incoPat创新指数研究中心联合发布了“2019上半年全球区块链企业发明专利排行榜（TOP100）”。榜单对2019上半年公开的全球区块链技术发明专利申请数量进行统计排名，与2018年相比，企业整体发明专利申请量增长明显。数据提取时间范围为2019年1月1日至2019年6月30日。入榜前100名企业主要来自11个国家和地区，中国占比67%，美国占比16%。其中阿里巴巴以322件专利位列第一，中国平安以274件专利排名第二，Nchain以241件专利排名第三。[2019/8/28]

7月底，网易有道上线翻译大模型，网易有道CEO周枫公开表示，在内部的测试中，在中英互译的方向上，已经超越ChatGPT的翻译能力，也超过了谷歌翻译的水准。

8月下旬，在2023年亚布力论坛夏季高峰会上，科大讯飞创始人、董事长刘庆峰发表演讲时称，“讯飞星火大模型的代码生成和补齐能力已经超过了ChatGPT，其他各项能力正在快速追赶。当前代码能力的逻辑、算法、方法体系、数据准备已就绪，所需要的就是时间和算力。”

商汤近期的新闻稿中称，今年8月，新模型internlm-123b完成训练，参数量提升至1230亿。在全球51个知名评测集共计30万道问题集合上，测试成绩整体排名全球第二，超过gpt-3.5-turbo以及meta公司新发布的llama2-70b等模型。

动态 | 2018年上半年被盗数字货币金额约为去年同期三倍:CipherTrace报告显示，2018年上半年从交易所窃取的数字货币数量是去年同期的三倍，与数字货币相关的活动也相应增加。2017年有2.66亿美元通过数字货币；2018年这一数字为7.61亿美元，这还只是对被盗资金的行为，而不是对所有使用加密技术的黑市交易的完整估计。[2018/7/3]

据商汤介绍，internlm-123在主要评测中，有12项成绩排名第一。其中，在评测集综合考试中的agieval分数为57.8，超越gpt-4位列第一；知识问答commonsenseqa的评测分数为88.5，排名第一；internlm-123b在阅读理解的五项评测中成绩全部居榜首。

此外，在推理的五项评测中成绩排名第一。

本月初，作业帮正式发布自研银河大模型。

作业帮表示，银河大模型在C－Eval、CMMLU两大权威大语言模型评测基准的成绩。数据显示，作业帮银河大模型以平均分73．7分位居C－Eval榜首；同时在CMMLU榜单Five－shot和Zero－shot测评中分别以平均分74．03分及73．85分位列第一，成为首个同时在上述两大权威榜单平均分排名第一的教育大模型。

昨天，百川智能宣布正式开源微调后的Baichuan 2-7B、Baichuan 2-13B、Baichuan 2-13B-Chat与其4bit量化版本。

百川智能创始人、CEO王小川称，经过微调之后的Chat模型，在中文领域，在Q&A问答环境，或者摘要环境里面，评价它的实际性能已经超过ChatGPT-3.5这样的闭源模型。

今天，在2023腾讯全球数字生态大会上，腾讯正式发布混元大模型。腾讯集团副总裁蒋杰称，腾讯混元大模型中文能力已经超过GPT-3.5。

除了这些开发者的自我介绍，也有一些媒体和团队对一种大模型进行评比。

8月上旬，清华大学新闻与传播学院教授、博士生导师沈阳所在团队发布了《大语言模型综合性能评估报告》。报告显示，百度文心一言在三大维度20项指标中综合评分国内领先，较优于ChatGPT，其中中文语义理解排名靠前，部分中文能力较优于GPT-4。

8月中旬，有媒体报道称，8月11日，小米大模型MiLM-6B现身C-Eval、CMMLU大模型评测榜单。截至当前，MiLM-6B在C-Eval总榜单排名第10、同参数量级排名第1，在CMMLU中文向大模型排名第1。

8月12日，天津大学发布《大模型评测报告》。报告显示，GPT-4和百度文心一言相较于其他模型综合性能显著领先，两者得分相差不大，处于同一水平。文心一言已经在大部分中文任务中实现了对ChatGPT的超越，并逐步缩小与GPT-4的差距。

8月下旬，有媒体报道称，快手自研的大语言模型“快意”（KwaiYii）已开启内测。在最新的CMMLU中文向排名中，快意的13B版本KwaiYii-13B同时位列five-shot和zero-shot下的第一名，在人文学科、中国特定主题等方面较强，平均分超61分。

通过上述内容可以看出，这些大模型虽然纷纷号称自己在某排名中居首，或者是在某某方面超越ChatGPT，但大多是在一些具体的领域表现优异。

另外，有一些综合评分超过了GPT-3.5或GPT-4，但GPT的测试是停留在5月的，谁能保证这近3个月的时间里，GPT没有进步呢？

根据瑞银集团2月的一份报告显示，在ChatGPT推出仅两个月后，它在2023年1月末的月活用户已经突破了1亿，成为史上用户增长速度最快的消费级应用程序。

但ChatGPT的发展也不是那么顺利。

今年7月，有不少GPT-4用户吐槽，与之前的推理能力相比，GPT-4的性能有所下降。

有些用户在推特以及OpenAI在线开发者论坛上指出了问题，集中于逻辑变弱、更多错误回答、无法跟踪提供的信息、难以遵循指令、忘记在基本软件代码中添加括号，只能记得最近的提示等等。

8月，又有一份报告称，OpenAi可能处于潜在的财务危机中，可能于2024年底破产。

报告中表示，OpenAI仅运行其人工智能服务ChatGPT每天就要花费约70万美元。目前，该公司正试图通过GPT-3.5和GPT-4实现盈利，但是还尚未产生足够的收入实现收支平衡。

不过，OpenAI或许也有新的转机。

日前，OpenAI宣布，将于11月举办首届开发者大会。

虽然OpenAI表示不会发布GPT-5，但OpenAI称将有来自世界各地的数百名开发人员与OpenAI团队一起，提前一览“新的工具”，并且交流想法。

这可能意味着，ChatGPT已经取得了新的进步。

另据澎湃新闻报道，8月30日，一位知情人士透露，通过销售AI软件和驱动其运行的计算能力，OpenAI预计将在未来12个月内实现超过10亿美元的收入。

今天，又有媒体报道称，本月晚些时候摩根士丹利将推出一款和OpenAI共同研发的生成式人工智能聊天机器人。

和摩根士丹利的银行家打交道的人，非富即贵。如果这款即将推出的生成式人工智能聊天机器人能给摩根士丹的客户带来不同的体验，对OpenAI来说，也许会是一个巨大的收获。

人工智能时代的到来，已经势不可挡。至于到底谁更胜一筹，不能光靠自己说，还得让用户来打分。我们也相信国内大模型一定会、一定能在各具体能力、综合能力上赶超ChatGPT。

元宇宙之心

企业专栏

阅读更多

白话区块链

神译局

Gryphsis Academy

CertiK中文社区

新浪科技

金色早8点

Web3小律

MarsBit

ForesightNews

吴说区块链

标签：以太坊EVAHATDEL比特币以太坊最新消息分析KLEVAchatcoin币还有救吗DriftDelivery.CC

火星币热门资讯