新智元报说念2024年澳门银河真人百家乐

裁剪：山令 alan

【新智元导读】谷歌发布Gemini以后，一直声称Gemini Pro要优于GPT-3.5，而CMU的琢磨东说念主员通过我方实测，给众人来了一个客不雅中立第三方的对比。着力却是GPT-3.5险些照旧全面优于Gemini Pro，不外两边差距不大。

皇冠hg86a

谷歌最近发布的Gemini掀翻了不小的波澜。

毕竟，大谈话模子限度险些是OpenAI的GPT一家独大的时事。

不外四肢吃瓜环球，天然但愿科技公司齐卷起来，大模子齐打起来！

是以，四肢科技巨无霸谷歌的亲女儿，Gemini天然承受了很高的期待。

固然Gemini发布之后发生了一些奇奇怪怪的事情吧，什么视频作秀啦，以为我方是文心一言啦。

不外问题不大，我们不看告白看疗效。

最近在CMU，琢磨东说念主员进行了一组公正、深切和可访佛的履行测试， 重心比较了Gemini和GPT在各项任务中的优劣，另外还加入了开源的竞争敌手Mixtral。

论文地址：https://arxiv.org/abs/2312.11444

代码地址：https://github.com/neulab/gemini-benchmark

琢磨东说念主员在论文中对Google Gemini的谈话智力进行了深切地探索，

从第三方的角度，对OpenAI GPT和Google Gemini模子的智力进行了客不雅比较，公开了代码和比较着力。

我们不错从中发现两个模子区别擅长的限度。

琢磨东说念主员比较了6种不同任务的准确性：

- 基于常识的QA（MMLU） - 推理（BIG-Bench Hard） - 数学（GSM8k、SVAMP、ASDIV、MAWPS） - 代码生成（HumanEval，ODEX） - 翻译 （FLORES） - Web指示追踪（WebArena）

为了公正起见，履行中尝试适度统统变量，对统统模子使用相通的提醒、生成参数和评估。

评测中使用了LiteLLM以援助的花式查询模子，使用try_zeno作念全面深切的分析。

测试模子

琢磨比较了Gemini Pro、GPT-3.5 Turbo、GPT-4 Turbo以及Mixtral，指出了他们在智力上的不同。

特色：Gemini Pro是多模态的，通过视频、文本和图像进行历练。GPT-3.5 Turbo和GPT-4 Turbo则主要基于文本历练，其中GPT-4 Turbo是多模态的。

丁仲礼也倡导联谊会更加注重发挥企业家的社会责任，为民盟中央对口联系地区的教育发展作出贡献。

测试复现要领

更通俗的复现要领：点击下文测试任务的一语气即可投入CMU集成好的基于Zeno的AI评估平台进行考据

GitHub一语气：

https://github.com/neulab/gemini-benchmark]

具体测试任务

基于常识的问答（Knowledge-based QA）

基于UC伯克利2020年提议的MMLU（Massive Multitask Language Understanding）大模子评测进行评测

该测试涵盖57项任务，包括初等数学、好意思国历史、谋划机科学、法律等。任务涵盖的常识很庸俗，谈话是英文，用以评测大模子基本的常识袒护边界和领略智力。

用5-shot和想维链提醒词的MMLU任务总体准确率如下图，Gemini Pro均稍许落伍GPT-3.5 Turbo

著作也指出使用想维链提醒的性能各别不大，可能是因为 MMLU 主如果基于常识的问答任务，可能不会从更强的面向推理的提醒中显着受益。

下图清楚Gemini-pro、gpt3.5-turbo、gpt-4-turbo关于多选题谜底输出的比例，着力清楚Gemini-pro、gpt3.5-turbo齐有一些谜底偏见，尤其Gemini-pro十分偏向D选项

标明 Gemini 尚未针对处罚多选题问题，进行辽远指示调遣，这可能导致模子在谜底排序方面存在偏差

MMLU的57个子任务中唯有两项Gemini-pro卓绝GPT3.5-turbo。

下图清楚gpt3.5最当先Gemini-pro的前四个任务的准确性，和Gemini-pro卓绝gpt3.5的两个任务

通用推理(General-purpose Reasoning)

基于BBH（BIG-Bench Harch）这一通用推理数据集进行测试，其中包括算术、瑰丽和多谈话推理以及事实仅仅理罢免务。

来源2024年澳门银河真人百家乐，从如下总体精度图中不错看到Gemini Pro竣事的精度略低于GPT 3.5 Turbo，而况远低于GPT 4 Turbo。比拟之下，Mixtral 模子的精度要低得多。

接下来进行一些细节分析， 来源阐发问题的长度测试一下准确性，着力如下图。

作家发现Gemini Pro在更长、更复杂的问题上进展欠安，而GPT模子对此更持重。

GPT-4 Turbo的情况尤其如斯，即使在较长的问题上，它也险些莫得进展出性能下落，这标明它具有高大智力来领略更长和更复杂的查询。

GPT-3.5 Turbo的持重性处于中间位置。Mixtral在问题长度方面非凡放心，但总体准确率较低。

下图再具体列出了GPT-3.5 Turbo进展优于Gemini Pro最多的任务。

Gemini Pro在tracking_shuffled_objects任务上进展很灾祸

在某些任务中，即multistep_arithmetic_two、salient_translation_error_detection、snarks、disambiguition_qa和两个tracking_shuffled_objects任务中，Gemini Pro的进展以致比Mixtral模子还要差。

天然，有一些任务Gemini Pro优于GPT3.5。

下图清楚了 Gemini Pro 比 GPT 3.5 Turbo 进展优秀的六项任务。这些任务需要寰宇常识（sports_understanding）、操作瑰丽堆栈（dyck_languages）、按字母法例排序单词（word_sorting）息争析表（penguins_in_a_table）等。

著作在此部分临了示意，关于通用推理任务，似乎莫得Gemini和GPT齐莫得十足上风，是以不错齐尝试一下

数学问题

基于四个数学诈欺题评测进行：

- GSM8K，小学数学基准

- SVAMP 数据集，通过不同的词序生成问题来搜检持重的推明智力，

- ASDIV 数据集，具有不同的谈话模式和问题类型

- MAWPS 基准，由算术和代数诈欺题构成。

下图清楚四项数学推理任务的总体准确性

从图中不错看出，在 GSM8K、SVAMP 和 ASDIV 任务上，Gemini Pro的精度略低于 GPT-3.5 Turbo，而况远低于 GPT-4 Turbo，这些任务齐包含万般化的谈话模式。

关于 MAWPS 任务，统统模子齐达到了 90% 以上的准确率，尽管 Gemini Pro 仍然比GPT模子稍差。

道理的是，在此任务中，GPT-3.5 Turbo的进展以隐微上风胜过GPT-4 Turbo。

比拟之下，Mixtral模子的准确率比其他模子要低得多。

和之前在BBH上的推理任务通常，我们不错看到较长任务推感性能会下落。

而况和畴昔通常，GPT 3.5 Turbo 在较短的问题上优于 Gemini Pro，但下落得更快，Gemini Pro 在较长的问题上竣事了类似（但仍稍差）的准确度。

不外在想维链（CoT）长度卓绝100的最复杂例子中，Gemini Pro优于GPT 3.5 Turbo，但在较短示例中进展欠安。

临了，著作琢磨了比较模子在生成不同位数谜底时的准确性。

阐发谜底中的位数创建三个类别，一位数、两位数、三位数谜底（MAWPS 任务之外，其谜底不卓绝两位数）。

如下图所示，GPT-3.5 Turbo似乎关于多位数数学问题愈加持重，而Gemini Pro在位数较多的问题上性能下落更多。

代码生成

在此类别中，著作使用两个代码生成数据集HumanEval和ODEX搜检模子的编码智力。

前者测试对Python范例库中一组有限函数的基本代码领略。

后者测试使用通盘Python生态系统中更庸俗的库的智力。

它们齐将东说念主工编写的英语任务描写（每每带有测试用例）四肢输入。这些问题用来评估对谈话、算法和初等数学的领略。

总体而言，HumanEval有164个测试样本，ODEX有439个测试样本。

代码生成的总体情况如下图：

Gemini Pro在两项任务上的Pass@1 收成齐低于GPT-3.5 Turbo，远低于GPT-4 Turbo。

接下来，分析最公正罚有想象长度与模子性能之前的讨论，因为处罚有想象长度不错一定进度上标明相应代码生成的任务的难度。

本文发现，当处罚有想象长度低于100（即代表处理野蛮问题）时，Gemini Pro 不错达到与 GPT-3.5 极端的 Pass@1，但当处罚有想象变得更长（即处理更难的问题时）时，它会大幅落伍。

著作还分析了每个处罚有想象所需的库若何影响模子性能，着力如下图清楚：

阐发着力分析，在大多数使用库的情况下，举例mock、pandas、numpy和datetime，Gemini Pro的进展比GPT-3.5差。

可是，它在 matplotlib 情况下优于 GPT-3.5 和 GPT-4，在通过代码奉行画图可视化时清楚出更强的功能。

底下展示几个具体的失败案例：

来源， Gemini在从Python API中正确选拔函数和参数方面稍差一些

比如，当你给出如下指示时

def f_3283984():\"\"\"decode a hex string '4a4b4c' to UTF-8.\"\"\"

Gemini Pro 生成以下代码，导致类型不匹配荒唐。

bytes(bytearray.fromhex('4a4b4c'), 'utf-8')

比拟之下，GPT 3.5 Turbo 使用以下代码，达到了预期的着力：

hex_string = '4a4b4c'decoded_string = bytes.fromhex(hex_string).decode('utf-8')return decoded_string

此外，Gemini Pro的荒唐比例较高，所竣事的代码在语法上是正确的，但与复杂的意图不正确匹配。

举例，关于以下指示

from typing import Listdef remove_duplicates(numbers: List[int]) -> List[int]:\"\"\"From a list of integers, remove all elements that occur more than once.Keep order of elements left the same as in the input.>>> remove_duplicates([1, 2, 3, 2, 4])[1, 3, 4]

Gemini Pro 给的代码，只索要唯独的数字，而不删除那些出现屡次的数字。

seen_numbers = set()unique_numbers = []for number in numbers:if number not in seen_numbers:unique_numbers.append(number)seen_numbers.add(number)return unique_numbers

机器翻译（Machine Translation）

基于FLORES-200 机器翻译基准评估模子的多谈话智力，非凡是在各式谈话对之间翻译的智力。

针对统统采用的谈话对，对测试汇集的1012个句子进行评估。四肢这项琢磨的第一步，本文将边界限定为仅从英语到其他谈话（ENG→X）的翻译。

着力清楚如下图，Gemini Pro在翻译任务上，总体优于其他模子，在 20 种谈话中的 8 种谈话上均优于 GPT-3.5 Turbo 和 GPT-4 Turbo，并在4种谈话上获取了最高性能。

固然在非英语谈话翻译方面尚未超越专用机器翻译系统，但通用谈话模子也清楚出了强竞争力的性能

零样本提醒和5样本提醒Gemini Pro在翻译任务上均优于其他模子

网页代理（Web Agents）

临了，本文考据每个模子充任网罗导航代理（web navigation agent）的智力，这是一项需要长久筹商和复杂数据领略的任务。

使用 WebArena ，这是一个基于敕令奉行的模拟环境，其中到手范例基于奉行着力。分拨给代理的任务包括信息查找、站点导航以及本色和建立操作。

这些任务逾越各式网站，包括电子商务平台、外交论坛、互助软件修复平台（举例 gitlab）、本色管制系统和在线舆图。

如下图著作从总体着力不错看出，Gemini-Pro 的性能与 GPT-3.5-Turbo 极端，但稍差。

与 GPT-3.5-Turbo 类似，当Prompts提到任务可能无法完成时（UA 提醒），Gemini-Pro 的进展会更好。通过 UA 提醒，Gemini-Pro 的总体到手率达到 7.09%。

之后著作又按照网罗进行细分，如下图，不错看到 Gemini-Pro 在 gitlab 和舆图上的进展比 GPT-3.5-Turbo 差，而在购物管制、reddit 和 Shopping 上则接近 GPT-3.5-Turbo 。它在多站点任务上的进展比 GPT-3.5-Turbo 更好。

测试着力总览

在本文中，作家对 Google 的 Gemini 模子进行了第一次公正、深切的琢磨，并将其与 OpenAI 的 GPT 3.5 和 4 模子以及开源 Mixtral 模子进行了比较。

在临了，作家叠了一些甲：

指出他们使命是针对不休变化且不放心的API，统统用率均为摒弃 2023 年 12 月 19 日撰写本文时的最新着力，但跟着模子和周围系统的升级，畴昔可能会发生变化。

着力可能取决于其选拔的特定提醒和生成参数

作家测试时莫得像谷歌真理使用多个样本和自我一致性（self-consistency），不外作家以为对不同模子使用一致的prompts的多项任务上进行的测试，正好不错合理地展示被测模子的持重性和广义指示的慑服智力

作家指出数据暴露对刻下大模子评测任务的困扰，固然他们莫得明确测量这种暴露，但他们也尝试过各式要领来缓解这个问题

在瞻望中，作家也提议建议，但愿众人在使用Gemini Pro之前，阐发这篇论文，我方评估Gemini Pro是否如宣传所说与GPT 3.5 Turbo相失色。作家也示意Gemini的Ultra版块尚未发布，等其发布后也会考据其是否如报说念所说与GPT4极端。

参考长途：

https://arxiv.org/abs/2312.11444