Meta发布开源AI模型Llama 31，训练期间使用16万个英伟达H100 GPU

⭐发布日期：2024年10月05日 | 来源:深圳特区报

⭐作者：赵梓童责任编辑:Admin

⭐阅读量:416 评论：6人

【新澳门一码一肖100准打开】

【2023年澳门正版资料大全】

【澳门天天开彩好正版挂牌】

【2024澳门精准正版资料】

【澳门一码一肖100%】

【7777788888王中五中持】

【澳门天天彩期期精准】

【2024新澳门正版免费资木车】

【澳门精准正版资料免费看】

【澳门赛马会资料最准一码】

【2024今晚香港开特马开什么六期】

【2024澳彩记录查询表】

【新澳彩资料免费长期公开】

当地时间 7 月 23 号，Meta 公司发布了迄今为止最强大的开源 AI 模型 Llama 3.1。该模型不仅规模庞大，性能也堪比最强大的闭源模型。这称得上是开源 AI 领域的一个重要里程碑。

Llama 3.1 模型家族总共有三个版本，规模最大的旗舰版本拥有 405B（4050 亿）参数，是近年来最大的开源 AI 模型。其余两个较小版本的参数量分别是 700 亿和 80 亿。

Meta 声称，Llama 3.1 405B 模型在多项基准测试中的表现超过了 OpenAI 的 GPT-4o 和 Anthropic 的 Claude 3.5 Sonnet。

“到目前为止，开源大型语言模型在功能和性能方面大多落后于闭源模型。现在，我们正迎来一个由开源引领的新时代。”

Meta 在官方博客中写道，“迄今为止，所有 Llama 版本的总下载量已超过 3 亿次，而这仅仅是个开始。”

（来源：Meta）

模型评估

据介绍，Llama 3.1 系列模型展现了多方面的能力提升，在常识、可操纵性、数学、工具使用和多语言翻译等功能方面可与顶级 AI 模型相媲美。

Meta 对 Llama 3.1 进行了全面的评估，包括超过 150 个基准数据集的测试，涵盖多种语言和任务类型。

此外，该模型还经过了广泛的人工评估，与竞争模型在真实应用场景中进行比较。

图 | 模型评估结果（来源：Meta）

总体而言，Llama 3.1 405B 模型在推理、数学等多项任务中的表现与 GPT-4、GPT-4o 和 Claude 3.5 Sonnet 相当，在长文本、多语言等领域甚至更胜一筹。

不过在代码基准测试中，Llama 3.1 405B 模型的表现不如 Claude 3.5 Sonnet。

图 | 模型评估结果（来源：Meta）

此外，在小型模型性能对比中，Llama 3.1 的 8B 和 70B 模型均表现出色，与同等规模的闭源和开源模型相比具有很强的竞争力，在几乎所有测试中都打败了对手。

图 | 模型评估结果（来源：Meta）

模型能力与应用

Meta 表示，Llama 3.1 系列模型的上下文窗口达到了 128K，相当于一本 50 页的书，并且提供英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语等多语言支持，大大提升了长文本和多语种内容的处理能力。

Meta 生成式人工智能副总裁艾哈迈德·达尔（Ahmad Al-Dahle）表示，Llama 3.1 模型能够集成搜索引擎应用程序编程接口（API，Application Programming Interface），根据复杂查询从互联网检索信息，并调用多个工具完成任务。例如，它可以生成并执行 Python 代码来绘制图表。

不过，Llama 3.1 目前还不是多模态模型，仅支持文本输入。但 Meta 表示，正在开发能识别图像、视频，并理解（和生成）语音的 Llama 模型。

在应用方面，与之前的 Llama 模型一样，Llama 3.1 405B 可在亚马逊 AWS、微软 Azure 和谷歌 Cloud 等云平台上下载或使用。它还会与 Meta 的产品结合，为用户提供聊天机器人和信息查询等服务。

该模型目前已经用在 Meta.ai 和 Meta AI 虚拟助手上。从本周开始，Llama 3.1 将首先登陆 WhatsApp 和美国的 Meta.ai 网站，随后几周将上线 Instagram 和 Facebook。

虽然最先进的 Llama 3.1 405B 模型可以在 Meta.ai 上免费使用，但每周提示数量有限（上限不详），超过限制则会切换到更小的 70B 模型。这似乎表明 405B 模型对于 Meta 来说还是太昂贵了，无法全面运行。