ZAKER科技7月24日消息,今日凌晨,Meta官方正式发布了Llama3.1模型。
本次Llama3.1模型共有三个版本,分别是8B、70B和405B。
从基准测试结果来看,超大杯Llama3.1405B与OpenAI的GPT-4o和Claude3.5Sonnet在多个项目上能够媲美。
在GSM8K任务中,Llama3.1405B得分96.8,高于GPT-4o的96.1和Claude3.5Sonnet的96.4。MATH任务成绩仅次于GPT-4o。这证明Llama3.1405B拥有很强的数学能力。
当然,Llama3.1模型的代码生成能力同样不俗。在评估Python生成的HumanEval和其它编程语言的MBPPEvalPlus测试中,8B和70B继续大幅领先同级别模型,但大参数模型上表现最佳的还是Claude3.5Sonnet。
从上述多项基准测试结果来看,Llama3.1模型的出现正在不断缩小开源大模型和闭源大模型之间的差距。
图源:网络
其中HumanEvaluation主要用于评估模型在理解和生成代码、解决抽象逻辑问题方面的能力。在与其他大型模型的竞争中,Llama3.1405B显得略胜一筹。
图源:网络
斯坦福大学计算机科学系和电子工程系副教授、人工智能实验室主任吴恩达(AndrewNg)在社交媒体上称赞"Meta和Llama团队对开源的巨大贡献"。他表示:"Llama3.1增加了上下文长度和改进了功能,是送给每个人的奇妙礼物。"
图源:网络
总的来说,Llama3.1模型有以下几个特点:
1.包含8B、70B和405B三个尺寸,最大上下文提升到了128K,支持多语言,代码生成性能优秀,具有复杂的推理能力;
2.从基准测试结果来看,Llama3.1超过了GPT-40125,与GPT-4o、Claude3.5互有胜负;
3.提供开放/免费的模型权重和代码,许可证允许用户进行微调,将模型蒸馏到其他形式,并支持在任何地方部署;
4.提供LlamaStackAPI,便于集成使用,支持协调多个组件,包括调用外部工具。
图源:网络
最后,MetaCEO扎克伯格在今日长文中曾这样描述Llama3.1模型,"我相信Llama3.1版本将成为行业的一个转折点,大多数开发人员将开始转向主要使用开源技术,我期待这一趋势从现在开始持续发展……共同致力于将AI的福祉带给全球的每一个人。"
参考资料:
《赶超GPT-4o,最强大模型Llama3.1405B一夜封神,扎克伯格:开源引领新时代》