亚马逊云科技成功助力 TII 训练 400 亿参数规模的大语言模型 Falcon 40B

在 Hugging Face 开源大语言模型排行榜上排名第一的 Falcon 40B 现已在 Amazon SageMaker JumpStart 上可用，让客户更便利地利用这一模型快速构建生成式AI应用程序。  

北京 —— 2023 年 6 月 7 日 --- 亚马逊云科技今日宣布，位于阿联酋首都阿布扎比的全球领先科研中心 TII（Technology Innovation Institute）在亚马逊云科技上训练了其性能卓越的开源模型 Falcon 40B。Falcon 40B 是拥有 400 亿参数的大语言模型（LLM），在 Apache 2.0 许可下提供，并在 Hugging Face 的开源大语言模型排行榜上位列榜首。该排行榜在多个基准测试中跟踪、排名和评估大语言模型，最终评选出最佳模型。客户现在可以将 Falcon 40B 部署在 Amazon SageMaker JumpStart 上，这是一个机器学习中心，提供预训练模型，使客户无需从头构建自己的模型即可获得 Falcon 40B 最先进的准确性和行业领先的性能。

大语言模型是机器学习（ML）模型的一个分支，专注于语言领域，可以支持各类生成式 AI 应用，包括文本处理、总结摘要和会话问答。虽然这些大语言模型具有改变行业的潜力，但构建、训练和部署大语言模型可能需要数周甚至数月的时间，并耗资数千万美元，这将许多公司拒之门外。为了在整个开发过程中实现更好的性能和成本效益，包括 Stability AI、AI21 Labs、Hugging Face 和 LG AI 在内的众多客户使用亚马逊云科技端到端的机器学习服务 Amazon SageMaker 来构建、训练和部署他们的大语言模型。

这也正是 TII 使用 Amazon SageMaker 构建其 Falcon 40B 模型的原因。得益于 SageMaker 是一项完全托管的服务，TII 可以专注于开发自定义的训练机制和优化功能，而无需管理其机器学习基础设施。为了最大限度地降低训练成本并缩短上市时间，TII 采取了多项优化措施，包括编写自定义矩阵乘法以加快训练速度。在整个训练过程中，亚马逊云科技还与 TII 密切合作以利用 SageMaker 增强可用性，确保训练顺利进行，减少对开发人员的干扰。  

TII 于 2023 年 5 月在 Apache 2.0 许可下发布了其 Falcon 40B 模型。自发布以来，Falcon 40B 在各种基准测试中的表现都优于当下的同类模型，展示了无需专门微调的卓越性能。为了让客户更轻松地访问该模型，亚马逊云科技让 Falcon 40B 可以通过 Amazon SageMaker Jumpstart 部署。现在，各个行业、各种规模的客户都可以快速轻松地部署自己的- Falcon 40B 模型，并对其进行定制以满足他们的特定需求，如翻译、问答、信息总结、图像识别等应用程序。  

“Falcon 40B 的开源版本使机构能够利用其卓越性能来推动 AI 赋能的解决方案的发展。这是我们致力于促进 AI 创新的重要里程碑，也体现阿联酋深远的科学贡献。” TII 跨 AI 研究中心执行总监兼LLM项目负责人表示，“通过将 Falcon 大语言模型开源，我们希望将这一先进的技术能力普惠化，为全球研究人员和组织赋能。下一步，我们即将推出新模型，为人工智能和先进技术领域的进一步发展做出贡献。”