深圳市宝安网站建设肥西县重点建设局网站

当前位置： 首页 > news >正文

深圳市宝安网站建设,肥西县重点建设局网站,app开发人员网站,学校电脑课做网站的软件大型语言模型(llm)是一种人工智能(AI)#xff0c;在大量文本和代码数据集上进行训练。它们可以用于各种任务#xff0c;包括生成文本、翻译语言和编写不同类型的创意内容。 今年开始#xff0c;人们对开源LLM越来越感兴趣。这些模型是在开源许可下发布的#xff0c;这意味…大型语言模型(llm)是一种人工智能(AI)在大量文本和代码数据集上进行训练。它们可以用于各种任务包括生成文本、翻译语言和编写不同类型的创意内容。 今年开始人们对开源LLM越来越感兴趣。这些模型是在开源许可下发布的这意味着任何人都可以使用、修改和分发它们。这使得研究人员、开发人员和企业都可以尝试LLM并为它们开发新的应用程序。 使用开源llm有很多好处。首先它们通常比专业的LLM更价便宜。并且它们更加透明这意味着研究人员可以研究它们是如何工作的以及它们是如何做出决定的。最主要的是它们更加灵活可以针对不同的任务进行定制。 本文总结了当前可用的开源llm的全部几乎全部列表以及有关其许可选项和源代码存储库的信息希望对你有所帮助 SAIL 7B 基于LLaMa的搜索增强 参数: 7B 许可类型: GPL-3.0 发布日期: 2023年5月 论文: SAIL — Search Augmented Instruction Learning Guanaco 采用高效微调方法QLoRA发布的LLM模型 参数: 65B 许可类型: MIT 发布日期: 2023年5月 论文: QLoRA — Efficient Finetuning of Quantized LLMs RMKV 与transformer的LLM性能相当的RNN模型 参数: 100M–14B 许可类型:Apache 2.0 发布日期: 2023年5月 论文: Scaling RNN to 1.5B and Reach Transformer LM Performance MPT-7B MosaicML的基础系列模型 参数: 7B 许可类型:Apache 2.0 发布日期: 2023年5月 论文: MPT-7B — A New Standard for Open-Source, Commercially Usable LLMs OpenLLaMa 在RedPajama数据集上训练的Meta AI的LLaMA 7B的另一个开源复制。 参数:3,7B 许可类型:Apache 2.0 发布日期: 2023年5月 论文: Meet OpenLLaMA — An Open-Source Reproduction of Meta AI’s LLaMA Large Language Model RedPajama-INCITE 基于RedPajama数据集上训练的指令调整和聊天Pythia模型。 参数:3B, 7B 许可类型:Apache 2.0 发布日期: 2023年5月 论文: RedPajama-INCITE family of models including base, instruction-tuned chat models h2oGPT H2O的微调框架和文档问答功能的聊天机器人UI 参数:12B,30B 许可类型:Apache 2.0 发布日期: 2023年5月 论文: Building the World’s Best Open-Source Large Language Model: H2O.ai’s Journey FastChat-T5 通过微调Flan-t5-xl对从ShareGPT收集的用户共享对话进行训练的聊天机器人 参数:3B 许可类型:Apache 2.0 发布日期: 2023年4月 论文: FastChat-T5 — our compact and commercial-friendly chatbot! GPT4All 用于训练和部署强大的定制llm的完整工具系统 参数:7–13B 许可类型:MIT 发布日期: 2023年4月 论文: GPT4All: An ecosystem of open-source on-edge large language models. MiniGPT-4 基于BLIP-2和Vicuna LLM的Visual LLM模型 参数:13B 许可类型:BSD-3-Clause 发布日期: 2023年4月 论文: MiniGPT-4 — Enhancing Vision-Language Understanding withAdvanced Large Language Models StableLM StableLM的LLM模型系列 参数:7B 许可类型:CC BY-NC-SA-4.0 发布日期: 2023年4月 论文: Stability AI Launches the First of its StableLM Suite of Language Models BloomZ 通过多任务微调实现跨语言泛化 参数:176B 许可类型:Apache 2.0 发布日期: 2023年4月 论文: Cross-lingual Generalization through Multitask Finetuning Dolly Pythia 12B LLM在Databricks ML平台上训练的模型 参数:12B 许可类型:Apache 2.0 发布日期: 2023年4月 论文: Free Dolly — Introducing the World’s First Truly Open Instruction-Tuned LLM Baize Chatbot 基于LLaMa的开源聊天模型 参数:30B 许可类型:GPL-3.0 license 发布日期: 2023年4月 论文: Baize — An Open-Source Chat Model with Parameter-Efficient Tuning on Self-Chat Data ColossalChat 由ColossalAI开源发布的一个完整的RLHF流程训练的模型 参数:N/A 许可类型:Apache 2.0 发布日期: 2023年4月 论文: ColossalChat — An Open-Source Solution for Cloning ChatGPT With a Complete RLHF Pipeline Lit LLaMa 来自Lightning AI的LLaMA的开源实现 参数:13B 许可类型:Apache 2.0 发布日期: 2023年4月 论文: Why We’re Building Lit-LLaMA Cerebras-GPT 开放的计算效率高的大型语言模型 参数:111M-13B 许可类型:Apache 2.0 发布日期:2023年3月 论文: Cerebras-GPT — Open Compute-Optimal Language ModelsTrained on the Cerebras Wafer-Scale Cluster Open Flamingo Deepmind的Flamingo模型的开源实现 参数:9B 许可类型:MIT License 发布日期: 2023年3月 论文: Openflamingo — An Open-source Framework For Training Vision-language Models With In-context Learning Chat GLM 使用开放式双语(中英文)双向密集预训练模型 参数:6B-130B 许可类型:Apache 2.0 发布日期: 2023年3月 论文: GLM-130B: An Open Bilingual Pre-trained Model DLite 通过微调Alpaca数据集上最小的GPT-2模型 参数:124M 许可类型:Apache 2.0 发布日期: 2023年3月 论文: Introducing DLite, a Lightweight ChatGPT-Like Model Based on Dolly Alpaca 7B 描述:斯坦福大学发布的指令遵循LLaMA模型 参数:7B 许可类型:Apache 2.0 发布日期: 2023年3月 论文: Alpaca — A Strong, Replicable Instruction-Following Model Flan UL2 在预训练的UL2检查点上训练Flan 20B模型。 参数:20B 许可类型:MIT License 发布日期: 2023年3月 论文: A New Open Source Flan 20B with UL2 Flan-T5 T5在各种数据集上的指令微调提高预训练语言模型的可用性 参数:60M–11B 许可类型:Apache 2.0 发布日期: 2023年2月 论文: Scaling Instruction-Finetuned Language Models 总结 最后再补充2个刚刚发布的模型一个是llama-2这个我们文章也在前几天介绍了微调和使用的方法。另外一个就是昨天刚看到的新闻stabilityai发布的 FreeWilly2它是在 Llama2 70B 上微调的结果目前在open_llm_leaderboard上排第一。 开源大型语言模型正在迅速发展开源社区发布了许多模型。这些模型为开发人员、研究人员和爱好者提供了一个非常大机会可以在没有专有系统的情况下试验尖端的语言技术。随着越来越多的组织和个人为这些模型的发展做出贡献我们可以期待看到更强大、更容易使用和更创新的语言模型它们将塑造自然语言处理的未来。 https://avoid.overfit.cn/post/5c7d723571254111815fc08eb05f79c1 作者Manikanth