约束与限制

创建模型的通用约束如下：

• 需要是Fabric支持的基模型，否则不支持，基模型列表如下：

  表1 基模型列表

  基模型类型	描述
  QWEN_2_72B	Qwen2在包括语言理解、生成、多语言能力、编码、数学和推理在内的多个基准测试中，超越了大多数以前的开放权重模型，与专有模型表现出竞争力，参数规模为720亿。
  GLM_4_9B	GLM-4-9B是智谱AI推出的最新一代预训练模型GLM-4系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中表现出较高的性能，参数规模为90亿。
  LLAMA_3_8B	作为Llama系列的第三代模型，Llama3在多个基准测试中实现了全面领先，性能优于业界同类先进的模型。该模型参数规模为80亿。该模型使用了大规模的中文数据进行预训练，扩大了中文字符集的覆盖范围。
  LLAMA_3_70B	作为Llama系列的第三代模型，Llama3在多个基准测试中实现了全面领先，性能优于业界同类先进的模型。该模型参数规模为700亿。
  LLAMA_3.1_8B	Llama3.1是首个公开可用的模型，在常识、可操纵性、数学、工具使用和多语言翻译等方面已接近顶级AI模型。它支持高级用例，例如长篇文本摘要、多语言对话智能体和编码助手。该模型使用了大规模的中文数据进行预训练，扩大了中文字符集的覆盖范围。该模型参数规模为80亿。
  LLAMA_3.1_70B	Llama3.1是首个公开可用的模型，在常识、可操纵性、数学、工具使用和多语言翻译等方面已接近顶级AI模型。它支持高级用例，例如长篇文本摘要、多语言对话智能体和编码助手。该模型参数规模为700亿。

• 模型格式需要为safetensors的格式。safetensors是Huggingface推出的一种可靠、易移植的机器学习模型存储格式，用于安全地存储Tensor，而且速度快。样例如下：
  图1 模型文件样例
  

  格式要求可以参考模型样例，地址如下：

  基模型类型	模样例名称	模型来源
  LLAMA_3_8B	Llama 3 8B Chinese Instruct	https://www.modelscope.cn/models/FlagAlpha/Llama3-Chinese-8B-Instruct
  LLAMA_3_70B	Llama 3 70B	https://huggingface.co/meta-llama/Meta-Llama-3-70B-Instruct
  LLAMA_3.1_8B	Llama 3.1 8B Chinese Chat	https://modelscope.cn/models/XD_AI/Llama3.1-8B-Chinese-Chat
  LLAMA_3.1_70B	Llama 3.1 70B	https://huggingface.co/meta-llama/Llama-3.1-70B-Instruct
  QWEN_2_72B	Qwen 2 72B Instruct	https://huggingface.co/Qwen/Qwen2-72B
  GLM_4_9B	Glm 4 9B Chat	https://huggingface.co/THUDM/glm-4-9b-chat