ChatGLM：智谱 AI 发布的中英双语千亿对话模型

ChatGLM：智谱 AI 发布的中英双语千亿对话模型

ChatGLM是什么？

ChatGLM是智谱 AI 发布的中英双语千亿对话模型。基于千亿基座模型 GLM-130B，注入代码预训练，通过有监督微调等技术实现人类意图对齐，具备问答、多轮对话、代码生成功能的中英双语大模型。

ChatGLM可以做什么？

ChatGLM系列模型具备以下主要能力：

1. 逻辑推理：模型具备广博的知识面以及灵活的知识关联能力，并通过注入代码预训练加强了推理能力；可以根据输入的指令提示，迅速联想出相关的大量知识及概念，并找出最适合的推理链条。
2. 内容创作：模型可以根据用户的输入生成相关的内容，这可以用于自动写作，生成文章，故事，诗歌等。
3. 代码生成：通过注入代码预训练，模型可以生成代码，这可以用于自动编程，代码补全等。
4. 信息提取：模型可以从输入的文本中提取关键信息，这可以用于文本分析，信息摘要等。
5. 问答和多轮对话：模型可以理解和回答用户的问题，也可以进行多轮的对话。这可以用于构建智能对话系统，如聊天机器人，客服机器人等。

以上是智谱AI语言大模型的主要能力，具体的应用可能会根据模型的版本和配置有所不同。

ChatGLM有什么特性？

具体来说，ChatGLM-6B具备以下特点：

• 充分的中英双语预训练：ChatGLM-6B在1:1比例的中英语料上训练了1T的token量，兼具双语能力。
• 优化的模型架构和大小：吸取GLM-130B训练经验，修正了二维RoPE位置编码实现，使用传统FFN结构。6B（62亿）的参数大小，也使得研究者和个人开发者自己微调和部署ChatGLM-6B成为可能。
• 较低的部署门槛：FP16 半精度下，ChatGLM-6B 需要至少 13 GB 的显存进行推理，结合模型量化技术，这一需求可以进一步降低到 10GB（INT8） 和 6GB（INT4），使得 ChatGLM-6B 可以部署在消费级显卡上。
• 更长的序列长度：相比 GLM-10B（序列长度1024），ChatGLM-6B序列长度达2048，支持更长对话和应用。
• 人类意图对齐训练：使用了监督微调（Supervised Fine-Tuning）、反馈自助（Feedback Bootstrap）、人类反馈强化学习（Reinforcement Learning from Human Feedback）等方式，使模型初具理解人类指令意图的能力。输出格式为markdown，方便展示。

ChatGLM成果演示

由ChatGLM生成的对话效果展示：