Grok-1：马斯克xAI发布的开源AI大模型，可商用
Grok-1是什么？
Grok-1是马斯克旗下AI公司xAI发布的开源AI大模型，其参数量达到了3140亿，远超OpenAI GPT-3.5的1750亿。这是迄今参数量最大的开源大语言模型，遵照Apache 2.0协议开放模型权重和架构。
Grok-1是一个混合专家（Mixture-of-Experts，MOE）大模型，这种MOE架构重点在于提高大模型的训练和推理效率，形象地理解，MOE就像把各个领域的“专家”集合到了一起，遇到任务派发给不同领域的专家，最后汇总结论，提升效率。决定每个专家做什么的是被称为“门控网络”的机制。
Grok-1模型的公开发布，为研究人员和开发者提供了一个新的大型语言模型资源
Grok-1的主要特性
xAI还特别强调了Grok-1的几大特性：
- 首先，Grok-1是一个未针对特定任务进行微调的基础模型，它基于大量文本数据训练而成；
- 其次，作为一款基于混合专家技术构建的大语言模型，Grok-1拥有3140亿参数，在处理每个token时有25%的权重处于活跃状态；
- 最后，Grok-1是xAI团队使用JAX和Rust编程语言自定义训练栈从零开始训练的成果，训练完成于2023年10月。
Grok-1的技术参数
基础信息：
模型大小：3140亿参数，其中混合了8名专家（2名活跃）
活动参数：860亿
特色技术：使用旋转嵌入（Rotary Embeddings，简称#rope），而非固定位置嵌入
模型结构细节:
分词器词汇量：131,072（与GPT-4相似），即2^17
嵌入尺寸：6,144（48*128）
架构层数：64层变压器层
每层结构：包含一个解码器层，具有多头注意力块和密集块
键值大小：128
多头注意力块:
查询头数量：48
键/值（KV）头数量：8
KV大小：128
密集块（Dense Block）:
加宽系数：8
隐藏层大小：32,768
每个代币从8名专家中选择2名
旋转位置嵌入:
尺寸：6,144，与模型的输入嵌入大小相同
上下文长度：8,192个标记
精度：bf16
如何使用Grok-1？
xAI已经将Grok-1的权重和架构在GitHub上开源。
打不开?
建议使用不会屏蔽网址的浏览器。如果浏览器提示该网站违规，并非真的违规。而是浏览器厂商屏蔽了这个站。推荐原生态不会屏蔽网站的浏览器，苹果可以用自带的浏览器，Alook浏览器、X浏览器、VIA浏览器、微软Edge等。
通常打不开都是因为网络问题。好的网站会针对三大运营商(电信、移动、联通)进行优化，所以小网站会遇到一些网络打不开。一劳永逸的话，我们推荐使用加速器（将自己的网络切换成更稳定的运营商，比如电信）。部分网站需要科学上网，比如google等（这边不推荐，除非你真的用于学习资料的查询。）
以上三点均能解决99.99%网站打不开的问题了。如有疑问，可在线留言，着急的话也可以通过QQ在线联系我们。
数据评估
本站 做视频AI导航网提供的 Grok-1：马斯克xAI发布的开源AI大模型，可商用都来源于网络，不保证外部链接的准确性和完整性，同时，对于该外部链接的指向，不由 做视频AI导航网实际控制，在 2024年3月18日 下午11:20收录时，该网页上的内容，都属于合规合法，后期网页的内容如出现违规，可以直接联系网站管理员进行删除， 做视频AI导航网不承担任何责任。
