DeepSeek和chatGPT的技术参数分析，你更看好谁？

ChatGPT（全称Chat Generative Pre-trained Transformer，即聊天生成预训练转换器）是人工智能研究实验室OpenAI（开放人工智能研究中心[3]）在2022年11月30日发布的聊天机器人模型。

DeepSeek（全称杭州深度求索人工智能基础技术研究有限公司，中文简称深度求索），是一家以从事研究和试验发展为主的企业，专注于开发先进的大语言模型（LLM）和相关技术。

DeepSeek和ChatGPT在参数等方面各有特点，我们来看看具体比较：

对比图参考

参数量级

• DeepSeek：开放了7B/35B/120B等不同参数量级的模型，还有如DeepSeek-V2达236B总参数。

• ChatGPT：基于GPT-4等，闭源且参数量在175B+，如GPT-4有1.8万亿参数。

位置编码

• DeepSeek：采用RoPE+NTK扩展，能更好地处理长序列数据，在文本生成的长上下文理解上有优势。

• ChatGPT：使用ALiBi，能在一定程度上解决长序列依赖问题，提升模型对长文本的处理能力。

Attention机制

• DeepSeek：运用FlashAttention-3，相比ChatGPT的FlashAttention-2，能更高效地计算注意力，在处理大规模数据时可减少内存占用和计算时间。

• ChatGPT：FlashAttention-2也能提高计算效率，优化了注意力计算过程，提升模型训练和推理速度。

激活函数

• DeepSeek：使用SwiGLU Pro，可增强模型的非线性表达能力，有助于提高模型的性能和泛化能力。

• ChatGPT：采用GeGLU，能使模型在训练过程中更稳定地学习和捕捉语言中的复杂模式。

上下文窗口

• DeepSeek：通常为32k，可扩展至128k，在处理超长文本任务时更具优势。

• ChatGPT：一般在8k-32k之间，能满足大多数常规对话和文本处理需求，但处理超长文本能力相对弱一些。

预训练数据

• DeepSeek：预训练tokens达2.5T，中英数据比例为75%/25%，有七级质量过滤体系。

• ChatGPT：预训练tokens为1.8T，多语言混合，通过闭源清洗流程保证数据质量。

训练硬件

• DeepSeek：使用4096卡H800集群，在模型训练上具备强大的算力支持。

• ChatGPT：依靠10,000+V100集群，曾与微软耗费上万张英伟达A100芯片打造超算平台。

推理效率

• DeepSeek：在A100上Tokens/秒达3200，首token延迟120ms，7B模型显存占用14GB。

• ChatGPT：API的Tokens/秒为900，首token延迟350ms。

总体来说，DeepSeek在参数量开放选择、中文数据占比、推理效率等方面有优势，且支持本地化部署和微调；ChatGPT则在多语言支持、品牌知名度和生态系统方面表现出色。