244
206
超长上下文！Dolphin 2.2 Yi 34B 200K - GGUF模型概览
2023-12-28 16:12:09
0点赞
1收藏
0评论
模型创建者: Eric Hartford
原始模型: Dolphin 2.2 Yi 34B 200K
模型描述: 这个仓库包含了Eric Hartford的Dolphin 2.2 Yi 34B 200K模型的GGUF格式文件。
GGUF格式简介
GGUF是由llama.cpp团队在2023年8月21日引入的新格式，旨在替代不再支持的GGML格式。
支持GGUF的客户端和库包括llama.cpp、text-generation-webui、KoboldCpp、GPT4All、LM Studio、LoLLMS Web UI、Faraday.dev、llama-cpp-python和candle等。
量化方法与文件
采用不同的量化方法（如Q2_K、Q3_K_S、Q4_K_M等）来优化模型文件大小和性能。
提供了不同位数（如2位、3位、4位等）的GGUF模型，以便在CPU+GPU环境下进行推理。
兼容性
这些量化的GGUFv2文件从2023年8月27日的llama.cpp提交d0cee0d开始兼容。
同时兼容多个第三方用户界面和库。
使用场景
Dolphin 2.2 Yi 34B 200K模型特别适用于多轮对话和共情交流，采用了筛选过的数据集以去除偏见和对齐问题。
建议用户在作为服务公开模型之前实施自己的对齐层，因为模型可能会对任何请求（包括不道德的请求）表现出高度的合规性。
训练与数据集
训练由Convai赞助，使用qLoRA和Axolotl框架，耗时3天在4x A100s上完成3个epochs的训练。
数据集包括Dolphin、Airoboros以及Samantha和WizardLM的数据子集，用于增强创造力和多轮对话能力。
使用指南
提供了使用不同客户端和库，包括Python代码中使用llama-cpp-python或ctransformers库的方法。
提供了与LangChain整合使用的指南。
贡献与支持
Eric Hartford感谢chirper.ai团队、Clay和其他在开源AI社区中提供帮助的人。
提供了Patreon和Ko-Fi链接，以便用户可以财务上支持他的工作。
模型卡片链接
总结
Dolphin 2.2 Yi 34B 200K是一个高度先进且多功能的AI模型，它结合了最新的量化技术和GGUF格式，使得在多种平台和配置下都能有效运行。该模型的开发集中在提高交互质量和共情能力，适用于需求高度个性化和长时间多轮对话的应用场景。同时，Eric Hartford强调了负责任地使用这种强大工具的重要性。
