超长上下文！Dolphin 2.2 Yi 34B 200K - GGUF模型概览

• 模型创建者: Eric Hartford

• 原始模型: Dolphin 2.2 Yi 34B 200K

• 模型描述: 这个仓库包含了Eric Hartford的Dolphin 2.2 Yi 34B 200K模型的GGUF格式文件。

GGUF格式简介

• GGUF是由llama.cpp团队在2023年8月21日引入的新格式，旨在替代不再支持的GGML格式。

• 支持GGUF的客户端和库包括llama.cpp、text-generation-webui、KoboldCpp、GPT4All、LM Studio、LoLLMS Web UI、Faraday.dev、llama-cpp-python和candle等。

量化方法与文件

• 采用不同的量化方法（如Q2_K、Q3_K_S、Q4_K_M等）来优化模型文件大小和性能。

• 提供了不同位数（如2位、3位、4位等）的GGUF模型，以便在CPU+GPU环境下进行推理。

兼容性

• 这些量化的GGUFv2文件从2023年8月27日的llama.cpp提交d0cee0d开始兼容。

• 同时兼容多个第三方用户界面和库。

使用场景

• Dolphin 2.2 Yi 34B 200K模型特别适用于多轮对话和共情交流，采用了筛选过的数据集以去除偏见和对齐问题。

• 建议用户在作为服务公开模型之前实施自己的对齐层，因为模型可能会对任何请求（包括不道德的请求）表现出高度的合规性。

训练与数据集

• 训练由Convai赞助，使用qLoRA和Axolotl框架，耗时3天在4x A100s上完成3个epochs的训练。

• 数据集包括Dolphin、Airoboros以及Samantha和WizardLM的数据子集，用于增强创造力和多轮对话能力。

使用指南

• 提供了使用不同客户端和库，包括Python代码中使用llama-cpp-python或ctransformers库的方法。

• 提供了与LangChain整合使用的指南。

贡献与支持

• Eric Hartford感谢chirper.ai团队、Clay和其他在开源AI社区中提供帮助的人。

• 提供了Patreon和Ko-Fi链接，以便用户可以财务上支持他的工作。

模型卡片链接

• Dolphin 2.2 Yi 34B 200K模型卡片

总结

Dolphin 2.2 Yi 34B 200K是一个高度先进且多功能的AI模型，它结合了最新的量化技术和GGUF格式，使得在多种平台和配置下都能有效运行。该模型的开发集中在提高交互质量和共情能力，适用于需求高度个性化和长时间多轮对话的应用场景。同时，Eric Hartford强调了负责任地使用这种强大工具的重要性。