开源医疗AI的崛起：探索Meditron的创新路径与实践应用

"Meditron" 是一套由瑞士洛桑联邦理工学院（EPFL）的研究人员开发的开源医疗大型语言模型（LLMs）。它基于Llama-2构建，改编自Nvidia的Megatron-LM分布式训练器，并扩展了对综合策划的医疗语料的预训练。这个语料库包括精选的PubMed文章、摘要和国际认可的医学指南​​​​。

Meditron 旨在成为世界上表现最佳的针对医疗领域的开源大型语言模型，旨在帮助指导临床决策。它是一种深度学习算法，经过大量文本的训练，学习单词之间的数学关系​​。

https://arxiv.org/abs/2311.16079

Meditron 系列包括例如 Meditron-7B 的模型，它有70亿参数，从 Llama-2-7B 适应到医疗领域。这种适应包括在医疗语料库上的持续预训练，该语料库包括精选的PubMed文章、摘要和一套新的国际认可的医学指南​​。

性能方面，Meditron-70B 超过了如 GPT-3.5 和 Med-PaLM 这样的闭源LLMs，并接近 GPT-4 和 Med-PaLM-2 的性能水平。开发人员已经发布了策划医疗预训练语料库和 Meditron 模型权重的代码，以推动更有能力的医疗LLMs的开源开发​​。

像 Meditron 这样的医疗LLMs的发展代表了 AI 驱动的医疗研究和应用领域的重要进步。作为开源项目，Meditron 为进一步研究和开发 AI 在医疗领域的应用提供了宝贵的资源。

作者声明本文无利益相关，欢迎值友理性交流，和谐讨论～