🌟 阿里巴巴开源Qwen1.5-110B模型!性能超越预期!
阿里巴巴近日宣布开源了Qwen1.5系列的——Qwen1.5-110B模型!这是首个千亿参数开源模型,在基础能力评估中与Meta旗下的Llama3-70B模型不相上下,更在Chat评估中表现出色。该模型采用了Transformer解码器架构,支持长达32K tokens的上下文长度,并具备多语言支持。值得一提的是,该模型的性能提升主要来自于模型规模的增加,而非预训练方法的改变。在MT-Bench和AlpacaEval 2.0评估中,110B模型相较于72B模型有着显著的提升,再次证实了大规模模型在性能上的优势。Qwen1.5-110B模型作为系列中规模最大的模型,其性能更是超越了之前的72B模型。