微软准备塞进Windows的AI,现在能先拆开玩了。
11月19日,微软开源Aion 1.0 Instruct:23亿参数,MIT许可,权重挂在Hugging Face上免费下。同一天,它住进Edge浏览器,接替原来的Phi-4-mini。至于Windows系统内置版,要等到2027年1月底——这次是浏览器先行,系统殿后。小红书小红书知乎小红书
但先泼盆冷水:现在打开Ollama想拉它?拉不了。截至11月20日,llama.cpp、LM Studio、Ollama都还不认这个架构。想在本地跑权重,得打社区补丁、自己编译,更新一次还得重编一次。知乎
所以这个模型眼下有三条路,两条还在施工。

路一:零安装,Edge里直接用
这是今天唯一能走通的路。门槛比上一代砍了近半:显存3GB、磁盘剩20GB就行。上一代Phi-4-mini的门槛是5.5GB显存、硬盘跌到10GB就删模型。支持Windows 10/11、macOS 13.3以上,Linux要Vulkan驱动加Edge 159。小红书知乎
首次调用才下载,全机共用一份。下完断网也能跑。不想装?打开官方Edge Demos站,Summarizer里喂长文试压缩,Rewriter里试换语气,不注册不收费。知乎

两件事得知道:Edge 158起,内置模型生成的文字带不可见水印。设置里关掉端侧AI,模型会被删掉,也不再下载。小红书小红书
路二:权重到手,量化版再等等
MIT许可意味着随便下、随便改。但微软先发的是未量化bfloat16权重,官方量化版还在路上,加载要trust_remote_code=True加Transformers 5.x。社区量化已经出炉。两位作者自测:Q4档1.6GB左右,和原版选同一个词的比例93%–96%,比较稳;压到1.3GB,四个词里会挑错将近一个。速度还反直觉——单张A10上Q4每秒出210个token,比Q8的158更快,瓶颈在显存带宽,不在算力。小红书知乎
能干什么、不能干什么,比怎么装更重要
它适合四件事:做摘要、改语气、按格式抽字段、把长文档压成要点。数据留在本机,省掉上传的顾虑。知乎
别拿它做知识问答:知识截止2025年12月。模型卡自己承认会漏细节、会一本正经说错话,复杂多步推理跟不上。小红书知乎
成绩单也别全信。MMLU 55.15、IFEval 83.9看着不错,但全是微软自测,没有第三方复现。GSM8K那74.91是宽松口径——答案里出现正确数字就算对,推理写歪也放过。硬数看MMLU-Pro 33.35、GPQA 28.18:合格,离可依赖还远。小红书知乎

架构上有个聪明设计:28层里只有7层完整注意力,其余21层只回看2048个token。好处是32K上下文的缓存只要约1.1GB,长文档不爆显存;代价是远处的细节它看不见,三万字规范里抽全表格编号,会很吃紧。知乎
一句话结论
你的活在那四件事里,今天就用Edge,不必买硬件也不必编译;想替掉Ollama做日常问答,等上游正式收编这个架构;想当离线百科,直接放弃,换哪个版本都一样。
当前文章无评论,是时候发表评论了