20. 结果几个月的折腾,我终于把本地大模型搞好了,现在我的日常工作需求都可以使用本地AI模型来完成,我只要负责看结果和提修改要求。[大金牙]
先说配置:E5 2666V3,32G内存,2080ti 22G
使用大模型:hermes运行的qwen3.6 27b,用llama.cpp的turboquant分支,全部加载到显存,kv压缩使用turbo3,256k上下文,如果加载多模态就要降到128k上下文。能跑20-30 tokens/s
然后说说我的工作内容:
一个是数据统计,每个月都要统计数据做表格,其实挺烦的。尤其是原始数据的表格都乱七八糟,要把几个表格里的内容挑出来再合起来。我就一步一步教它每张表格要哪些数据,最后它总结一下就自己会了![赞]然后再让把数据存起来,就可以按时间段查询和汇总,简直太方便了。
第二个就是写PPT,网上有很多开源PPT软件,但是适合自己的才是最好的。所以我下载了好几个试用,最后让它自己拼了一个出来。现在写PPT时,它会遵循先调研后规划,最后行动的顺序来写。然后还能根据我给的大纲和模板来写。[小鼓掌]完全够用了。
唯一遗憾的是,插图部分不能完全免费,因为电脑运行大模型的时候,就不能运行comfyui。要么切换到Deepseek的API,再使用hermes控制comfyui出图。要么调用小云雀的API。我之前买过小云雀的,所以画图不要钱,等会员过期再想办法吧。[我想静静]
三是知识库,我工作需要看大量指南文献,麻烦的是引用的时候经常忘记在哪看的。每次翻指南翻好久。[黑线]知识库也是综合了网络上流行的,参考uptodate的样子构建网页,加入wikillm和知识图谱,主要是回答的时候能带上原文位置。[灵光一闪]
第四个,检查作业,启用多模态能以后hermes绑定微信,用微信直接拍照识别,我女儿那鸡爪字经常识别错,不过是她活该。[笑哭]题目识别没问题,做题也做的好。[送心]
现在折腾基本结束,也算松了口气[笑哭]
随便再说说几个模型使用的感觉对比吧,换了好几个模型,对我最合适的就是qwen3.6 27b,大小正好放进显存,稠密模型速度虽慢,但是足够聪明。gemma4 12b昨天刚试过,速度微微提升,但是它撑不住hermes。用Deepseek的API调用它处理图片和文档都不错,但是让它独立使用hermes来做事就不行了,傻乎乎的。[抠鼻]qwen3.5 3.6和gemma4的几个MOE模型也是一样,实际调用的专家太少,智商有问题,不合适。[我想静静]还是稠密模型用着舒服。