AI手机便利背后的隐私危机:你的数据流向哪
源自80位全网作者
07-14 14:31
精选参考来源
1
大家好,我是明哥。假如在飞机上或者手机没有信号的地方要用AI怎么办?或者我是律师、医生,还有单位不能上网,要用AI。再就是发的内容不能上网,比如要发一些私密性比较强的东西,像财务、身体健康等等信息,需要用AI来做处理。但是又不想数据被训练,也不想数据被上传到云端,这些都不是问题,直接把大模型部署到手机或者电脑里面就可以了。
其实这些模型的能力也是比较强的,主要是它的隐私性很高,可以断网使用,还是0token消耗。手机上面部署的模型能力和速度具体怎么样?来测试一下。
·首先可以去GitHub上面下载一个Mnn,这是阿里旗下的软件,安全性肯定是没有问题的。这里已经安装好了,就来测试一下。
·点开,下面有三个菜单,一个是模型,一个是已经在这里面已经下载好的模型。点击进去就可以看到已经下载什么模型。模型市场里面有很多的模型,可以根据手机配置去下载一个模型。
·下的是千问3.54B的,其实感觉到应该可以下载千问3.59B的模型。上面还有这些菜单,可以下载文生图的,也可以下载音频理解、音频生成等等,还有视频理解。
·下载了千问3.54B的,就来测试一下它的性能怎么样。下载完以后,在我的模型这地方可以看到,把它点开,让它加载一下。现在可以跟它去对话了,可以看到它的速度是非常快的,每一秒可以达到8.69token,已经是非常快了。
再来试一下,可以看到速度达到9.23token了,并且这个诗也写得非常好,对于自己来说肯定写不了这么好的诗。再来测试一下,因为它是一个千问3.5B的,所以能够识别图片。刚才随便去一个短剧里面截了一张图,想让它去识别一下,看它能不能知道这张图是来自于哪个短剧。
这个任务就比较难了,不知道它能不能够做得到,帮我识别一下。发给它,推理速度就稍微有点慢了。把这个短句已经推理推出来了,并且把图片进行识别,包括人物穿着表情等等,推理的已经识别的就非常好了。
也就说模型的能力是非常强的,速度也很快,并且幻觉非常快。就是在幻觉方面还可以进行修改。点设置里面,现在这里面就可以对它参数进行修改,比如可以加入提示词,还可以去修改它的参数,比如topp的值。
·温度,像这个温度一般可以设置在0.7左右,这个是topp,可以设置在0.8-0.9。温度设置是根据工作来的,如果做的事情要求比较严谨,把它的温度打低一点,比如0.3-0.5都行。如果是要写小说之类的,可以把温度打的高一些,一般打到0.5-0.7就可以了。
·在测试里面也可以去测试一下它的性能以及占用内存的数。这个测试需要等待一下时间,可以看一下它的测试结果,它的填充速度以及解码速度都是比较快的。在内存使用巅峰的时候才使用了3.2G的内存,也是完全能够接受的。
所以如果想部署一个本地的模型到手机上面,就赶紧行动起来,其实也很简单,如果不清楚的也可以咨询我。
2
不用联网云端!本地运行大模型,这款AI工具实测超好用
全部
来源
来源
内容由AI生成
0
0
0评论
当前文章无评论,是时候发表评论了
提示信息
取消
确认
评论举报
最新文章
热门文章
已收藏
去我的收藏夹