树莓派跑Llama-3-8B?能动≠好用,4GB内存是道生死线

源自79位全网作者

05-18 12:13

精选参考来源

1
阿里开源 Qwen3.5-Plus!三千行代码一次生!超强性能超低价格
2
Google 今天发布了 Gemma 4,这是他们迄今最强的开源模型家族,脱胎于 Gemini 3 的同一套研究成果。最大的变化是许可证。之前的 Gemma 用的是 Google 自家的许可协议,限制不少。这次 Gemma 4 全系列换成了 Apache 2.0 开源协议,商用、修改、分发都没障碍。对企业和独立开发者来说,这意味着可以放心把模型嵌入自己的产品,不用再反复研究条款里的灰色地带。Gemma 4 提供四个尺寸:31B Dense、26B MoE(混合专家架构)、E4B 和 E2B。其中 31B 在 Arena AI 开源模型文本排行榜上排第三,26B 排第六,Google 称它们的表现超过了体量大 20 倍的模型。大模型支持 256K 上下文窗口,可以一次性喂入长文档或整个代码仓库。有意思的是端侧能力。E2B 和 E4B 两个小模型是 Google 和 Pixel 团队、高通、联发科联合开发的,能跑在手机、树莓派、Jetson Nano 上,延迟接近零。小模型还额外支持音频输入和语音理解。想在手机上跑一个能看图、听话、还能离线写代码的本地 AI 智能体,现在有了一个不错的开箱即用选项。31B 模型不做量化的情况下,可以装进单张 80GB 的 H100 显卡。全系列原生支持函数调用和结构化 JSON 输出,直接面向 AI Agent 开发场景。目前已经可以在 Google AI Studio、Hugging Face、Kaggle、Ollama 等平台获取模型权重。Gemma 系列自发布以来累计下载量已超过 4 亿次,社区创建了超过 10 万个变体。Google 显然想用开源生态绑住开发者。不过在 Arena AI 开源排行榜上,目前前列位置大量被中国开源模型占据,Gemma 4 的 31B 排第三,能守住多久是个问号。 宝玉xp的微博视频
全部
来源
内容由AI生成

精选参考来源

1. 阿里开源 Qwen3.5-Plus!三千行代码一次生!超强性能超低价格

2. Google 今天发布了 Gemma 4,这是他们迄今最强的开源模型家族,脱胎于 Gemini 3 的同一套研究成果。最大的变化是许可证。之前的 Gemma 用的是 Google 自家的许可协议,限制不少。这次 Gemma 4 全系列换成了 Apache 2.0 开源协议,商用、修改、分发都没障碍。对企业和独立开发者来说,这意味着可以放心把模型嵌入自己的产品,不用再反复研究条款里的灰色地带。Gemma 4 提供四个尺寸:31B Dense、26B MoE(混合专家架构)、E4B 和 E2B。其中 31B 在 Arena AI 开源模型文本排行榜上排第三,26B 排第六,Google 称它们的表现超过了体量大 20 倍的模型。大模型支持 256K 上下文窗口,可以一次性喂入长文档或整个代码仓库。有意思的是端侧能力。E2B 和 E4B 两个小模型是 Google 和 Pixel 团队、高通、联发科联合开发的,能跑在手机、树莓派、Jetson Nano 上,延迟接近零。小模型还额外支持音频输入和语音理解。想在手机上跑一个能看图、听话、还能离线写代码的本地 AI 智能体,现在有了一个不错的开箱即用选项。31B 模型不做量化的情况下,可以装进单张 80GB 的 H100 显卡。全系列原生支持函数调用和结构化 JSON 输出,直接面向 AI Agent 开发场景。目前已经可以在 Google AI Studio、Hugging Face、Kaggle、Ollama 等平台获取模型权重。Gemma 系列自发布以来累计下载量已超过 4 亿次,社区创建了超过 10 万个变体。Google 显然想用开源生态绑住开发者。不过在 Arena AI 开源排行榜上,目前前列位置大量被中国开源模型占据,Gemma 4 的 31B 排第三,能守住多久是个问号。 宝玉xp的微博视频

3. 盘点一周AI大事(5月3日)|Google上线AI口语陪练 Google IO即将发布Gemini 4和Veo 4 Gemini上线原生文件生成 Google推出AI衣柜 Google翻译上线AI口语陪练 Claude 接入50多款创作软件,能直接操作Photoshop修图、做海报,接管Blender建模,用Ableton创作音乐 英伟达开源全模态模型Nemotron 3 Nano Omni 研究员训练出复古大模型talkie KAIKAKU发布食品大模型Epicure 研究员开源突破性智能体协作框架Recursive MAS Moonlake上线Blender智能体Moonlake 3D Agent #前沿科技趋势发布月 #AI新星计划 #AI #AIGC #大模型

4. 【老湿基】树莓派 Pi5 完全版介绍

5. #OpenClaw安装教程# 🦞 龙虾AI(OpenClaw)一键部署教程 | 免费本地运行别再只是聊天了!龙虾AI是一个能真正帮你做事的开源AI智能体——自动整理文件、定时同步数据、抓取信息、管邮箱……📦 环境要求Node.js ≥ 22内存 ≥ 8GB支持 macOS / Linux / Windows🚀 3步部署(保姆级)Step 1:安装 Node.js 22# 推荐 nvm 安装curl -o- 网页链接 | bashnvm install 22nvm use 22Step 2:一键安装龙虾curl -fsSL 网页链接 | bashStep 3:运行配置向导openclaw onboard --install-daemonopenclaw gateway status搞定!打开浏览器访问:网页链接⚠️ 关键一步:部署后记得开启完整工具权限,否则只能聊天:openclaw config set tools.profile full💡 实用技能推荐文件整理:自动归类桌面/下载文件夹定时任务:日程提醒、定期备份社交管理:批量处理消息日志分析:排查问题神器💰 为什么免费?开源项目,代码公开透明本地部署,无需云服务器可对接免费AI模型(AWS Claude免费额度、MiniMax等)🔗 链接汇总官网:网页链接文档:网页链接社区:网页链接技能市场:网页链接一台老电脑就能跑,旧Mac、树莓派、闲置笔记本都能用有问题评论区留言,手把手帮你搞定 🙌

6. 澳报告:当学生把思考外包给AI,教育怎么办

7. 网络热门AI鉴定25 —— AI视频美少女替身是怎么做的?|微星 EdgeXpert 本地部署 AI 教程

8. 这一次,钢铁侠的Javis要跑到设备上

9. AI在用| 没错,树莓派5也能飙上Llama 3了!

10. Maix-EMC深度学习模型的嵌入式部署

11. 毫秒级检测!你见过带GPU加速的树莓派吗?

12. 有了GPT,树莓派都变高级了

13. 你现在可以在笔记本电脑、手机和树莓派上运行 AI 模型 LLaMA

14. 树莓派能跑多模态AI了,这才是Gemma 4的真正意义

15. 从Rock3A试玩看国产派与树莓派的差距

16. 香橙派与树莓派的区别

17. 【ai技术】(4):在树莓派上,使用qwen0.5b大模型+chatgptweb,搭建本地大模型聊天环境,速度飞快,非常不错!

18. 想要用树莓派跑人工智能,但是不知道买树莓派的哪个版本合适?

19. AI 辅助开发实战:基于树莓派智能家居毕设的高效构建与避坑指南

20. 树莓派AI扩展板HAT+ 2登场:40 TOPS推理算力,板载8GB内存

21. 大 GPU 不需要大主机!树莓派也能跑 LLM 和多卡推理!

22. 树莓派 AI HAT+ 2 重磅发布!在树莓派 5 上玩转生成式人工智能!

23. 树莓派推出首款生成式AI HAT产品

24. 百元级主板的AI:树莓派本地运行谷歌Gemma 4

25. 从零部署你的 AI 助手:OpenClaw 树莓派完全指南

26. 30B大模型在树莓派上实时运行,这件事颠覆了我对边缘AI的认知

27. 太疯狂了!300亿参数的Qwen模型在树莓派上实时运行!

28. 本地AI模型真可用了! 在树莓派5上运行Gemma 4 | Zero to MVP

29. 树莓派跑AI代理:1台200块小电脑干翻月租300的云服务

30. 树莓派5:给你的AI Agent一个身体——运行OpenClaw、Hermes与Claude Code的曼妙体验与无限游戏

31. 树莓派5+RTX5060Ti封神!大神自制本地AI工具,免费还能自我扩展

32. 新突破:30B Qwen大模型在树莓派5上流畅运行

33. 被神化的“预训练”,被低估的“推理”:我如何让一个7B模型在树莓派上跑出ChatGPT 3.5的效果

34. 树莓派接入 OpenClaw 开源方案打造口袋版 AIAgent

35. 真的能跑!国外开发者成功用树莓派本地跑 Gemma 4 大模型

36. 树莓派5实测Qwen3.5:2B/4B/9B全跑通,小设备也能玩本地AI

37. 树莓派5也能跑Gemma 4 E4B?实测12秒生成50token,隐私AI的物联网

38. 32.3k Stars!1比特大模型,老电脑也能跑AI了

39. 树莓派AI提速神器!Coral Edge TPU + YOLO实战指南,让 YOLO 模型推理快到飞起

40. 树莓派AI扩展板HAT+2登场:40TOPS推理算力,板载8GB内存

41. 两行命令在树莓派5上部署Qwen3.5 轻量AI模型

42. 谷歌的反攻:当Gemma 4用31亿参数击穿开源

43. 树莓派5上运行Gemma 4:令人惊讶的可用本地人工智能设置

44. Gemma 4 在树莓派 5 上运行:一套出人意料地可用的本地 AI 方案

45. 树莓派发布HAT+ 2 扩展版,用于本地推理AI,很鸡肋的产品

46. 树莓派5跑Gemma4,实测速度翻倍,16GB内存能玩多大模型

47. 在树莓派上部署 OpenClaw:打造你的私人 AI 代理

48. 树莓派5本地跑大模型 6分钟出结果

49. 30分钟、零基础、在家上手:树莓派上的AI助手,手慢无

50. 在树莓派5上部署大模型:一次关于资源优化与量化模型实战的深度复盘

51. 树莓派本地AI语音助手(ASR+LLM+TTS)

52. 炸裂!上海晶珩树莓派 + JishuShell:OpenClaw 秒级部署!

53. 大模型量化部署进阶:从 INT8/INT4 原理到高性能推理实战

54. 树莓派上 AI 代理框架有那么多,为什么 OpenClaw 火了起来?

55. 树莓派 AI 扩展板 HAT+ 2 登场:40 TOPS 推理算力,板载 8GB 内存

56. 树莓派4B部署Qwen-0.5B 中文聊天模型

57. 树莓派5 × ARM架构:75美元解锁边缘AI,免费领《树莓派汇编器》实战指南

58. 谷歌Gemma4本地部署硬件配置与安装教程

59. OpenClaw + 树莓派5大真实落地案例,上海晶珩客户都在这么用!

60. 大模型应用:大模型量化:INT4与INT8核心差异、选型指南及代码实现.53

61. 在树莓派5上运行Gemma 4:出乎意料好用!

62. LM Studio 重磅更新!ARM64 Linux 原生适配,树莓派也能跑本地AI

63. 【双语+纯享】🚀 Gemma 4+树莓派5!震惊揭秘:4.5GB微型AI模型竟打造💡惊艳本地化部署新玩法

64. 赛博养娃:和树莓派CM0进行AI对话!

65. 嵌入式AI模型选型指南:离线轻量、本地大模型与云端API怎么选?

66. 我尝试在树莓派5上实现 OpenClaw 自主学习!

67. 实验记录:树莓派本地部署小龙虾(OpenClaw)

68. 树莓派部署 OpenClaw 完全指南

69. 树莓派边缘计算系统搭建与压缩感知(OMP)算法落地踩坑实录

70. 如何用树莓派 + AI 搭建一套低成本智能家居中枢?

71. OpenClaw端侧部署文章分享:ZeroClaw的树莓派CM0部署方案

72. 【智能边缘】不同边缘设备能运行的AI模型

73. 我在树莓派上跑了Gemma 4:边缘AI的现状和坑

74. 嵌入式-模型量化实战:从FP32到INT8的完整落地指南

75. 树莓派 5 跑 DeepSeek R1 实测:8GB 和 16GB 内存差距到底有多大?

76. TensorFlow模型量化实战:把FP32压成INT8

77. 我尝试在树莓派5和Hailo AI HAT+ 2上,运行本地大语言模型!

78. 树莓派5 vs 瑞芯微Rock 5C:本地AI编程助手实测对比 🧠

79. 树莓派 AI HAT+ 2 在实际应用中是否具备优势?

0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章