AMD挑战英伟达：全新本地运行AI聊天机器人已经实现

AMD最近宣布了一项新技术，允许用户在本地设备上运行基于GPT的大型语言模型（LLM），从而构建专属的AI聊天机器人。这项技术支持在配备XDNA NPU的Ryzen 7000/8000系列处理器以及内置AI加速核心的Radeon RX 7000系列GPU上运行。用户需要下载相应版本的LM Studio软件来实现这一功能。

AMD强调，拥有本地AI聊天机器人的好处包括无需互联网连接即可运行，以及对话数据可以保留在本地系统上，增强了隐私保护。AMD在其博客文章中提供了详细的运行步骤，并通过具体的用例来说明如何操作。例如，如果用户想运行Mistral 7b模型，可以搜索“TheBloke/OpenHermes-2.5-Mistral-7B-GGUF”；如果想运行LLAMA v2 7b模型，则搜索“TheBloke/Llama-2-7B-Chat-GGUF”。

此举是对英伟达上个月发布的Chat with RTX技术的回应。英伟达的Chat with RTX是一个技术演示应用，允许用户定制自己的聊天机器人，通过连接到开源的LLM（如Mistral或Llama 2）并使用本地文件作为数据集，结合了检索增强生成、TensorRT-LLM和NVIDIA RTX加速技术。支持的文件类型包括.txt、.pdf、.doc/docx、.xml等，用户只需提供文件夹路径，AI便能在数秒内将文件加载到库中。

AMD的这一步骤不仅展示了其在AI领域的最新进展，也体现了其与竞争对手英伟达在提供更加个性化和本地化AI解决方案方面的竞争。对于有兴趣利用自己设备上的AI能力的AMD用户来说，这提供了一个很好的机会，让他们能够探索和实现更多的AI应用场景。