AMD Ryzen AI CPU 和 Radeon RX 7000 GPU 现支持本地运行 LLM 和 AI 聊天机器人

2024-3-8 11:24:15

 IT之家 3 月 7 日消息,AMD 公司今天发布公告,表示用户可以本地化运行基于 GPT 的大语言模型(LLM),从而构建专属的 AI 聊天机器人。

AMD 表示用户可以在包括采用 AMD 新 XDNA NPU 的 Ryzen 7000 和 Ryzen 8000 系列 APU,以及内置 AI 加速核心的 Radeon RX 7000 系列 GPU 设备上,本地运行 LLM 和 AI 聊天机器人。

AMD 在公告中详细介绍了运行步骤,例如运行 70 亿参数的 Mistral,搜索并下载“TheBloke /OpenHermes-2.5-Mistral-7B-GGUF”;如果运行 70 亿参数的 LLAMA v2,搜索并下载“TheBloke / Llama-2-7B-Chat-GGUF”。

 



本站所刊登的各种新闻﹑信息和各种专题专栏资料,均为浙江热线版权所有,未经协议授权禁止下载使用。
编辑QQ:2383424132 电话13681102741
Copyright © 2000-2013 http://www.zhejrx.com All Rights Reserved