体验在AMD Ryzen AI和Radeon上运行DeepSeek R1精简版"推理"模型
推理模型是一类新型的大型语言模型(LLMs),通过链式思维(CoT)推理来解决高度复杂的任务,其代价是响应时间较长。DeepSeek R1是最近发布的前沿“推理”模型,已被提炼成功能强大的小型模型。目前,可以通过LM Studio,轻松将这些DeepSeek R1精简版模型部署到AMD Ryzen AI处理器和Radeon显卡上,并可以使用。
推理模型在生成最终输出之前加入了一个“思考”阶段——用户可以通过展开“思考”窗口看到模型给出最终答案前的推理过程。与传统的大型语言模型(LLMs)直接生成单次响应不同,链式思维(CoT)推理模型会在回答前进行广泛的推理。LLM所做的假设和自我反思对用户是可见的,这提高了模型的推理和分析能力——尽管这意味着首次(最终输出)token的响应时间会显著增加。
推理模型可能会在生成最终响应之前,先花费数千个token来分析和处理问题(您可以查看这一思维链!)。这种方法使得模型在解决涉及数学和科学的复杂问题时表现出色,能够从多角度深入分析问题后再得出最终答案。根据您的AMD硬件配置,这些模型将在您的AMD Ryzen AI处理器或Radeon显卡上提供最先进的推理能力。
如何在 AMD Ryzen AI和 Radeon显卡上运行 DeepSeek R1精简版"推理"模型
请按照以下简单步骤操作,仅需几分钟(具体时间取决于下载速度)即可开始运行 DeepSeek R1 精简版模型。
请确保您使用的是可选驱动程序 Adrenalin 25.1.1,您可以通过点击此链接直接下载。
第一步:请确保您已安装 25.1.1 可选版本或更高版本的 Adrenalin 驱动程序。
第二步:请从 lmstudio.ai/ryzenai 下载 LM Studio 0.3.8 或更高版本。
第三步:安装 LM Studio 后,您可直接跳过引导屏幕。
第四步:安装LM Studio后,您可以点击“发现”选项。
第五步: 选择您的DeepSeek R1 Distill。像Qwen 1.5B这样的小型Distill提供了极速的性能(并且是推荐的起点),而更大的Distill则提供更强的推理能力。它们都具有极强的能力。以下表格详细列出了最大推荐的DeepSeek R1 Distill尺寸:
* = AMD推荐将所有Distill运行在Q4 K M量化模式。
1 = 需要将可变显存设置为自定义:24GB。
2 = 需要将可变显存设置为高。
* = AMD推荐将所有Distill运行在Q4 K M量化模式。
1 = 列出在没有部分GPU卸载的情况下最大支持的Distill。
第六步:在右侧,确保选择了“Q4 K M”量化模式,然后点击“下载”。
第七步:下载完成后,返回聊天选项页,从下拉菜单中选择DeepSeek R1 distill,并确保勾选了“手动选择参数”选项。
第八步:在GPU卸载中,将滑块移到最大值。
第九步:点击“模型加载”。
第十步:与完全在本地AMD硬件上运行的推理模型进行交互!
注释
GD-97 - 提供第三方网站链接仅为方便之用,除非明确声明,AMD对这些链接网站的内容不负责任,也不表示任何形式的认可。
GD-220e - Ryzen AI被定义为结合了专用AI引擎、AMD Radeon图形引擎和Ryzen处理器核心的组合,能够启用AI功能。需要OEM和ISV支持,某些AI功能可能尚未针对Ryzen AI处理器进行优化。Ryzen AI与以下处理器兼容:(a)AMD 锐龙 7040和8040系列处理器以及锐龙 PRO 7040/8040系列处理器,但不包括锐龙 5 7540U、锐龙 5 8540U、锐龙 3 7440U和锐龙 3 8440U处理器;(b)AMD 锐龙 AI 300系列处理器和AMD 锐龙 AI PRO 300系列处理器;(c)所有AMD 锐龙 8000G系列桌面处理器,但不包括锐龙 5 8500G/GE和锐龙 3 8300G/GE;(d)AMD 锐龙 200系列处理器和锐龙 PRO 200系列处理器,但不包括锐龙 5 220和锐龙 3 210;(e)AMD 锐龙 AI Max系列处理器和锐龙 AI PRO Max系列处理器。在购买之前,请与您的系统制造商确认功能的可用性。
免责声明:本文章由会员“极目新闻”发布如果文章侵权,请联系我们处理,本站仅提供信息存储空间服务如因作品内容、版权和其他问题请于本站联系