一、下载Strata
通过显存、系统内存与硬盘的协同调度,让硬件配置有限的普通电脑也有机会运行高达 1250 亿参数(125B) 的超大语言模型。即使你的显卡只有 8GB 显存,也不一定意味着你只能使用小参数模型,本地运行大模型的硬件门槛有望进一步降低。
开源神器Strata Gi他Hub下载地址:【点击前往】 夸克网盘:【点击前往】
二、加载本地模型
1.本地配置软件检测

2.无论N卡还是A卡软件匹配 自动下载引擎包

3.根据配置自动推荐下载模型(核心竞争力)

3.模型分片 分别放入显存 内存 硬盘
