📂 AI工具

Strata:12GB 显存就能跑 1250 亿参数 Qwen3.8

Strata 的作用是把 Qwen3.8-Flash-Next(1250 亿参数)拆成显卡、内存、SSD 三层跑在 Windows 10/11 和 Linux 上,并在本机 127.0.0.1:8080 开出 OpenAI 与 Anthropic 兼容接口,给 Claude Code、Codex CLI 这类编码代理直接连。

硬件是硬门槛:显卡要 12GB 显存起(NVIDIA RTX 20/30/40/50 系,或 AMD RX 6800/6900/7900/9000 系),内存 32GB 起、64GB 才能跑满所有档位,硬盘留 80GB;模型权重首次约 70GB,启动时会把 35~55GB 装进内存并锁一部分给显卡。

Strata:12GB 显存就能跑 1250 亿参数 Qwen3.8-剑客网-第4张图片

下载地址

资源说明
官方https://github.com/Niko1221/Strata/releases
123云盘https://1626683.share.123pan.cn/123pan/ekeA-RCqw?pwd=8888#

官网地址:https://github.com/Niko1221/Strata 版本:v0.2.3(2026-10-23 发布,引擎包 0.1.48) 体积:Windows CUDA12 包 738.4MB、CUDA13 包 615.2MB、HIP(AMD)包 524.6MB、RDNA3 专用包 219.7MB、增量更新包 106.5MB;模型权重另算约 70GB。

安装:按显卡选 CUDA12 / CUDA13 / HIP 包,装完首次启动自动拉模型,可中断续传;启动那 1~3 分钟机器会明显卡顿,属正常。

蓝奏:超过 100MB,不传。

功能介绍

三层分工:显存、内存、SSD 各管一段

模型由 24576 个「专家」组成,每写一个词只调用其中 10 个。Strata 把最常用的约 4000 个专家常驻显卡,全部专家摊在内存,29GB 的查找表放 SSD。官方实测 RTX 5070(12GB)+ 64GB 内存:IQ3_S 档 53 tok/s、Q2_0 档 94 tok/s;RTX 3090(24GB)约 100~140 tok/s。

Strata:12GB 显存就能跑 1250 亿参数 Qwen3.8-剑客网-第5张图片

本机接口:OpenAI / Anthropic 双协议

聊天、监控、设置都在浏览器 http://127.0.0.1:8080 里。接编码代理时填 OpenAI 兼容地址 http://127.0.0.1:8080/v1,走 Anthropic 协议的填 http://127.0.0.1:8080/v1/messages;Claude Code 设 ANTHROPIC_BASE_URL=http://127.0.0.1:8080 就能用,API key 随便填,模型名也随便填。支持图片输入,也支持两三张显卡分担同一个模型。

Strata:12GB 显存就能跑 1250 亿参数 Qwen3.8-剑客网-第6张图片

软件信息

项目内容
软件名Strata
版本v0.2.3(2026-10-23 发布)
大小Windows CUDA12 包 738.4MB;CUDA13 包 615.2MB;HIP 包 524.6MB
许可证MIT
平台Windows 10/11、Linux(另有 macOS 安装包)
官方地址https://github.com/Niko1221/Strata

AI工具箱

左右滑动换一页 · 点赞优先