Muse Glimmer 把 30B Agent 模型装进 24 GB。真正的部署契约还包括内存、延迟、工具、状态、权限与恢复。
"PrismML 称 1-bit Bonsai 27B 只需 3.9GB、在 iPhone 上达到每秒 11 token,并保留 FP16 平均分的 89.5%。这几个数字分别意味着什么?"