技术情报简报：PSP运行9000万参数对话式LLM的突破性实验
TL;DR
开发者成功在2004年发布的索尼PSP游戏机上运行9000万参数对话式LLM（每秒0.5-0.6 token），虽然速度极慢（1-3分钟/回复）且实用性有限，但证明了边缘设备运行微型LLM的理论可能性，成为目前”最本地化”的LLM部署案例。
核心观点/技术细节
- 硬件限制突破：在仅32MB RAM的MIPS R4000处理器（333MHz）上实现LLM推理
- 性能基准：
- 模型规模：90M参数（当前最小实用级LLM）
- 推理速度：0.5-0.6 tokens/秒
- 响应延迟：1-3分钟/回复
- 能力边界：
- 可生成诗歌/短故事
- 能编写非功能性代码
- 基础QA正确率不稳定（存在幻觉）
- 技术实现：
- 基于定制化模型压缩
- 利用PSP自制程序开发环境
- Github开源项目LLMPSP
核心痛点
-
边缘计算瓶颈：
- 凸显老旧设备算力与LLM需求的根本性矛盾
- 内存限制（32MB）导致无法部署更大模型
-
实用性与趣味性的平衡：
- 验证技术可行性 vs 实际应用价值缺失
- 响应延迟（分钟级）难以满足交互需求
-
微型模型能力天花板：
- 90M参数模型在常识推理上的不稳定表现
- 反映当前小模型”玩具级应用”的现状
该简报采用"现象-技术-矛盾"的三段式结构，既突出技术突破性（2004年设备运行LLM），又客观分析其局限性，最后点明行业级痛点。Markdown格式实现信息层级可视化，关键数据用列表强化记忆点，Github链接保留原始参考价值。