开发者将破解后的索尼 PS5 当作本地 AI 服务器:利用 GPU 加速运行 27B 参数 Qwen3.8-27B 模型,速度达 20.9 token/s - 爱游戏体育网页版

据IT之家10月17日消息,外媒Wccftech报道,开发者abhi245y在资深AI工程师Mert Cobanov的PS5LM(llama.cpp移植项目)基础上,开发了原生GPU应用PS5LM Plus,使破解后的PS5主机能在本地运行Qwen3.8-27B等大型语言模型。

IT之家获悉,早期版本的PS5LM主要依赖CPU运行模型,执行27B参数模型时,平均每分钟仅能生成约1个token。为提升性能,开发者abhi245y移植了Mesa开源项目中的AMD RADV驱动,并通过Vulkan计算接口使llama.cpp能以原生应用形式在PS5上运行。这一改进将可用内存从约6GB提升至11.4GB,让主机能够运行高度量化的Qwen3.8-27B模型。

得益于PS5较高的内存带宽(448GB/s),Qwen3.8-27B的生成速度可达每秒20.9个token。测试期间,GPU使用率达到100%,CPU使用率仅为2%。对于规模更小的模型,PS5还能实现更高的生成速度,例如Gemma 4 E4B约为每秒61个token,Llama 3.2 3B则达到每秒124个token。

除了利用PS5的GPU加速模型推理,PS5LM Plus还内置网页聊天界面,并可通过局域网8081端口提供API服务,用户可通过同一网络中的其他设备访问页面,与本地运行的模型对话。该项目还兼容OpenAI和Anthropic API,方便opencode、Codex、Claude Code等工具调用PS5上运行的模型。通过爱游戏网页访问,用户也能便捷地使用这些功能。

对于一台主要面向游戏设计的主机而言,PS5能够充当本地AI服务器,为大模型推理提供GPU加速,展示了其硬件在游戏之外的应用潜力。不过,该机配备的16GB RAM统一内存仍然限制了模型的选择和运行质量。此外,运行原生版llama.cpp需要先对PS5进行越狱,可能会导致游戏机及PSN账号被封禁等风险。