开源应用 Llama for Windows 正式发布:一键下载模型,轻松在电脑本地玩转 AI
Hugging Face 与 llama.cpp 联合推出开源 Windows 应用 Llama for Windows,整合模型下载、GGUF 量化推理、快捷启动与本地服务器,降低个人电脑运行大模型门槛。
发布时间:2026/10/16 03:03|分类:人工智能
Llama for Windows 是由 Hugging Face 与 llama.cpp 团队相关开发者联合推出的开源应用,作为 macOS 版 Llama 应用的 Windows 对应版本,基于微软 WinUI3 技术构建,免费开源,主要运行在 Windows 11 系统通知区域。用户可通过任务栏图标打开控制面板,连接 Hugging Face 仓库,查看推荐模型列表、参数规模、磁盘占用及视觉功能支持,点击即可自动下载模型并显示进度。
该应用主要采用 GGUF 格式量化模型,通过降低参数精度减少存储和内存占用,使普通硬件也能运行大模型。应用会列出本地已下载模型,支持直接加载或卸载,并内置网页界面进行对话和查看后台运行状态。底层以 llama.cpp 为核心,无需管理员权限,支持 Windows 11 的 x64 和 ARM64 平台,对 Arm 处理器及英伟达 RTX Spark 平台提供良好支持。
此外,用户在其他应用中按 Alt+Space 可调出浮动聊天窗口,也可在本机启动兼容 OpenAI 接口规范的本地服务器,默认地址为 https://localhost:9931,供本地脚本或 AI 代理调用,多款应用可共享同一模型文件。隐私方面,提示词输入和推理过程全部在本机完成,不收集遥测数据、分析事件或生成安装标识符;下载模型和获取更新时需联网,并携带系统与处理器架构等标准标识。