您已经在为能够比大多数云服务更好地运行人工智能模型的硬件付费了。您可能尚未开始使用它。
如果您拥有一台配备苹果自研芯片的苹果电脑，或一台配备良好图形处理器的个人电脑，您就可以在本地运行通义千问 3.5 版本（90 亿参数）。这是一个在多项基准测试中表现优于开放人工智能公司的生成式预训练开源版 1200 亿参数模型，且体积小 13 倍的模型。它可以在苹果笔记本电脑轻量版上运行。初始下载后无需任何费用。无需订阅。无需 API 密钥。无数据离开您的设备。
但问题在于。您在笔记本电脑上设置了 LM 工作室。您下载了一个模型。您与它聊天。然后您从书桌旁起身，拿出手机，又回到了每月向开放人工智能公司支付 20 美元的状态。模型仍在运行。您的笔记本电脑仍开着。您只是没有好的方式来访问它。
离网应用解决了这个问题。它会自动发现您网络上的 LM 工作室服务器，并允许您从手机使用它们。无需网络地址。无需端口号。无需配置。
您需要什么
在您的电脑上：
- LM 工作室已安装（免费，可在苹果电脑、微软视窗系统、类 Unix 系统上运行）
- 至少下载一个模型（如果您的设备拥有 16 吉字节以上内存，我推荐通义千问 3.5 版本（90 亿参数））
在您的手机上：
- 安装离网应用（安卓安装包或苹果移动系统应用商店）
- 连接到与您电脑相同的无线网络
这就是完整列表。
步骤 1：启动 LM 工作室服务器
打开 LM 工作室。点击左侧边栏中的开发者选项卡。加载您想使用的模型。将服务器切换至“启动”。
这是关键部分：勾选标有“在局域网上提供服务。”的框。这使您的 LM 工作室实例可被您无线网络上的其他设备访问。LM 工作室处理其余一切——无需防火墙规则，无需环境变量，无需终端命令。
您将在开发者选项卡顶部看到一个 URL。类似于http://192.168.1.x:1234。您无需记下这个。离网应用会自动找到它。
步骤 2：打开离网应用并扫描
在手机上打开离网应用。进入远程模型部分。点击“扫描网络”。
离网应用扫描您的局域网以查找已知端口上的活动服务器。当它找到您的 LM 工作室实例时，它会拉取您加载的所有模型列表并显示它们。点击其中一个。开始聊天。响应像 LM 工作室自己的界面那样逐个词元流式传输。
整个设置过程比注册一个聊天机器人账户花费的时间更少。
实际操作中的真实感受
在您手机上运行的 30 亿参数模型与在您苹果电脑上运行的 90 亿参数模型之间的差异并不细微。这是在能处理基本问题的助手与能推理复杂问题、写作出色且理解细微差别的助手之间的差异。
配备 M 系列二代或更新代际的苹果笔记本电脑 Pro 版上的通义千问 3.5 版本（90 亿参数）运行速度为每秒 30 到 50 个词元。这足够快，让响应感觉是即时的。而且因为所有内容都保留在您的局域网内，延迟是以毫秒计算的，而不是您在使用云端 API 时得到的数百毫秒。
一些在网络上行得通但在设备上挣扎的事情：
长文档分析。粘贴一份 10 页的合同或研究论文并要求摘要。90 亿参数模型拥有 262,000 词元的上下文窗口。您手机的 30 亿参数模型会对此感到吃力。
代码审查。分享一个函数并询问可能出错的地方。90 亿参数模型能捕捉到边界情况
免责声明：本文内容来自互联网，该文观点不代表本站观点。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，请到页面底部单击反馈，一经查实，本站将立刻删除。
