【零基础入门】Open-AutoGLM 完全指南：Mac 本地部署 AI 手机助理（原理+部署+优化）附上修改后代码

摘要：本教程教你在 Mac (Apple Silicon) 上部署智谱 AutoGLM-Phone-9B 多模态大模型，实现完全本地化、隐私安全、零成本的手机 AI 助理。从原理到部署、从操作到优化，一文搞定！

代码路径： https://github.com/weidadedawei/Open-AutoGLM

目录

• 1. 什么是 Open-AutoGLM？
• 2. 核心原理解析
• 3. 环境准备（超详细）
• 4. 模型下载与部署
• 5. 实战操作指南
• 6. 性能优化详解
• 7. API 与进阶用法
• 8. 常见问题 FAQ

1. 什么是 Open-AutoGLM？

1.1 项目简介

Open-AutoGLM 是智谱 AI 开源的手机 AI 助理框架。它能让你的 Mac 变成一个"超级大脑"，通过 USB 或 WiFi 远程控制你的安卓手机，自动完成各种任务。

想象一下这些场景：

• “帮我在饿了么点一份黄焖鸡米饭”
• “打开微信给妈妈发消息说我今晚不回家吃饭”
• “在网易云音乐搜索周杰伦的歌并播放”
• “打开 B 站搜索 Python 教程”

这些以前需要你亲自动手的操作，现在只需一句话，AI 就能帮你完成！

1.2 为什么选择本地部署？

1.3 适合谁？

• 开发者：想了解 AI Agent 如何工作
• 隐私敏感用户：不希望手机截图上传云端
• 极客玩家：想在本地玩转多模态大模型
• 学习者：想学习 MLX、ADB、多模态模型的实际应用

2. 核心原理解析

2.1 AI Agent 工作原理

Open-AutoGLM 采用经典的 感知-思考-行动 (Perception-Thinking-Action) 循环：

┌─────────────────────────────────────────────────────────────┐
│ Agent 工作循环 │
├─────────────────────────────────────────────────────────────┤
│ │
│ ┌──────────┐ ┌──────────┐ ┌──────────┐ │
│ │ 感 知 │ ──→ │ 思 考 │ ──→ │ 行 动 │ │
│ │ │ │ │ │ │ │
│ │ 截图 │ │ 理解状态 │ │ 点击 │ │
│ │ UI解析 │ │ 规划步骤 │ │ 滑动 │ │
│ │ App状态 │ │ 生成指令 │ │ 输入 │ │
│ └──────────┘ └──────────┘ └──────────┘ │
│ ↑ │ │
│ └──────────────────────────────────┘ │
│ 循环执行 │
└─────────────────────────────────────────────────────────────┘

2.2 三层架构详解

感知层 (Perception Layer)

推理层 (Reasoning Layer)

AutoGLM-Phone-9B 是一个 视觉-语言模型 (VLM)：

输入: [系统提示] + [任务描述] + [手机截图]
↓
多模态编码器 (Vision Encoder)
↓
Transformer 推理
↓
输出: <think>推理过程</think><answer>{"action": "Tap", "element": [500, 300]}</answer>

模型会先在 <think> 标签中进行推理（类似 ChatGPT o1 的思考过程），然后在 <answer> 标签中输出具体的 JSON 操作指令。

执行层 (Execution Layer)

2.3 MLX 框架介绍

MLX 是苹果公司专门为 Apple Silicon (M1/M2/M3/M4) 开发的深度学习框架：

• 统一内存架构：GPU 和 CPU 共享内存，无需复制数据
• 延迟编译：只编译实际执行的代码路径
• 原生 Metal 加速：充分利用 Apple GPU

对于本项目，MLX 让我们能在 Mac 上高效运行 9B 参数的多模态模型！

3. 环境准备（超详细）

3.1 系统要求

3.2 安装 Python 环境

方法 A：使用 Homebrew + pyenv（推荐）

# 1. 安装 Homebrew (如果没有)
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

# 2. 安装 pyenv
brew install pyenv

# 3. 配置 shell (以 zsh 为例)
echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.zshrc
echo 'command -v pyenv >/dev/null || export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.zshrc
echo 'eval "$(pyenv init –)"' >> ~/.zshrc
source ~/.zshrc

# 4. 安装 Python 3.11
pyenv install 3.11.9
pyenv global 3.11.9

# 5. 验证安装
python –version # 应该显示 Python 3.11.9

方法 B：使用 Conda

# 1. 下载 Miniforge (适合 Apple Silicon 的 Conda)
curl -L -O https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-MacOSX-arm64.sh

# 2. 安装
bash Miniforge3-MacOSX-arm64.sh

# 3. 创建虚拟环境
conda create -n autoglm python=3.11
conda activate autoglm

3.3 安装 ADB 工具

ADB (Android Debug Bridge) 是连接 Mac 和安卓手机的桥梁。

# 使用 Homebrew 安装
brew install android-platform-tools

# 验证安装
adb version

3.4 配置安卓手机

步骤 1：开启开发者模式

不同品牌手机的位置可能略有不同。华为在"关于手机"，小米在"我的设备"。

步骤 2：开启 USB 调试

部分手机需要重启后设置才能生效！

步骤 3：连接并授权

adb devices
# 输出应该类似：
# List of devices attached
# ABCD1234567890 device

3.5 安装 ADB Keyboard

ADB Keyboard 是一个特殊的输入法，允许通过 ADB 命令输入中文。

adb install ADBKeyboard.apk

adb shell ime list -a | grep ADB
# 应该输出: com.android.adbkeyboard/.AdbIME

3.6 安装项目依赖

# 1. 克隆项目
git clone https://github.com/zai-org/Open-AutoGLM.git
cd Open-AutoGLM

# 2. 安装 MLX 相关依赖
pip install mlx "git+https://github.com/Blaizzy/mlx-vlm.git@main" torch torchvision transformers

# 3. 安装项目依赖
pip install -r requirements.txt
pip install -e .

# 4. 验证安装
python -c "import mlx; import phone_agent; print('安装成功！')"

4. 模型下载与部署

4.1 下载模型

方法 A：使用 HuggingFace CLI（推荐）

# 安装 CLI 工具
pip install -U "huggingface_hub[cli]"

# 设置国内镜像（可选，加速下载）
export HF_ENDPOINT=https://hf-mirror.com

# 下载模型（约 20GB）
huggingface-cli download –resume-download zai-org/AutoGLM-Phone-9B –local-dir ./models/AutoGLM-Phone-9B

方法 B：使用 ModelScope（国内最快）

pip install modelscope

python -c "from modelscope import snapshot_download; snapshot_download('ZhipuAI/AutoGLM-Phone-9B', local_dir='./models/AutoGLM-Phone-9B')"

4.2 启动运行

下载完成后即可运行：

python main.py –local –model ./models/AutoGLM-Phone-9B "打开微信"

4.3 可选：4-bit 量化（推荐 16GB 内存用户）

如果你的 Mac 内存只有 16GB，或希望更快的推理速度，可以对模型进行量化：

量化效果对比：

量化步骤：

# 执行量化转换（约 15-20 分钟）
python -m mlx_vlm.convert \\
–hf-path ./models/AutoGLM-Phone-9B \\
-q \\
–q-bits 4 \\
–mlx-path ./autoglm-9b-4bit

使用量化模型运行：

python main.py –local –model ./autoglm-9b-4bit "打开B站搜索二次元"

5. 实战操作指南

5.1 基础命令

交互模式：

python main.py –local –model ./models/AutoGLM-Phone-9B

# 然后输入任务：
> 打开微信
> 搜索张三并发送消息你好
> 退出

单任务模式：

python main.py –local –model ./models/AutoGLM-Phone-9B "打开抖音刷5个视频"

5.2 常用参数

5.3 任务示例

社交通讯：

python main.py –local –model ./models/AutoGLM-Phone-9B "打开微信给张三发消息说：下午三点开会"

电商购物：

python main.py –local –model ./models/AutoGLM-Phone-9B "打开淘宝搜索蓝牙耳机按价格排序"

美食外卖：

python main.py –local –model ./models/AutoGLM-Phone-9B "打开美团外卖点一份黄焖鸡米饭"

视频娱乐：

python main.py –local –model ./models/AutoGLM-Phone-9B "打开B站搜索Python教程"

音乐播放：

python main.py –local –model ./models/AutoGLM-Phone-9B "打开网易云音乐搜索周杰伦的晴天并播放"

5.4 WiFi 远程调试

无需 USB 线也能控制手机！

步骤 1：开启无线调试

步骤 2：连接设备

# 连接远程设备
adb connect 192.168.1.100:5555

# 验证连接
adb devices

# 使用远程设备执行任务
python main.py –local –model ./models/AutoGLM-Phone-9B \\
–device-id 192.168.1.100:5555 \\
"打开抖音刷视频"

5.5 支持的操作类型

6. 性能优化详解

6.1 内置优化（自动生效）

我们在代码中实现了三项关键优化：

优化 1：智能图像降采样

现代手机屏幕动辄 2K/4K，直接处理太慢。系统自动将图像长边限制在 1024 像素以内。

优化 2：KV Cache 量化

推理时启用 kv_bits=8，将 KV Cache 从 FP16 量化到 INT8：

• 显存占用降低约 30%
• 推理速度略有提升

优化 3：显存强制回收

每步推理后强制执行 mx.clear_cache() 和 gc.collect()：

• 防止"越用越卡"
• 长时间运行保持稳定

6.2 手动优化建议

6.3 性能参考

在 Mac Studio M1 Max (32GB) 上使用 4-bit 量化模型：

完整任务示例：“打开网易云音乐搜索歌曲一滴泪的时间播放”

• 总步数：6 步
• 总耗时：约 2 分 18 秒

7. API 与进阶用法

7.1 Python API 调用

from phone_agent import PhoneAgent
from phone_agent.model import ModelConfig
from phone_agent.agent import AgentConfig

# 配置模型
model_config = ModelConfig(
model_name="./models/AutoGLM-Phone-9B",
is_local=True,
max_tokens=3000,
temperature=0.1,
)

# 配置 Agent
agent_config = AgentConfig(
max_steps=50,
verbose=True,
lang="cn",
)

# 创建并运行
agent = PhoneAgent(
model_config=model_config,
agent_config=agent_config,
)

result = agent.run("打开抖音刷3个视频")
print(f"任务结果: {result}")

7.2 自定义回调函数

处理敏感操作和人工接管场景：

def my_confirmation(message: str) –> bool:
"""敏感操作确认（如支付）"""
print(f"检测到敏感操作: {message}")
return input("是否继续？(y/n): ").lower() == "y"

def my_takeover(message: str) –> None:
"""人工接管（如登录验证）"""
print(f"需要人工操作: {message}")
input("完成后按回车继续…")

agent = PhoneAgent(
confirmation_callback=my_confirmation,
takeover_callback=my_takeover,
)

7.3 批量执行任务

tasks = [
"打开微信给张三发消息：会议改到下午4点",
"打开支付宝查看余额",
"打开美团查看最近订单",
]

for task in tasks:
result = agent.run(task)
print(f"完成: {task}")
agent.reset()

7.4 配置参数参考

ModelConfig 参数：

AgentConfig 参数：

8. 常见问题 FAQ

Q1: 设备未找到

adb devices # 输出为空

解决方案：

adb kill-server
adb start-server
adb devices

常见原因：

• 数据线是纯充电线
• 没有在手机上授权
• 开发者选项未正确开启

Q2: 模型加载失败 / 下载中断

# 使用断点续传
huggingface-cli download –resume-download zai-org/AutoGLM-Phone-9B –local-dir ./models/AutoGLM-Phone-9B

# 或使用国内镜像
export HF_ENDPOINT=https://hf-mirror.com

Q3: 内存不足 (Killed / MemoryError)

Q4: 文本输入不工作

adb shell ime list -a | grep ADB

Q5: 截图失败 (黑屏)

这是系统安全机制，某些应用（支付、银行）禁止截图。模型会自动请求人工接管。

Q6: 运行变慢 / 卡顿

# 终止并重新启动
Ctrl+C
python main.py –local –model ./models/AutoGLM-Phone-9B "你的任务"

Q7: WiFi 连接失败

Q8: Windows/Linux 编码问题

# Windows
set PYTHONIOENCODING=utf-8

# Linux
export PYTHONIOENCODING=utf-8