PalmClaw：面向手机的原生端侧智能体框架

PalmClaw：面向手机的原生端侧智能体框架

arXiv:2607.13027v1 [cs.CL] 2026年7月14日

项目下载地址：https://github.com/ModalityDance/PalmClaw/releases/latest

摘要

大语言模型（LLM）智能体已不再局限于文本生成，可通过调用工具、观测返回结果、迭代决策完成多步骤复杂任务。现有绝大多数智能体框架运行于桌面端或云端服务器，依托工具链实现任务自动化。手机是极具价值的智能体运行载体：普及率极高，存储用户隐私数据、搭载各类传感器与日常应用。

现有移动端智能体普遍基于图形界面（GUI）操作实现控制，通过点击、滑动、输入完成指令，存在三大缺陷：① 高层任务会拆解为超长界面操作序列，页面布局变动极易失效；② 无法直接读取设备底层资源与传感器数据；③ GUI操作权限宽泛，缺少针对单任务的访问限制与执行边界管控。

本文提出PalmClaw——一套开源手机原生端侧智能体框架，会话管理、记忆存储、技能库、工具集、智能体循环全部在设备本地运行。框架将手机硬件能力封装为标准化设备工具，提供规范入参、结构化返回结果、细粒度执行边界约束。该设计让智能体直接调用手机原生能力，同时所有操作显式可控。
实验结果：对比最优基线，任务完成成功率相对提升11.5%，平均任务耗时降低94.9%；部署配置门槛更低，边界校验用例完整验证权限与文件访问管控逻辑。

关键词：端侧大模型；移动端智能体；设备原生工具；任务自动化；执行权限边界

1 引言

1.1 LLM智能体发展现状

基于LLM的智能体依托工具调用、环境观测、多轮迭代循环实现自主任务执行。面对复杂用户指令，智能体自动拆解子步骤、调用工具、观察反馈并持续迭代动作直至任务完成，可实现信息检索、文件管理、工作流自动化等复杂操作。

主流智能体框架（AutoGen、AgentScope、OpenClaw）将会话、记忆、技能、工具、推理循环全部部署在电脑或云端，依托桌面环境完成调度。

1.2 移动端部署智能体的核心价值

1.3 现有移动端GUI智能体的固有缺陷

当前移动端智能体均依赖屏幕点击、滑动、输入等GUI交互，存在三大短板：

终端原生智能体（Codex CLI、Claude Code、Gemini CLI）已证明标准化工具调用优于纯界面操作，本文将该思路落地移动端，提出PalmClaw。

1.4 PalmClaw核心设计与核心贡献

PalmClaw完整智能体逻辑全部运行在手机本地，通过设备工具封装硬件能力，提供标准化参数、结构化返回、权限/文件访问边界，无需外接电脑/云端调度。

核心贡献

2 相关工作

2.1 通用智能体框架

ReAct、Toolformer奠定推理+工具调用基础；AutoGen、AgentScope、OpenClaw封装完整智能体系统，但全部部署于电脑/云端。PalmClaw创新将全套智能体组件迁移至手机本地。

2.2 移动端智能体研究

现有移动端基准与系统：AndroidWorld、MobileAgentBench、Mobile-Bench、AgentCPM-GUI、Mobile-Agent-v3.5；ApkClaw、MobileClaw、ClawMobile均基于GUI界面操作实现手机控制。
与上述工作区别：PalmClaw不依赖屏幕交互，直接在设备本地运行完整智能体框架，通过标准化设备工具调用底层硬件能力。

3 框架整体设计

3.1 整体架构概述

PalmClaw所有任务执行组件运行于手机本地：会话模块管理多轮交互、持久记忆存储历史信息、技能库封装通用任务流程、设备工具对接手机硬件；智能体循环串联全部组件完成多轮推理与工具调用。
LLM推理请求转发至远程API，上下文组装、工具执行、会话状态持久化完全保留在本地，整体打包为独立安卓应用。

3.2 智能体核心组件

（1）会话 Sessions

统一管理三类输入：本地聊天消息、远程联动消息、定时唤醒自动消息；
每个会话独立存储对话历史、工具调用日志、附件、专属工作目录（存放临时文件/生成产物）；
多任务隔离，新输入自动分配至已有会话或新建会话，支持跨轮次持续执行任务。

（2）记忆 Memory

双层持久化记忆架构：

（3）技能 Skills

以SKILL.md文件存储可复用任务流程指令，分为内置技能与用户自定义技能；
每轮推理自动加载：常驻技能完整加载、其他技能通过匹配用户指令关键词选择性加载，仅加载相关技能减少上下文冗余。
内置技能覆盖日程、文件、通讯、自动化等高频移动端场景。

（4）工具 Tools（核心创新模块）

设备工具层打通模型调用与手机底层资源，每个工具包含两部分：

3.3 端侧完整执行流程

（1）上下文组装

输入绑定会话后，从6类数据源拼接推理上下文：

（2）智能体循环（Agent Loop）

基于ReAct范式的有界多轮循环：

（3）工具执行与三层边界校验

工具调用进入本地执行链路前，强制三层校验，全部通过才可执行硬件操作：

4 实验评估

4.1 三大研究问题

RQ1：端侧框架+设备工具能否高效完成移动端各类任务？
RQ2：全本地部署是否降低外部部署与运维成本？
RQ3：设备工具如何落地权限、目录等执行边界管控？

4.2 实验环境与数据集

（1）数据集

（2）对比基线

（3）硬件与模型

测试设备：小米Redmi 2312DRAABC，Android 13（SDK33）；
统一大模型：DeepSeek-V4-Flash；
MobileClaw额外视觉模型：Qwen3.7-Plus；
轮次限制：PalmClaw单任务最大30轮，GUI基线100轮（界面操作需大量观测轮次）。

4.3 RQ1：任务完成效果评测

表1 任务完成指标总览

核心结论：

4.4 RQ2：部署运维成本对比

表2 部署环境与配置开销对比

结论：

4.5 RQ3：执行边界管控实例分析

通过运行日志案例展示三层校验机制落地效果，工具调用不会获得无限制设备操作权限，触发边界时自动拦截并引导用户处理。

案例1：日历权限缺失

用户指令：明天10点和Alex新建会议
边界触发：日历工具无系统读写权限
处理逻辑：拉起安卓系统授权弹窗，用户授予权限后继续执行；拒绝权限则返回明确错误，告知用户缺少日历权限，不会伪造任务完成结果。

案例2：工作目录文件访问隔离

用户指令：将购物清单保存至/sdcard/list.txt
边界触发：路径超出当前会话专属工作目录，需要全局文件访问权限
处理逻辑：无法通过简易弹窗授权，自动跳转应用设置页面，提示用户手动开启全部文件访问权限。

附录补充边界场景汇总表
表3 执行边界典型场景

5 结论

本文提出PalmClaw移动端原生端侧智能体框架，整套会话、记忆、技能、工具、推理循环全部运行于手机本地，通过标准化设备工具封装硬件能力，内置参数、权限、工作目录三层执行边界管控。
在MobileTask数据集上，相比最优基线任务成功率提升11.5%，平均完成耗时下降94.9%，部署配置成本最低；日志案例完整验证权限与文件隔离机制。
研究证明手机可作为完整智能体运行载体，将移动端智能体研究从纯屏幕GUI操作，拓展至直接、可控调用设备底层能力的全新方向。

伦理说明

PalmClaw所有设备操作显式可控：工具统一注册、参数强校验；敏感操作依赖安卓系统权限或人工确认；文件操作严格限制会话工作目录。
开发者需向用户清晰告知远程LLM服务商会接收提示词、工具返回结果、任务上下文；本文实验全部使用公开/构造数据集，不采集用户真实隐私数据。

附录A 补充细节

A.1 单轮推理上下文完整构成

单次智能体推理上下文包含6类信息：系统配置、运行环境、全局长期记忆、激活技能、对话与工具日志、全部工具规范，附录附图展示完整样例。

A.2 数据集与评测指标

MobileTask数据集构建规则

源数据集：AndroidWorld、MobileAgentBench、Mobile-Bench；
筛选标准：① 不依赖固定GUI路径；② 不绑定第三方App状态；③ 不偏向纯GUI智能体；剔除动态日期、实时天气、重复日历等不稳定任务，最终70条任务。

AssistantBench筛选规则

原始开发集33条，保留19条答案稳定可校验样本；剔除实时动态结果、无法客观判定答案的任务。

评测指标细则

表4 数据集分类统计

附图说明

图1：传统移动端智能体（桌面/云端中转GUI指令）vs PalmClaw本地原生智能体架构对比

图2：PalmClaw完整框架数据流总图

图3：内置技能与工具分组总览

图4：权限、工作目录两类执行边界运行日志轨迹

图5：单轮推理完整上下文样例

图6：PalmClaw App界面截图（模型服务商配置、日历任务执行、权限申请弹窗、系统设置页）