欢迎光临
我们一直在努力

借助小鸿AI硬件给AI Agent 装上耳朵和嘴巴,我的贾维斯活了

借助小鸿 AI 的硬件能力,猫哥给AI Agent装上了耳朵和嘴巴,从此属于我的贾维斯活啦!

还在用某猫精灵?对着它喊"放首歌",它放一首固定的歌,然后就没有然后了。早过时了。

小鸿 AI 这块硬件,我给它换了个活法——它现在不是"智能音箱",它是 AI Agent 的耳朵和嘴巴。说话有人听,命令有人干,一句话就能指挥一个真正的 AI 干活。

在这里插入图片描述

打造桌面贾维斯:小鸿_AI_项目解析

先认识一下小鸿 AI硬件

小鸿 AI(XiaoHong AI)是一款国产智能语音硬件,麻雀虽小五脏俱全:

  • CI1302 语音芯片:负责麦克风拾音、唤醒词检测(喊一声"你好小鸿"它就醒)、音频解码播放,是"耳朵和嘴巴"的硬件底座
  • WS63 无线模组:提供 WiFi 联网能力,让硬件可以连上局域网里的任何服务
  • 240×240 LCD 屏:显示状态、音量、对话内容,不再是一块"瞎"硬件
  • 实体按键:音量加减、唤醒/配网快捷键

它原来被绑定在一个固定的云端聊天后台里——问天气、放歌,功能就锁死在那几样上。硬件底子是好的,却被软件锁住了。这个项目要做的事,就是把这把锁撬开。

开源项目地址:https://atomgit.com/xiaohong-ai

在这里插入图片描述

这个项目是什么

一句话:把小鸿 AI 从云端后台里解放出来,变成一个通用的"语音外设",通过 MCP Server 接到任何一个 AI Agent 上。

它不再是"智能音箱",也不再是聊天机器人,而是 AI Agent 的耳朵(麦克风 + 唤醒 + ASR 识别)和嘴巴(TTS 播报)。从此 AI 有了感官:

你说话 → 小鸿听到 → Agent 听懂 → Agent 干活 → 小鸿开口回答

不用打字,不用点鼠标,开口就是命令。

项目地址

  • MCP Server 主项目:https://atomgit.com/qq8864/xiaohong-mcp-server
  • 小鸿 AI 终端侧配套(精简固件):https://atomgit.com/xiaohong-ai/xiaohong-fbb_ws63
  • 主推配合的 AI Agent — AtomCode:https://atomgit.com/atomgit_atomcode/atomcode

实现方案与思路

在这里插入图片描述

设计思想

核心思路就三步:

  • 硬件能力抽象化:把小鸿的"拾音/唤醒/播放"封装成 6 个标准 MCP 工具——voice_speak(说话)、voice_listen(监听)、voice_wait_input(等待用户说话)、voice_status(状态)、voice_abort(打断)、voice_play_audio(播放音乐/音频)。任何支持 MCP 的 Agent 拿到这 6 个工具,就等于拿到了一副耳朵和一张嘴。
  • 传输标准化:同时支持 stdio(子进程直连)、HTTP(Streamable HTTP)、SSE 三种 MCP 传输,主流 Agent 开箱即用。
  • 链路自研到底:音频流式编解码(opus)、多路 ASR(Whisper / 豆包流式)、分块流式播放、语音输入事件推送,全部在 Server 端实现,不依赖云。
  • 架构框图

    在这里插入图片描述

    几个值得一提的实现

    • 语音输入闭环:你喊唤醒词 → 小鸿自动进入监听(不需要 Agent 下发指令)→ 音频流式上传 → 豆包流式 ASR 转文字 → 文字推送给 Agent(stdio 推 notifications/voice_input / HTTP SSE 推事件 / voice_wait_input 工具等待)。Agent 收到就能接话,替代键盘打字。
    • 分块流式播放:音乐不是等整个文件解码完才播,而是边下边解边播,启动快、内存低,4 分钟的长音频也流畅,音质走 opus 96kbps + sinc 重采样 + 正确立体声混音,能听。
    • 说停就停:播放/监听中随时 voice_abort,立刻打断,不像某些音箱喊破喉咙还在自嗨。
    • 可在线调试:Web 面板实时显示 WS 收发日志和每一次唤醒识别结果,链路哪里断了,一眼看出来。

    音乐播放这一项,就能玩一整天

    给它一个链接,它就能放:本地音乐、网络音频 URL(mp3/wav/flac/aac 都行)。

    4 分钟的长歌流畅播放,音质认真做过。更爽的是说停就停。

    主推搭配:AtomCode

    这个项目的"大脑"我主推 AtomCode——一个住在终端里的开源 AI 编码助手,Claude Code 的开源替代方案:

    • 极致性能:用 Rust 构建,启动快、响应快、资源占用低
    • 连接任意大模型:AtomGit OAuth 一键登录,或任意 OpenAI 兼容 API Key,想用哪家模型用哪家
    • 全自动干活:给它一个自然语言任务,自主读取、编辑、运行、自我验证,把活干完
    • 好玩的开源生态:斜杠命令、会话撤销、Skills 扩展、Plugin 系统(与 Claude Code 生态兼容),30+ 内置命令
    • 完美配合本项目:通过 .mcp.json 一行配置就能把 6 个语音工具挂进去

    {
    "mcpServers": {
    "xiaohong": {
    "url": "http://127.0.0.1:8080/mcp"
    }
    }
    }

    配好后,AtomCode 就有了耳朵和嘴巴——它问你问题,你直接开口答;它想放首歌,让它自己放。更多好玩玩法待你探索!

    接入哪个 Agent 都行

    项目不挑食,任何支持 MCP 的 Agent 都能接:AtomCode、Claude、Cline……或者自己写个 Python 脚本调 MCP 接口。想用哪家 AI,就用哪家 AI。小鸿只是"感官",大脑随便换。

    折腾的过程,本身就是乐趣

    整个项目开源可改:固件端有精简版(把 OTA、字库下载这些没用的全砍了,只留核心),Server 端 Web 面板在线改配置不用重启,ASR/TTS 随时换。看着小鸿第一次听懂你说的话、第一次开口回你,那种感觉,比任何智能音箱都有成就感。

    还有哪些好玩的可以探索?

    将小鸿 AI 从传统的“智能聊天机器人”解放,并接入 MCP(模型上下文协议)后,好玩的事情变多啦。

    1. 全语音驱动的“指挥官”模式

    你可以彻底摆脱键盘和鼠标,通过AtomCode等 AI Agent 实现全自动化的工作流。

    • 自动化编程:对着小鸿说出自然语言任务,让 AtomCode 自主完成代码的读取、编辑、运行及自我验证。
    • 多任务并发:利用小鸿的语音输入事件推送,你可以在干别的事情时,随时开口下达新指令,指挥 Agent 在后台干活。

    2. 定制化多媒体与信息枢纽

    借助 voice_play_audio 工具,小鸿不再只能播放固定的歌曲:

    • 全格式音频流:支持本地或网络上的 mp3、wav、flac、aac 等多种格式。你可以让 Agent 帮你搜寻最新的播客或新闻流并直接播放。
    • 高音质流式体验:项目采用了 opus 96kbps 编码和 sinc 重采样,即使是 4 分钟的长音频也能流畅播放,且音质有保障。
    • 绝对掌控感:利用 voice_abort 机制,你可以随时“喊停”,Agent 会立刻中断当前播放或监听,反应速度远超普通智能音箱。

    3. 跨空间的“口袋贾维斯”

    由于小鸿通过 WS63 无线模组连接局域网,你可以探索更灵活的使用场景:

    • 远程控制:将小鸿 AI 装入口袋,无论你身在何处,只要有网络,就能指挥家里或办公室电脑上的 Agent 执行任务。
    • 环境状态监测:通过 LCD 屏幕实时观察 Agent 的工作状态、音量或对话内容,即使不看电脑屏幕也能掌控全局。

    4. 灵活切换“大脑”

    小鸿只是 AI 的“感官”,它的“大脑”是可以随心更换的:

    • 多模型实验:你可以尝试将小鸿接入不同的 Agent(如 Claude、Cline 等),对比不同大语言模型在语音交互下的性格差异和任务处理能力。
    • 自研 MCP 扩展:由于 MCP Server 是通用的,你可以自己写 Python 脚本,将更多奇怪的工具(如控制家电、查股票)挂载到这套语音系统上。

    5. 硬件级的极客改造

    作为一个完全开源的项目,硬件本身也充满了探索空间:

    • 固件精简与优化:你可以折腾精简版固件,砍掉不需要的功能,只保留最核心的语音通路,追求极致的响应速度。
    • UI 与交互自定义:针对那块 240×240 的 LCD 屏,你可以编写代码显示更丰富的信息,比如代码进度条、AI 的心情符号等。

    6.控制家电或其他设备

    接入控制其他硬件。小鸿 AI 在此场景中充当了 “感官”,它解决了“听”和“说”的问题。而控制家电的具体“动作”,则可通过 MCP 协议将 Agent 连接到对应的智能家居 API(如 Home Assistant 或自定义脚本)来实现。这样模块化的设计,使得你可以通过小鸿AI一句话指挥 AI 干任何活,而不仅仅局限于音箱原有的功能。

    总之,小鸿 AI 的意义在于它打破了厂商的软件锁,让你能用语音这一最自然的方式,与目前最先进的 AI Agent 产生物理层面的连接。

    推荐关注:猫哥的 CSDN 博客

    项目作者猫哥在 CSDN 上记录了大量智能硬件与 AI Agent 结合的折腾笔记,从硬件接线、固件改造到 MCP 接入的完整实战,一步步怎么踩坑、怎么解决都写得清清楚楚。

    猫哥的博客: https://blog.csdn.net/qq8864

    想从零开始复刻一台自己的"语音贾维斯",跟着博客走就行。还用敲键盘?从此你的AI Agent,直接语音对话就可以干活啦,还能给你唱歌,放新闻。或者可以把小鸿AI装入口袋,无论何时何地,都能指挥远端电脑上的Agent干活。

    在这里插入图片描述

    意义在哪

    往小了说,这是一块旧硬件的"第二次生命"——把厂商锁死的功能解锁,变成自己的东西。

    往大了说,AI Agent 从此有了耳朵和嘴巴。Agent 不再只是屏幕里的对话窗口,它可以站在你的桌子上,听你说话、回答你、给你放歌、帮你干活。贾维斯不是科幻,是周末加几个晚上就能搭出来的东西。

    小鸿 AI 硬件从此有了新玩法。还在用某猫精灵?它只会放那几首歌。我的小鸿,会听我说话,会替我干活,会和我聊天——它是活的。

    打造一个能听、会说话、会干活的贾维斯,就从这里开始。

    赞(0)
    未经允许不得转载:171主机测评 » 借助小鸿AI硬件给AI Agent 装上耳朵和嘴巴,我的贾维斯活了
    分享到: 更多 (0)

    评论 抢沙发

    • 昵称 (必填)
    • 邮箱 (必填)
    • 网址