欢迎光临
我们一直在努力

AI 算力需求从集中训练到广泛推理:端脑科技如何构建云边端协同算力体系

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */
#content_views .toc,
/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */
#content_views.markdown_views > p:empty:has(+ .toc),
#content_views.markdown_views > .toc + p:empty,
/* 富文本旧版目录标记 */
#content_views.htmledit_views #main-toc,
#content_views.htmledit_views #hr-toc,
#content_views.htmledit_views p[id*=\”-toc\”] {
display: none !important;
}
/* 目录去掉后,紧跟的首个标题不再多出一块上边距 */
#content_views.markdown_views > .toc + h1,
#content_views.markdown_views > .toc + h2,
#content_views.markdown_views > .toc + h3,
#content_views.markdown_views > .toc + h4,
#content_views.markdown_views > .toc + p:empty + h1,
#content_views.markdown_views > .toc + p:empty + h2,
#content_views.markdown_views > .toc + p:empty + h3,
#content_views.markdown_views > .toc + p:empty + h4 {
margin-top: 0 !important;
}

摘要:随着人工智能从大模型集中训练走向面向创作、科研、开发与企业业务的广泛推理,算力基础设施正在由以中心化集群承载训练为主,向云端、边缘与本地设备分层协同演进。基于在人工智能、高性能计算及国家超级计算广州中心南沙分中心建设与运营中的长期实践,端脑科技联合创始人、CEO兼CTO丁烨形成了一个核心判断:算力的价值不仅取决于设备性能,更取决于计算资源能否被验证、调度,并持续完成真实任务。本文以丁烨从超算基础设施建设走向人工智能产品商业化的职业经历为线索,梳理端脑科技自2023年成立以来的业务逻辑:以脑花AINPC承载本地模型、AI智能体、专业工作流与私有存储,以端脑云连接应用需求、云端资源和分布式算力节点,在云端调用与本地自建之间构建云、边、端协同的第三种选择。端脑科技致力于以分布式算力的业务模式,补足AI推理抵达真实工作场景所需要的边缘与本地基础设施,使分散的计算资源转化为可验证、可计量、可调度和可交付的AI生产力。

如果把人工智能看作一个正在生长的生命体,大型智算中心是它的主动脉。

那里有成排的机柜、高速互联的芯片,以及昼夜不停的训练任务。过去几年,模型参数不断增加,训练集群从千卡走向万卡,产业不断为这条主动脉扩容。

但只有主动脉,智能还不能抵达身体末端。

它到不了一名创作者的工作室,进不了一位科研人员的实验室,也无法自然进入一家中小企业的日常业务。那些离数据最近、离用户最近、每天都在发生的AI任务,需要另一套更加细密的系统。

丁烨把它称为算力的“毛细血管”。

从超算中心到端脑科技:算力只有完成真实任务才能创造价值

丁烨曾站在算力的另一端。

在香港科技大学取得计算机科学与工程博士学位并完成博士后研究后,他长期从事人工智能、大数据、并行计算、时空数据分析和高性能计算研究,参与发表40余篇国际期刊和会议论文,并作为发明人参与80余项授权专利。

在香港科技大学霍英东研究院工作期间,他作为核心负责人参与国家超级计算广州中心南沙分中心的建设与整体运营。

超级计算中心拥有庞大的计算能力。但设备进入机房,只是工作的开始。

科研任务从哪里进入?不同用户如何获得资源?数据怎样流转?任务失败以后如何恢复?计算能力又如何从设备参数,变成科研机构和企业真正可以调用的服务?

这些问题,没有一项能够只靠增加芯片解决。

也是从那时起,丁烨逐渐形成一个判断:一台设备只有被调用,才真正拥有算力;一份算力只有完成任务,才真正产生价值。

多年以后,这个判断从大型机房来到普通桌面。

2023年5月,端脑科技成立。

彼时,大模型浪潮正推动全球算力投资向大型人工智能数据中心集中。模型越来越大,集群越来越密,行业的目光大多投向云端。

丁烨却看向云端之下。

训练大模型需要集中算力,大模型训练完成以后的使用却是分散的。

创作者生成一段视频,科研人员检索一批文献,开发者调用一次代码模型,企业让AI Agent在后台执行一项任务。这些计算发生在不同地点、不同时间,对时延、成本与数据边界也有不同要求。

训练发生在少数中心,推理却伴随着每一次使用。

“万卡级训练集群是AI时代的主动脉。”丁烨说,“但只有主动脉,没有毛细血管,智能就到不了工厂、实验室、创作工作室和每个人的办公桌。”

端脑科技没有试图用分布式算力取代大型数据中心。

它想做的,是补上那些尚未充分生长的毛细血管。

云端调用与本地自建的两难:成本、数据与部署门槛如何平衡

要让算力抵达用户,首先要面对两种并不轻松的选择。

第一种,是调用云端服务。

云端降低了AI使用的初始门槛。用户不必购买显卡,也不必安装复杂环境,注册账号、充值费用,就可以开始调用模型。

但当AI从偶尔问答转向视频生成、科研分析和Agent长期运行,云端的另一面开始显现。

创作者为了得到几秒钟满意的画面,可能需要反复生成、修改和重试;科研人员需要持续处理文献、图像与实验数据;一个AI Agent可能在后台运行数小时,甚至更久。

每一次生成、每一个Token、每一分钟计算,都在推动计费表继续转动。

对高频用户而言,最初轻便的调用方式,可能逐渐成为一笔难以预测的长期支出。

费用还不是全部。

对于企业、科研机构和创作者,把任务交给云端,也意味着数据离开原有设备和内部环境,进入由第三方管理的网络、服务器与存储系统。

云端并不天然意味着不安全。但当数据离开本地,控制边界、责任边界和审计方式都会发生变化。

企业上传的可能是客户资料、合同、源代码、经营数据和内部知识库;科研机构处理的可能是尚未公开的实验数据、论文初稿和研究思路;创作者交出去的,则可能是尚未发布的剧本、分镜、人物形象、声音样本和创作流程。

用户必须不断追问:数据去了哪里?由谁处理?保留多长时间?是否进入日志?能否彻底删除?是否可能被用于其他用途?

云端提供了便利,却未必同时给予用户对成本、数据、权限和工作流的完整控制。

第二种选择,是自建本地服务器。

这条路看起来更加自主。设备属于自己,模型部署在本地,数据也不必离开现场。

但真正开始以后,用户很快会发现,购买一张高性能显卡只是第一步。

处理器、内存、存储、主板、电源和散热需要彼此匹配;驱动、CUDA、推理框架、模型版本和各种依赖需要逐项安装。一次版本升级,可能让原本能够运行的工作流突然失效;一次环境冲突,也可能让技术人员花费数天排查。

设备运行以后,还要面对模型下载、量化适配、权限管理、数据备份、故障恢复和后续升级。

自建服务器给予用户控制权,也把建设、维护与试错的成本一并交给了用户。

机器还没有开始创造内容、分析资料和推进研究,人已经被困在驱动、配置和报错信息之中。

一边,是不断转动的云端计费表;另一边,是需要持续安装、维护和升级的本地机房。

端脑科技希望在两者之间找到第三种选择。

脑花 AINPC:整合本地模型、AI 智能体、专业工作流与私有存储

答案首先落在一台主机上。

端脑科技将自己的端侧产品命名为“脑花AINPC”。

它不是一台普通电脑的重新包装,也不是将服务器缩小以后搬到桌面。

在端脑科技的设想中,计算硬件、本地模型、AI Agent、专业工具、工作流和私有存储,应当被整合进同一套可以直接开始工作的系统。

复杂的安装、适配和维护被尽可能留在产品背后,用户面对的则是一个已经准备好承接任务的AI工作环境。

能够在本地完成的任务留在本地;需要更大显存和更多算力时,再由边缘节点或云端资源接力。用户不必在“完全依赖云端”和“从零自建服务器”之间被迫二选一。

数据、速度、成本和模型能力,开始获得重新组合的空间。

围绕不同工作场景,脑花AINPC形成了四类主要产品。

MiniMax H3视频工作站面向创作者与内容团队,将视频生成模型和创作流程部署到本地,减少对外部API的持续调用。端脑科技将其产品主张概括为:“0 API调用成本,本地畅快生大片。”

AI科研工作站将文献处理、知识检索、数据分析、本地模型和AI Agent带进实验室。它保护的不只是数据,也包括科研人员长期形成的知识体系和工作习惯。

AI大模型工作站面向开发者与企业用户。在相应硬件配置和模型量化条件下,它可以运行120B以内的大模型,为私有知识库、代码辅助、企业智能体和内部应用提供本地运行环境。

AI算力节点工作站则拥有两重身份:它首先服务设备拥有者,也可以在符合条件时接入端脑云,成为分布式算力网络的一部分。

四类产品均设有PRO和MAX版本。

它们面对不同用户,却试图完成同一件事:不再要求所有人先成为部署工程师,才能使用AI。

一台主机由此醒来。

它不再只等待用户点击鼠标,也不再只在一个人工作时产生价值。它开始承载模型、保存知识、运行Agent,并在必要时与更大的算力网络连接。

“NPC”也由此有了另一层含义。

在游戏中,NPC承担持续而重复的工作,玩家决定自己要去哪里。端脑科技希望AI也能扮演这样的角色——它在后台整理资料、执行流程、生成内容、推进任务,但人始终拥有目标、判断和生活。

“让AI当NPC,你才是工作和生活的主角。”

端脑云:连接 AI 应用需求与云端、边缘及本地算力

一台设备能够承载AI,却无法独立承担所有任务。

当模型规模超出本地显存,当多模态任务需要更多资源,当多个AI Agent开始并行工作,算力必须越过机箱,寻找更大的空间。

反过来,当设备处于空闲状态,它所拥有的计算能力也不必继续沉睡。

端脑云由此出现。

分布式算力平台通常从收集设备开始。接入更多GPU、服务器和边缘节点,算力池便会不断扩大。一张算力网络似乎已经成形。

但接入节点,并不等于拥有算力。

如果没有持续发生的计算任务,大量设备即使保持在线,仍然只能等待。它们被记录、被展示,却没有真正工作。

这像一座已经建成的车站。站台、轨道和列车一应俱全,却没有足够的乘客。

丁烨认为,算力供给只是半张网,真实需求才是另外半张。

端脑云试图同时连接这两部分。

供给侧来自云端计算资源、边缘节点和本地设备;需求侧则来自脑花AINPC、AI Agent以及文字、图像、语音、视频等多模态模型。

创作者生成一段视频,科研人员处理一批文献,企业调用一次内部模型,AI Agent执行一项长期任务,都会形成具体的计算需求。

这些任务有不同条件。有的需要更大显存,有的对延迟敏感;有的数据不能离开本地,有的必须在限定时间和成本内完成。

端脑云需要识别这些条件,再判断任务应该留在本地、交给边缘节点,还是调用云端资源。

端脑科技将这一过程概括为:

应用出题,平台派单,节点解题,结果交付。

脑花AINPC不只是硬件,也是产生任务的入口;端脑云不只是资源后台,而是连接需求与算力的中枢;分布式节点承担计算,再把结果交还给用户。

半张网与另外半张网,由此连接起来。

信任与调度:分布式算力从设备接入走向稳定交付

连接发生以后,真正的难题才刚刚开始。

丁烨曾用网约车解释分布式算力:一万辆汽车停在街上,不会自动形成一张出行网络。

平台需要确认车辆和司机的身份,掌握位置与状态,匹配订单,规划路线,处理故障,完成结算。

算力节点同样如此。

平台需要知道设备属于谁、真实性能如何、何时在线、适合运行哪些模型;用户则需要知道数据是否安全、任务中断如何处理、结果能否验证、费用是否透明。

这些问题无法回答,再多节点也只是一张设备清单。

分布式算力必须跨过两道门槛。

第一道是信任。

信任不是把交易写进区块链就宣告完成。区块链可以证明谁记下了一笔账,却无法保证设备不会宕机,也无法替平台完成一次稳定交付。

真正的信任需要落实到节点身份、性能证明、数据隔离、任务验证、服务等级、计量结算和责任追溯。

第二道是调度。

不同节点使用不同品牌的GPU,拥有不同规模的显存,网络质量和在线状态也不断变化。不同任务对模型、时延、成本和数据位置又有各自要求。

端脑云既要知道每台设备此刻在做什么,也要判断它下一分钟是否有空;既要为任务寻找成本合适的节点,也要保证模型跑得动、数据边界不被突破、结果能够按时返回。

信任决定用户敢不敢把任务交给平台,调度决定平台接下任务以后能不能完成。

节点数量由此不再是最重要的指标。

真正有价值的,是有多少节点正在执行任务,有多少任务得到稳定交付,又有多少算力没有被浪费在等待和空转中。

一块显卡插上电,仍然只是一块显卡。

只有当它可以被验证、被计量、被调度并完成交付,它才会从一台沉默的设备,变成算力毛细血管中可以流动的生产力。

创始团队协同:从技术研发、平台运营到产业与市场拓展

端脑科技选择了一条并不轻的道路。

它同时涉及硬件、模型、智能体、云平台、分布式节点和产业交付。任何一个环节无法衔接,整个系统都可能停在演示阶段。

丁烨负责技术与产品。他的经历连接了超算基础设施、人工智能研究和用户产品。

联合创始人兼COO崔哲铵负责平台运营、增长模型、产品协同和算力生态资源整合。他需要回答节点为什么加入、任务从哪里产生、合作伙伴如何获益、用户为什么持续使用。

联合创始人兼CFO谢玲负责投融资、政府与产业关系、品牌公关、国际市场及综合管理。她需要把研发、供应链、生产、渠道、产业合作和海外市场连接起来,让技术走出实验室和发布会。

三个人分别站在技术、运营和市场的一端,却需要共同完成同一条链路:把系统做出来,把资源组织起来,再把产品送进真实场景。

中心化与分布式算力协同:让 AI 基础设施抵达真实工作场景

这场试验仍在继续。

异构设备能否稳定调度,分布式节点能否建立长期信任,脑花AINPC能否进入足够多的工作场景,端脑云能否形成持续增长的任务规模,都将决定这条道路最终能够走多远。

但算力流向桌面的趋势,已经越来越清晰。

原因并不复杂。

数据产生在本地,工作发生在本地,人与AI的交互也发生在本地。当AI从偶尔回答问题转向持续处理工作,本地算力就不再只是云端的备用方案,而会成为AI基础设施不可缺少的一层。

大型数据中心继续提供强大的主动脉,边缘节点和桌面设备则让算力抵达每一处真实需求。

毛细血管不是为了取代主动脉。

它存在的意义,是让整个系统真正循环起来。

多年以前,丁烨面对的是如何让一座超级计算中心真正运转;如今,他试图回答的问题变成了:如何让散落在各处的设备共同工作,又如何让这些算力抵达每一个需要AI的人?

当算力最终来到桌前,AI在后台工作。

而人,重新回到生活的前台。

让AI始终在线,让人自由离线。

赞(0)
未经允许不得转载:171主机测评 » AI 算力需求从集中训练到广泛推理:端脑科技如何构建云边端协同算力体系
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址