欢迎光临
我们一直在努力

agentmodels本地离线性能优化应用方案思考

 

为解决智能大模型在实用场景中难以智能优化的难题,我思考开发这个框架适配,可以在互联网场景、本地离线内网场景、安卓手机内置agent使用场景应用。为根据不同适用领域的模型参数微调协助,快速测试模型参数在场景内的天花板,并且可以在语言理解归纳,关键线索提词训练,计算能力与算力调配方面优化训练。
原参数模型deepseek-Qwen-1.5B本地运行测试参数计算复杂问题快速正确率20-30%,重复无效输出60-70,一轮20分钟将1.5b模型本地最适合参数调试,回测正确率89%最高,稳定80上下,推理速度增加,上升曲线稳定(官方理论模型满参数100%),环境设备1070。

为了模型的本地离线优化,一点点去了解,属于是为了这盘醋学习了包饺子,跌跌撞撞终于是能用了。

可是个人知识渠道实在有限,不知道该找谁问,怎么修改调整,有了想法却没技术能力,索性上了平台仓库,要是有大神留意到,请不吝赐教,我感激不尽。

cypto-puzzle 

 

 

 

 

 

 

赞(0)
未经允许不得转载:171主机测评 » agentmodels本地离线性能优化应用方案思考
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址