我对大模型训练的两个态度

我支持开源

开源普惠，不光是把参数开源，最好训练过程、训练数据、等等细节也都公布其实更好

这样大模型使用的主要成本就变成算力设备折旧、维护、和能源消耗

我支持蒸馏

训练数据的输入是蒸馏人类的公共知识，大模型也应该是人类公共知识的一部分

不应该有区别

垄断只是为了垄断利润，缺点大于优点

我支持大模型从用户端获取数据仅用于训练

只要严格限制用途仅仅是模型训练，就不应该禁止

代码隐私这个东西，本质也是一种“垄断”，甚至可能导致某些知识的彻底失传，还不如让大模型把它们内化到参数中。