当前的大模型训练还是阶段式的,OpenAI每隔几个月就会对模型进行重新训练,延长模型的世界知识截止时间。说白了就是全新、覆盖式的知识写入。就像西西弗斯推石头,每次全量训练都意味着对先前知识的系统性遗忘。而真正意义上的持续学习和试试学习,当前似乎还是个未解之谜。当然也有观点认为有机体的进化,本身就和无机体的进化存在完全不同的路径,所以大模型是否真的需要持续学习,不少人也是打问号的。