在很多任务场景下(例如代码修改),LLM 的输出可能存在一定的随机性。这类似于 UDP 协议的传输乱序性。LLM 模型在生成输出时,会因为其“开放”接口特性,输出存在不确定性。在需要精确控制结果的情况下,这种随机抖动会带来困难。例如,同一个输入文本,多次调用 LLM 可能返回不同的函数名,无法保证一致性。