※ 引述《pacino (扫地僧)》之铭言： : 看了这两串, 充满了疑问.. : 想讨论一下这个主题： token : (1) 每个LLM 都有自己的max. tokens : 这是在training model时就要决定的 : (2) max output tokens是让agent在送给LLM 之前处理用的，避免超过LLM model的max. to : (3) rules 没被执行，有可能是context可能超过LLM model的max. tokens, agent 主动压? : 这样不就解释了两串原po的问题？ : 麻烦指正，若我的了解有误。 CLAUDE_CODE_MAX_OUTPUT_TOKENS 用途：用来指定LLM单次最多回答多少tokens。 但这个长度控制，不是由LLM或agent来控制的。 也不是放在prompt给LLM做推理判断长度的。 LLM只是一堆权重与计算。 不是真正有action的程式，不会自己决定输出长度。只会被动的等待输入，计算输出。 LLM会停止输出，全部是靠写死的程式码控制。 (非AI自己决定停止) 以下举几个例子： 1.正常情况： 没用满模型token最大长度限制，就得到答案。 机制如下： 应用层的model serving 程式码 (例如用vllm假设) 看到LLM这是是输出 EOS (end-of-sentence) token。 tokens，停止继续使用LLM推理。 决定停止推理下一个token的不是LLM 而是应用层，程式码码写死：看到了各模型输出了特殊的EOS，请应用层停止再使用LLM。 对模型来说，输出EOS是没特殊意义的， 就是机率+ decoding strategy决定的。 LLM不会因为输出EOS有什麽行动。 赋予EOS要停止使用LLM的是应用层。 简单说：停止答案继续输出，的绝对不是LLM自己决定的。 2. 模型一直输出，但输出太长了还是没算出答案 也就是一直输出，但没算出EOS token。 这种情况，也不是LLM在控制长度， 而是应用层在处理太长的问题。 这分成两种情况： 1. model serving层有做防呆机制，发现长度太长了，所以直接不使用llm产生next token，是回传讯息到上一层讯息，让上一层决定怎麽处理。 (大家看到市面上产品，都是走这种方式) 所以会看到 claude产品会输出提示讯息。 所以，长度控制，也不是LLM决定的，是应用层model serving决定的。也可以说人去设定的。 2. 没做防呆机制，直接丢过长的文字(或tensor)给LLM去推理。这是也是看推理层程式码有没有防呆，例如，如果是走pytorch，就是直接跳error程长度不一致，直接结束process。 长度不符，根本进不去，LLM做计算。 以上所有情况可发现： LLM本身不决定输出长度，全部是其他应用层决定的。 硬要扯：LLM会自己决定输出EOS，要求停止。 这也是观念错误，EOS对LLM没有特殊意义。 EOS是应用层赋予的意义。 你也可以写成看到EOS不要停止的问答系统。 (许多model serving tools都可以改EOS) 最後回答最初那篇： 64K输出长度限制都没终结答案。 也输出过程大概都超过 3000行文字或程式码了。 通常有两种改善方向： 1. prompt要更明确，缩减范围。 2.把复杂任务，拆小一点，每个session解决一个小问题。 --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 27.247.193.27 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1772900896.A.06D.html