Dan McKinley：提示词并非真实存在，生产环境应靠评测与自动优化
2026-09-21
Dan McKinley 基于构建面向消费者的生产级 Agent 经验认为，提示词本身不重要，可度量的自我改进系统才是关键：用 Claude 生成对抗性场景、写成 pass^k 测试，用 GEPA 等优化器自动改写提示词并以 holdout 测试防过拟合，再结合 LLM 判官与生产监控形成闭环；领域专家应把精力放在好坏样本数据集与评测上…2026-09-21
Dan McKinley 基于构建面向消费者的生产级 Agent 经验认为，提示词本身不重要，可度量的自我改进系统才是关键：用 Claude 生成对抗性场景、写成 pass^k 测试，用 GEPA 等优化器自动改写提示词并以 holdout 测试防过拟合，再结合 LLM 判官与生产监控形成闭环；领域专家应把精力放在好坏样本数据集与评测上…