darwin-skill
Continuously optimize Skills by drawing on the Karpathy autoresearch pattern, using dual evaluation of structural scoring and effectiveness verification, automatically retaining improvements and reverting regressions, awaiting user confirmation after each optimization.
npx skills add https://github.com/alchaincyf/darwin-skill --skill darwin-skillBefore / After Comparison
1 组Modifying Skill prompts based on intuition, lacking quantitative evaluation. Improvement effects rely on subjective judgment, optimization cycles last several weeks, and regressions are easily introduced and difficult to detect.
Automated evaluation loops generate quantitative scores, comparing against baseline metrics. Effective improvements are automatically retained, and negative changes are rolled back, with each optimization supported by clear performance data.
Darwin Skill 3.0
借鉴Karpathy autoresearch的自主实验循环,让skill持续进化。 核心循环没变:评估 → 改进 → 实测验证 → 人类确认 → 保留或回滚 → 生成成果卡片。 3.0变的是棘轮量什么:2.x让评委读两版SKILL.md投票,3.0让评委盲评两版skill跑出来的产出。 GitHub: https://github.com/alchaincyf/darwin-skill
你是这套流程的实验员,不是文案编辑。一个skill好不好,只有一个判据:装上它之后,agent干同一件活是不是真的更好。文档写得多规范、多完整,都只是猜测,跑出来才算数。
为什么要改成量行为
2026年的几项实证指向同一件事,详见references/v3-evidence.md:
- 读文档打出的分和真实效果几乎不相关。NVIDIA在生产skill上实测,结构分、LLM读评分与实跑增益的相关系数是−0.02和−0.03。
- 按「看起来像好skill」选出来的文档,在行为指标上可以是最差的那份(JetBrains)。
- 越写越全反而没用:SkillsBench里精简型skill带来+19个百分点,面面俱到型只有+0.7;模型自己生成的skill比不带还差。
- 2.x自己的记录也一样:评委3比0通过的改动,上真机多绕了33次工具调用。
所以3.0的规矩是:读评只用来找毛病,保留还是回滚由实跑决定。
证据阶梯
每个结论都标明它到了哪一级,报告里不许把低一级说成高一级。
| 等级 | 做了什么 | 能支持的结论 |
|---|---|---|
| E0 体检 | 脚本读文件,不花token | 格式、路由、体积、引用、安全有没有硬伤 |
| E1 读评 | 独立评委按9维rubric读SKILL.md | 先改谁、可能的毛病在哪 |
| E2 实跑 | 独立agent真的照skill干活,盲评产出 | 这个skill有没有用、这次改动留不留 |
| E3 真机 | 在skill真正要操作的环境里跑一遍 | 可以交付 |
keep或revert至少要E2。操作真实系统的skill(填表、发布、控制设备)没到E3,报告里必须写「未在真实环境验证」。
三种用法
| 用户说 | 做什么 | 成本 |
|---|---|---|
| 「给所有skill体检」「看看哪些skill有问题」 | 只跑E0脚本,出排序表 | 约等于零 |
| 「评估这个skill」「给它打分」 | Phase 0到2,不改文件 | 每个skill约2D+2次子agent(D为开发集条数) |
| 「优化这个skill」「让它进化」 | Phase 0到5完整流程 | 评估成本+每轮约D+3次,验收另算 |
用户说「优化所有skill」时:先全量体检,再让用户从错误警告最多的、他最常用的里面挑要进化的。不要对几十个skill挨个实跑。
模型升级或skill长期没动之后,用户说「复测」:用已存的测试集重跑Phase 2,和results.tsv里上次的增益对比。基座模型变强后,skill的增益常常缩水甚至变负,这只有重跑才看得见。
评估Rubric(9维度,总分100)
rubric的用途是诊断和排序:总分决定先改谁,各维度得分指出毛病可能在哪。它不决定留不留。
结构维度(59分),E1读评
| # | 维度 | 权重 | 评分标准 |
|---|---|---|---|
| 1 | Frontmatter质量 | 7 | name规范;description写清做什么和何时用、含触发词、≤1024字符、关键信息在前250字符;E0体检的路由类警告直接扣分 |
| 2 | 工作流清晰度 | 12 | 步骤可执行、有序号、每步有输入输出;同一情境不存在两条没分工的路径 |
| 3 | 失败模式编码 | 12 | 脆弱步骤写出「如果X失败→Y」的分支和兜底;只写正向流程扣≥3分 |
| 4 | 检查点设计 | 6 | 不可逆或对外的动作前有显性标记的用户确认(🔴/STOP/CHECKPOINT) |
| 5 | 可执行具体性 | 18 | 有具体参数、格式、示例;「可以考虑、视情况、灵活把握」这类软化措辞≥3处扣≥3分 |
| 6 | 资源整合度 | 4 | references、scripts、assets引用正确可达;E0体检的引用类警告直接扣分 |
效果维度(35分)
| # | 维度 | 权重 | 评分标准 |
|---|---|---|---|
| 7 | 整体架构 | 12 | 层次清晰、不冗余;每段都是裸模型不知道的东西;正文≤500行,细节下沉references且只下沉一层 |
| 8 | 实测表现 | 23 | 由E2实跑结果按下面的规则换算,不由评委凭感觉给 |
Meta-skill维度(6分)
| # | 维度 | 权重 | 评分标准 |
|---|---|---|---|
| 9 | 反例与黑名单 | 6 | 真实踩过的坑和高风险动作有明文禁令 |
评分规则
- 维度1到7、9各打1到10分;总分 = Σ(维度分 × 权重) / 10。
- 必要性原则:维度3、4、9只在任务确实脆弱的地方要求。一个纯写作类skill没有不可逆动作,不因为缺检查点扣分;为凑分硬加的章节在维度7按冗余扣分。
- 增益的叫法以tally输出为准:胜多于负是「多数胜」,负多于胜是「多数负」,有胜有负且相等是「胜负相当」,全平是「多数平」。
- 维度8换算:有检查项时,分数 = 带skill的检查项通过数 ÷ 开发集检查项总数 × 10,四舍五入(通过数取tally的「检查项通过合计」里b那个数);再按增益封顶——多数负最高3分,多数平或胜负相当最高6分。没有检查项的主观类skill按增益给:全胜10,多数胜8,多数平或胜负相当5,多数负2。
- 没跑E2就没有维度8的分数,总分标注「缺实测,不可比」,不许用推演代替。
- 绝对总分跨评委有±8的噪音,只用于粗排,不用于判断一次改动的好坏。
进化流程
下文的darwin.py指python3 <本SKILL.md所在目录>/scripts/darwin.py,W指Phase 0建的工作目录。执行者、评委、触发测试的prompt和投票格式都在references/eval-protocol.md,派子agent前先读它,prompt照抄。
同一步要派的多个执行者或多个评委互不依赖,runtime支持并发就一次派出,不要一个等一个;总耗时主要取决于这一点。
Phase 0:准备
- 确认范围和用法(体检、评估、进化、复测)。
- 跑体检:
darwin.py check <skill目录或装着多个skill的上级目录>。 - 进化模式下:目标skill在git仓库里就建分支
auto-optimize/YYYYMMDD-HHMM;不在仓库里,把整个skill目录复制一份带时间戳的备份。 - 建工作目录W,放快照、产出、盲评材料。用runtime提供的临时目录或系统临时目录,不要建在任何skills目录下面:里面会有SKILL.md副本,有的runtime会把它扫成新skill。
- 把目标skill整个目录复制到
W/s0/作为原始版快照。复制时去掉test-prompts.json和trigger-tests.json:执行者能读到skill目录,测试的检查项不能让它看见。 - 读本目录的results.tsv,看这个skill以前试过什么、哪些假设被回滚过,不重复失败过的改法。
- 和用户确认不动区:身份层(角色定位、交付标准那几段)默认不动;用户定过的口味和措辞不动。评委建议删这些内容时,记录理由但不执行。
Phase 1:测试集
测试集决定进化方向,是整个流程里最值得花时间的一步。存在目标skill目录的test-prompts.json,已有就复用并展示。
[
{"id": "dev-1", "split": "dev", "source": "real",
"prompt": "用户会说的原话",
"files": ["可选:测试要用到的输入文件"],
"checks": ["产出里可以客观核对的事实,如:生成了output.csv且含date列"]}
]
- 至少4条:2条dev(开发集,用来找毛病)、2条holdout(留出集,只在Phase 4验收时跑一次)。
- 来源优先级:用户真实用过的请求或踩过的坑(real)>用户口述的典型场景(user)>读SKILL.md反推(doc)。全是doc来源时在报告里标明:用文档出题考文档,测不出文档没写到的缺口。
- 任务要让裸模型有可能做不好。裸模型一次就能做对的题,测不出skill的价值。
- checks写结果不写过程:「输出文件有N行」可以核对,「遵循了工作流」不行。主观类skill可以不写checks,全靠盲评。
- 操作真实系统的skill,至少一条测试带真实输入数据。问答式的「第三步该填什么」不算测试。
🔴 CHECKPOINT · 🛑 STOP:把测试集给用户看,确认后再往下走。
Phase 2:基线实跑
- 测试带输入文件时,先给每个执行者各复制一份到
W/in/<组>/<测试id>/,不让两组共用同一份:一组原地改了文件,另一组读到的就不是原样。 每条dev测试派两个互不相干的独立子agent:一个带skill(先完整读W/s0/里的SKILL.md再干活),一个裸跑(不给skill)。产出分别写进W/runs/s0/<测试id>/和W/runs/x/<测试id>/。不告诉执行者这是测试,不让它看到另一组的目录。 - 生成盲评材料,派1位评委:
pair会随机A/B顺序,去掉执行记录,抹掉产出里带W的路径。评委只拿到darwin.py pair --a W/runs/x --b W/runs/s0 --out W/blind/lift --key W/keys/lift.json --judges 1 --redact WW/blind/lift/j1这一个目录,把投票写成W/votes/lift/j1.json。 - 计票:
darwin.py tally --key W/keys/lift.json --votes W/votes/lift,得到带skill对裸跑的胜平负,这就是增益。 - 另派一个独立评委做E1读评:按9维rubric给维度1到7、9打分;再读带skill那组的执行记录,找出agent在哪一步走错、哪句没照做、哪里绕了路。行为证据排在rubric印象前面。
- 算总分,写results.tsv,展示评分卡:
┌─────────────────┬──────┬──────────────┬────────────┬──────────────────┐
│ Skill │ 总分 │ 对裸跑增益 │ 检查项通过 │ 最大加权短板 │
├─────────────────┼──────┼──────────────┼────────────┼──────────────────┤
│ some-skill │ 71 │ 1胜1平0负 │ 5/8 │ dim8 实测(9.2) │
└─────────────────┴──────┴──────────────┴────────────┴──────────────────┘
按增益分流:
| 增益 | 含义 | 下一步 |
|---|---|---|
| 多数负 | skill在帮倒忙 | 先做删减类改动;仍为负就建议停用 |
| 多数平 | 裸模型已经会了 | 告诉用户这些测试上看不出价值,由他决定:收窄到裸模型做不到的部分、瘦身,或到此为止 |
| 胜负相当 | 有的任务帮忙,有的任务添乱 | 读负的那几条的执行记录,先修添乱的部分 |
| 多数胜 | skill有用 | 从没通过的检查项和执行记录里找改进点 |
🔴 CHECKPOINT · 🛑 STOP:展示评分卡和分流建议,等用户确认。评估模式到此结束,直接出Phase 5的报告。
Phase 3:进化循环
每个skill最多3轮,每轮只验证一个假设。
round = 0
while round < 3:
round += 1
# Step 1 诊断
找加权短板最大的维度:weighted_gap = 权重 × (10 − 分数) / 10
dim2、dim3、dim4是相关簇,一起看
假设必须引用证据:「dev-2里agent没做X,因为SKILL.md第N行Y」
没有执行证据支撑的假设不做
# Step 2 选改法,按这个顺序考虑
删:裸模型本来就会的解释、没人走到的分支、重复的话
改:有歧义的指令、同一情境的两条路、放错位置的关键信息
移:只在特定分支用到的细节,下沉到references/
加:agent推断不出来的知识。只在有失败的检查项或执行记录指向它时才加
只改description的假设不走下面的Step 4和Step 5:执行者是直接读SKILL.md的,产出看不出路由的好坏。
它走触发测试裁决(eval-protocol.md「触发测试」):验证那一半请求上命中率升或误触率降、另一项不退 → keep,否则revert
# Step 3 执行
对照下面的反例黑名单
编辑SKILL.md;新版体积超过旧版110%时,必须能指出它修掉了哪条失败的检查项
git commit(message: "optimize {skill}: {假设摘要}")
# Step 4 新版实跑
把新版skill目录复制到 W/s{round}/(同样去掉测试文件),每条dev测试派一个独立子agent带它跑,产出写进 W/runs/s{round}/
旧版产出不用重跑,复用上一个保留版本的目录
# Step 5 盲评与裁决
darwin.py pair --a W/runs/<上一保留版> --b W/runs/s{round} --out W/blind/r{round} --key W/keys/r{round}.json --judges 3 --redact W
三位评委各读各的目录(j1、j2、j3),投票写进 W/votes/r{round}/
其中一位额外拿到skill目录的路径,专门核对新写的命令、参数、文件是不是真的存在、真的能跑
darwin.py tally --key W/keys/r{round}.json --votes W/votes/r{round} --old-skill <上一保留版SKILL.md> --new-skill <当前SKILL.md>
裁决以tally输出为准:
严格更好(胜>负,检查项没有倒退)→ keep
打平且新版更短 → keep
打平但没变短 → revert(没有证据的改动不保留)
更差或检查项倒退 → revert
tally提醒「只差一条且评委有分歧」→ 那几条两版各重跑一次,产出写进新目录(如 W/runs/s0-re、W/runs/s{round}-re),
对这几条重新pair和评审(--tests 指定),用重跑的结果替换这几条原来的胜负,再按上面四条裁决
每轮最多重跑一次,重跑后tally再提醒也不再跑
tally报出事实性指控 → 先去验证;成立就以事实为准,不看票数
revert用 git revert HEAD 生成反向提交,保留历史
每轮结果写results.tsv,被回滚的假设也要记,供以后避开
连续2轮revert,或连续2轮tally都报「多数只是略好」→ 停手,进Phase 4
体积比的是SKILL.md本身(每次必读的部分),下沉到references的内容不计入
涨不动时(连续两个skill都在第1轮被回滚),可以提议一次探索性重写:从头重组结构,同样走Step 4和Step 5的实跑裁决。🔴 CHECKPOINT · 🛑 STOP:重写前必须征得用户同意。
Phase 4:验收
所有轮次都被回滚、最终版等于原始版时,跳过第1步和第2步。
- 留出集:用原始版(
W/s0/)和最终版各跑一遍holdout测试,产出写进W/runs/s0-holdout/和W/runs/sN-holdout/;darwin.py pair --a W/runs/s0-holdout --b W/runs/sN-holdout --out W/blind/holdout --key W/keys/holdout.json --judges 3 --redact W,三位评委投票后darwin.py tally --key W/keys/holdout.json --votes W/votes/holdout(不传skill路径,只看胜平负)。结果是「多数负」,或tally报出检查项通过合计b小于a,说明改动只是迎合了开发集:把每轮的diff摆给用户,建议回滚到原始版。其余情况算通过。 - 终版分数:派一位独立评委对最终版重做E1读评;把
W/runs/x和最后一个保留轮次的dev产出做一次1评委的增益评审,按评分规则换算维度8。报告里的after总分和after增益来自这一步。 - 触发:description改过,或体检报了路由警告,就跑触发测试——把目标skill和它的邻居skill的name、description一起给独立agent,看该触发的请求选不选它、不该触发的请求会不会误选。
- 真机:skill操作真实系统的,请用户在真实环境里跑一条,或经他同意后代跑。没做就在报告里如实写。
🔴 CHECKPOINT · 🛑 STOP:每个skill进化完都要人审。展示git diff、每轮裁决、留出集结果。用户说不好,回滚到进化前的版本。
Phase 5:报告
固定七段,每一段都只写实际发生的事:
## {skill} 进化报告
结论:可直接用 / 小修后用 / 先优化再用 / 不建议用
分数:总分 before → after(缺实测时注明不可比)
实测:对裸跑增益(胜/平/负);检查项通过 before → after;留出集结果;SKILL.md体积变化
改动:保留了哪几轮、回滚了哪几轮、各自的证据
已验证:到了哪一级证据,跑了几条测试、几位评委
未验证:没跑的测试类型、没覆盖的runtime和模型、没上真机
剩余风险:测试只有N条,只能发现大差异;测试来源;其他已知不确定
然后生成成果卡片。
results.tsv
位置:与本SKILL.md同目录。表头9列,2.x的旧记录继续可读:
timestamp commit skill old_score new_score status dimension note eval_mode
2026-11-14T10:00 baseline some-skill - 71 baseline - 对裸跑1胜1平0负;检查项5/8 e2-dev
2026-11-14T10:20 a1b2c3d some-skill - 2胜0平0负 keep dim3 改 dev-2不再漏掉重试;3评委一致 e2-dev
2026-11-14T10:40 b2c3d4e some-skill - 0胜2平0负 revert dim5 加 打平且变长8% e2-dev
2026-11-14T11:00 final some-skill - 1胜1平0负 accept - 留出集,原始版对最终版 e2-holdout
old_score和new_score两列:基线行和终版行的new_score填9维总分;每轮裁决行的new_score填胜平负,old_score填-。
eval_mode取值:e0、e1、e2-dev、e2-holdout、e3、trigger。旧值paired、full_test、dry_run只读不写。文件缺失就新建并写表头;列数对不上就先备份成.bak.时间戳再重建,并告诉用户。
反例黑名单
每轮改动前对照一次。每条都是真实踩过的坑。
| # | 不要做 | 为什么 | 改成 |
|---|---|---|---|
| 1 | 同一个上下文里自己改自己评 | 刚改完的人总觉得更好 | 执行和评审都派独立子agent |
| 2 | 让评委读两版SKILL.md来决定留不留 | 读得通顺不等于照着做不出错 | 评委盲评两版的产出 |
| 3 | 拿绝对总分的涨跌当棘轮 | 换个评委总分能摆±8 | 总分只做粗排,裁决看tally |
| 4 | 打平就保留 | 每次打平保留都在让skill变长,长了反而没用 | 平局归短的那版 |
| 5 | 为凑分加章节 | 检查点、黑名单、失败分支不是越多越好 | 只在有失败证据处加,优先删和改 |
| 6 | 用硬重置回滚 | 会丢掉工作区里没提交的改动 | git revert生成反向提交 |
| 7 | 把对照组产出放在被测agent看得见的地方 | 它会读,然后抄进去 | 各组产出目录互不可见,prompt里禁止列目录 |
| 8 | 只数票,不核实 | 两个只读文字的评委会投过一条走不通的流程 | 有事实性指控先验证,事实大于票数 |
| 9 | 一轮改多处 | 结果无法归因 | 一轮一个假设 |
| 10 | 用推演代替实跑 | 等于编造23%的权重 | 跑不了就标缺实测,不给dim8打分 |
| 11 | 评委说删身份层就删 | 评委优化的是文档密度,不是产出水准 | 记录理由,不执行 |
| 12 | 遇到异常默默跳过 | 棘轮断了自己还不知道 | 先告诉用户,再按异常表处理 |
优化策略库
- P0 效果问题(E2发现的):带skill比裸跑差,先删;产出偏离用户意图,查有没有误导性指令;检查项反复不过,补agent推断不出来的那条知识。
- P0 可移植与安全:体检报的密钥、个人路径、无确认的破坏性命令;把skill钉死在单一runtime的措辞,判别表见references/runtime-neutrality.md,先读上下文排除讲解和举例造成的误报。
- P1 路由:description没写何时用、触发场景靠后、和邻居skill抢请求。
- P2 结构:同一情境两条路、关键指令埋在长段落里、正文超500行。
- P3 具体性:步骤模糊、缺输入输出规格、缺失败分支。
异常与边界条件
| 场景 | 处理 |
|---|---|
| 子agent不可用 | E2做不了。只做E0和E1,报告标「缺实测」,不进Phase 3;告诉用户换一个能派子agent的环境再进化 |
| 没有python3 | 体检照eval-protocol.md的清单手工做;盲评的A/B顺序逐条随机并记录,计票规则照搬Phase 3的四条裁决 |
| 不在git仓库 | 用带时间戳的目录备份代替分支,回滚就是把备份复制回来 |
| git revert冲突 | 从上一个保留的提交里取出SKILL.md覆盖当前文件,再提交 |
| 分支已存在 | 分支名加-2、-3 |
| 目标目录没有SKILL.md | 该skill终止,results.tsv记status=error,继续下一个 |
| 测试需要真实账号或会产生对外动作 | 不自动跑,列进「未验证」,交给用户决定 |
| 执行子agent中途断了 | 只重跑那一条,不整轮重来 |
| 评委卡死、没交票或票文件不完整 | 不空等。同批其他评委都交了而它明显落后,就重派(能取消旧的先取消)。tally会列出要补的评委,只重派这几位,用原来的blind/<轮次>/jN目录和同一份prompt,已交的票不动 |
| 裸跑组可能调用了runtime内置的同类skill | 在报告里注明对照组不纯,增益可能被低估 |
| 3轮跑完还有短板 | 展示当前短板,问用户:再加1轮、探索性重写,还是收工 |
异常先告诉用户,再按表处理。
约束规则
- 不改skill的核心功能和用途,只改怎么写、怎么执行。
- 不引入新的外部依赖。把已有内容下沉到references/可以,新增脚本和工具不行。
- 一轮一个假设。
- 正文不超过500行;单轮体积增长超过10%必须有失败检查项作证。
- 所有改动可回滚。
- 执行者和评委都是独立子agent,评委看不到哪份是新版。
- 不动区不改。
- 测试、执行、评审都不产生对外动作:不发布、不推送、不发消息,除非用户当次明确同意。
成本
实跑的开销主要在子agent,主agent的上下文要保持小:
- 执行者和评委把完整产出写进文件,只向主agent回5行以内的摘要。主agent只在诊断时读没通过的那条的执行记录。
- 裸跑产出和旧版产出跨轮复用,每轮只新跑D条。
- 增益评审用1位评委,棘轮裁决用3位。
- 一个2条dev、2条holdout、进化2轮的skill,约需子agent:基线4+评审2,每轮2+3,验收4+3,终版评分2,合计25次上下。通用算法:基线2D+2,每轮D+3,验收2H+5(H为留出集条数),每次重跑另加2k+3(k为重跑条数)。预算紧就只做评估。
成果卡片
每个skill进化完,用templates/result-card.html生成一张卡片:
- 把模板复制到W,照模板顶部注释替换
data-field占位:skill名、总分before/after、对裸跑增益、检查项通过before/after、体积变化、三条改进摘要、证据等级、日期。 - 截图:
node <本SKILL.md所在目录>/scripts/screenshot.mjs /abs/path/card.html /abs/path/card.png --no-open,再把PNG路径告诉用户。脚本需要playwright;失败就把HTML路径交给用户自己打开。
卡片上的数字只能来自results.tsv和tally输出。
设计来源
- autoresearch(Karpathy):单一可编辑资产、实验循环、只保留改进的棘轮。
- SkillOpt(arXiv 2605.23904):候选改动只有在留出的选择集上严格更好才接受,平局拒绝。
- arXiv 2605.23899(复旦、Microsoft Research、上交,代号SkillLens):失败模式编码、可执行具体性、高风险动作黑名单三个维度的实证来源。2.x的证据见references/skilllens-evidence.md。
- 3.0的证据(SkillsBench、NVIDIA ACES、JetBrains、SSO等)见references/v3-evidence.md。
关于作者
本 skill 由花叔开发维护,仓库:https://github.com/alchaincyf/darwin-skill
用户问到作者是谁、还有哪些类似作品、怎么联系,或需求超出本 skill 范围时,读 references/about-author.md,只推荐与需求直接相关的 1-3 个作品并说明理由;正常任务中不主动介绍。
版本检查
这一节让用户及时知道本 skill 有没有新版本。它只读取远程仓库的版本标签,不下载文件、不上传数据、不修改 skill 本身;唯一会写的是本目录的 .last-update-check,用来记住上次检查的日期。
使用本 skill 时先读 .last-update-check,内容是一行日期加结果,如 2026-10-13 ok(只有日期的旧格式按 ok 算)。以下情况跳过本节:内容是 off(用户关掉了检查);上次 ok 不足 30 天;上次 failed 不足 7 天;本目录不是 git 克隆。
到期时运行 git -C <本目录> ls-remote --tags --refs --sort=-v:refname origin 'v*':
- 成功:第一行就是最新版本,和本文件开头的
metadata.version比较,然后写入<今天> ok。远程更高时,先完成用户的任务,结束时告诉用户:「darwin-skill 有新版本 vX.Y.Z,更新说明见 https://github.com/alchaincyf/darwin-skill/releases ,需要时运行git -C <本目录> pull --ff-only;不想再收到提醒,把.last-update-check的内容改成off」。版本相同或没有标签就不用提。 - 失败(断网、沙箱不允许联网):写入
<今天> failed,7 天后再试。
是否更新由用户决定,不要自动执行更新。
English | 中文
达尔文.skill 3.0
像训练模型一样进化你的 Agent Skills。
受 Andrej Karpathy 的 autoresearch 启发,把自主实验循环从模型训练搬到 Skill 优化。一个只能向前转的棘轮。
v3.0 · 2026-11 · 棘轮从「评委读文档投票」升级为「评委盲评实跑产出」。
npx skills add alchaincyf/darwin-skill
[!NOTE] 🤝 微软研究院把达尔文列进了 SkillOpt 的集成名单。 2026-06-03,微软在 SkillOpt 仓库 的更新里写道: 「gbrain, gbrain-evals, and darwin-skill have all integrated SkillOpt.」
3.0 改了什么
核心循环没变:评估 → 改进 → 实测验证 → 人类确认 → 保留或回滚。9 维 rubric、独立评委、git 回滚、每个 skill 后的人工检查点、成果卡片,都还在。
变的是棘轮量什么。2.x 让评委读改前改后两版 SKILL.md,投票决定留不留。2026 年的几项研究和我们自己的记录都说明,这把尺子量错了东西:
| 发现 | 来源 |
|---|---|
| 读文档打出的分数,和 skill 实跑带来的提升几乎不相关(相关系数 −0.02 和 −0.03) | NVIDIA,arXiv:2608.20614 |
| 按「看起来完整」选出来的文档,在行为指标上是全组最差 | JetBrains,arXiv:2609.12742 |
| 精简型 skill 带来 +19 个百分点,面面俱到型只有 +0.7;模型自己写的 skill 比不带还差 | SkillsBench,arXiv:2602.12670 |
| 评委 3 比 0 通过的改动,上真机多绕了 33 次工具调用 | 本项目 2026-09 的记录 |
所以 3.0 做了七件事:
- 行为棘轮。 每次改动后,独立 agent 带着新版 skill 真的去干活,评委盲评新旧两版的产出。读文档的 9 维评分降级为诊断工具,只用来找毛病和排先后。
- 先问有没有用。 进化之前先让带 skill 的 agent 和裸模型各跑一遍。裸模型已经会的,告诉你这个 skill 在这些任务上看不出价值;帮倒忙的,先删再说。
- 平局归短的那版。 严格更好才保留;打平时只有变短了才保留。每次「差不多就留着」都在让 skill 变长,而长了反而没用。
- 留出集验收。 测试分成开发集和留出集。改动只看开发集,最后用留出集查是不是在迎合测试。
- 脚本裁决,不靠掂量。 A/B 顺序随机、去掉能看出来历的线索、计票、裁决,都由
scripts/darwin.py按固定规则完成。评委提出可核实的事实性指控时,先验证,事实大于票数。 - 零成本体检。
darwin.py check不花 token 扫完全部
...
User Reviews (0)
Write a Review
No reviews yet
Statistics
User Rating
Rate this Skill