darwin-skill
借鉴 Karpathy autoresearch 模式对 Skill 进行持续优化,通过结构评分和效果验证双重评估,自动保留改进并回退退步,每次优化后等待用户确认
npx skills add https://github.com/alchaincyf/darwin-skill --skill darwin-skillBefore / After 效果对比
1 组凭感觉修改 Skill 提示词,缺乏量化评估,改进效果依赖主观判断,优化周期长达数周,且容易引入退步而难以发现
自动化评估循环生成量化评分,对比基线指标,自动保留有效改进并回退负面变化,每次优化都有明确的性能数据支撑
Darwin Skill 3.0
借鉴Karpathy autoresearch的自主实验循环,让skill持续进化。 核心循环没变:评估 → 改进 → 实测验证 → 人类确认 → 保留或回滚 → 生成成果卡片。 3.0变的是棘轮量什么:2.x让评委读两版SKILL.md投票,3.0让评委盲评两版skill跑出来的产出。 GitHub: https://github.com/alchaincyf/darwin-skill
你是这套流程的实验员,不是文案编辑。一个skill好不好,只有一个判据:装上它之后,agent干同一件活是不是真的更好。文档写得多规范、多完整,都只是猜测,跑出来才算数。
为什么要改成量行为
2026年的几项实证指向同一件事,详见references/v3-evidence.md:
- 读文档打出的分和真实效果几乎不相关。NVIDIA在生产skill上实测,结构分、LLM读评分与实跑增益的相关系数是−0.02和−0.03。
- 按「看起来像好skill」选出来的文档,在行为指标上可以是最差的那份(JetBrains)。
- 越写越全反而没用:SkillsBench里精简型skill带来+19个百分点,面面俱到型只有+0.7;模型自己生成的skill比不带还差。
- 2.x自己的记录也一样:评委3比0通过的改动,上真机多绕了33次工具调用。
所以3.0的规矩是:读评只用来找毛病,保留还是回滚由实跑决定。
证据阶梯
每个结论都标明它到了哪一级,报告里不许把低一级说成高一级。
| 等级 | 做了什么 | 能支持的结论 |
|---|---|---|
| E0 体检 | 脚本读文件,不花token | 格式、路由、体积、引用、安全有没有硬伤 |
| E1 读评 | 独立评委按9维rubric读SKILL.md | 先改谁、可能的毛病在哪 |
| E2 实跑 | 独立agent真的照skill干活,盲评产出 | 这个skill有没有用、这次改动留不留 |
| E3 真机 | 在skill真正要操作的环境里跑一遍 | 可以交付 |
keep或revert至少要E2。操作真实系统的skill(填表、发布、控制设备)没到E3,报告里必须写「未在真实环境验证」。
三种用法
| 用户说 | 做什么 | 成本 |
|---|---|---|
| 「给所有skill体检」「看看哪些skill有问题」 | 只跑E0脚本,出排序表 | 约等于零 |
| 「评估这个skill」「给它打分」 | Phase 0到2,不改文件 | 每个skill约2D+2次子agent(D为开发集条数) |
| 「优化这个skill」「让它进化」 | Phase 0到5完整流程 | 评估成本+每轮约D+3次,验收另算 |
用户说「优化所有skill」时:先全量体检,再让用户从错误警告最多的、他最常用的里面挑要进化的。不要对几十个skill挨个实跑。
模型升级或skill长期没动之后,用户说「复测」:用已存的测试集重跑Phase 2,和results.tsv里上次的增益对比。基座模型变强后,skill的增益常常缩水甚至变负,这只有重跑才看得见。
评估Rubric(9维度,总分100)
rubric的用途是诊断和排序:总分决定先改谁,各维度得分指出毛病可能在哪。它不决定留不留。
结构维度(59分),E1读评
| # | 维度 | 权重 | 评分标准 |
|---|---|---|---|
| 1 | Frontmatter质量 | 7 | name规范;description写清做什么和何时用、含触发词、≤1024字符、关键信息在前250字符;E0体检的路由类警告直接扣分 |
| 2 | 工作流清晰度 | 12 | 步骤可执行、有序号、每步有输入输出;同一情境不存在两条没分工的路径 |
| 3 | 失败模式编码 | 12 | 脆弱步骤写出「如果X失败→Y」的分支和兜底;只写正向流程扣≥3分 |
| 4 | 检查点设计 | 6 | 不可逆或对外的动作前有显性标记的用户确认(🔴/STOP/CHECKPOINT) |
| 5 | 可执行具体性 | 18 | 有具体参数、格式、示例;「可以考虑、视情况、灵活把握」这类软化措辞≥3处扣≥3分 |
| 6 | 资源整合度 | 4 | references、scripts、assets引用正确可达;E0体检的引用类警告直接扣分 |
效果维度(35分)
| # | 维度 | 权重 | 评分标准 |
|---|---|---|---|
| 7 | 整体架构 | 12 | 层次清晰、不冗余;每段都是裸模型不知道的东西;正文≤500行,细节下沉references且只下沉一层 |
| 8 | 实测表现 | 23 | 由E2实跑结果按下面的规则换算,不由评委凭感觉给 |
Meta-skill维度(6分)
| # | 维度 | 权重 | 评分标准 |
|---|---|---|---|
| 9 | 反例与黑名单 | 6 | 真实踩过的坑和高风险动作有明文禁令 |
评分规则
- 维度1到7、9各打1到10分;总分 = Σ(维度分 × 权重) / 10。
- 必要性原则:维度3、4、9只在任务确实脆弱的地方要求。一个纯写作类skill没有不可逆动作,不因为缺检查点扣分;为凑分硬加的章节在维度7按冗余扣分。
- 增益的叫法以tally输出为准:胜多于负是「多数胜」,负多于胜是「多数负」,有胜有负且相等是「胜负相当」,全平是「多数平」。
- 维度8换算:有检查项时,分数 = 带skill的检查项通过数 ÷ 开发集检查项总数 × 10,四舍五入(通过数取tally的「检查项通过合计」里b那个数);再按增益封顶——多数负最高3分,多数平或胜负相当最高6分。没有检查项的主观类skill按增益给:全胜10,多数胜8,多数平或胜负相当5,多数负2。
- 没跑E2就没有维度8的分数,总分标注「缺实测,不可比」,不许用推演代替。
- 绝对总分跨评委有±8的噪音,只用于粗排,不用于判断一次改动的好坏。
进化流程
下文的darwin.py指python3 <本SKILL.md所在目录>/scripts/darwin.py,W指Phase 0建的工作目录。执行者、评委、触发测试的prompt和投票格式都在references/eval-protocol.md,派子agent前先读它,prompt照抄。
同一步要派的多个执行者或多个评委互不依赖,runtime支持并发就一次派出,不要一个等一个;总耗时主要取决于这一点。
Phase 0:准备
- 确认范围和用法(体检、评估、进化、复测)。
- 跑体检:
darwin.py check <skill目录或装着多个skill的上级目录>。 - 进化模式下:目标skill在git仓库里就建分支
auto-optimize/YYYYMMDD-HHMM;不在仓库里,把整个skill目录复制一份带时间戳的备份。 - 建工作目录W,放快照、产出、盲评材料。用runtime提供的临时目录或系统临时目录,不要建在任何skills目录下面:里面会有SKILL.md副本,有的runtime会把它扫成新skill。
- 把目标skill整个目录复制到
W/s0/作为原始版快照。复制时去掉test-prompts.json和trigger-tests.json:执行者能读到skill目录,测试的检查项不能让它看见。 - 读本目录的results.tsv,看这个skill以前试过什么、哪些假设被回滚过,不重复失败过的改法。
- 和用户确认不动区:身份层(角色定位、交付标准那几段)默认不动;用户定过的口味和措辞不动。评委建议删这些内容时,记录理由但不执行。
Phase 1:测试集
测试集决定进化方向,是整个流程里最值得花时间的一步。存在目标skill目录的test-prompts.json,已有就复用并展示。
[
{"id": "dev-1", "split": "dev", "source": "real",
"prompt": "用户会说的原话",
"files": ["可选:测试要用到的输入文件"],
"checks": ["产出里可以客观核对的事实,如:生成了output.csv且含date列"]}
]
- 至少4条:2条dev(开发集,用来找毛病)、2条holdout(留出集,只在Phase 4验收时跑一次)。
- 来源优先级:用户真实用过的请求或踩过的坑(real)>用户口述的典型场景(user)>读SKILL.md反推(doc)。全是doc来源时在报告里标明:用文档出题考文档,测不出文档没写到的缺口。
- 任务要让裸模型有可能做不好。裸模型一次就能做对的题,测不出skill的价值。
- checks写结果不写过程:「输出文件有N行」可以核对,「遵循了工作流」不行。主观类skill可以不写checks,全靠盲评。
- 操作真实系统的skill,至少一条测试带真实输入数据。问答式的「第三步该填什么」不算测试。
🔴 CHECKPOINT · 🛑 STOP:把测试集给用户看,确认后再往下走。
Phase 2:基线实跑
- 测试带输入文件时,先给每个执行者各复制一份到
W/in/<组>/<测试id>/,不让两组共用同一份:一组原地改了文件,另一组读到的就不是原样。 每条dev测试派两个互不相干的独立子agent:一个带skill(先完整读W/s0/里的SKILL.md再干活),一个裸跑(不给skill)。产出分别写进W/runs/s0/<测试id>/和W/runs/x/<测试id>/。不告诉执行者这是测试,不让它看到另一组的目录。 - 生成盲评材料,派1位评委:
pair会随机A/B顺序,去掉执行记录,抹掉产出里带W的路径。评委只拿到darwin.py pair --a W/runs/x --b W/runs/s0 --out W/blind/lift --key W/keys/lift.json --judges 1 --redact WW/blind/lift/j1这一个目录,把投票写成W/votes/lift/j1.json。 - 计票:
darwin.py tally --key W/keys/lift.json --votes W/votes/lift,得到带skill对裸跑的胜平负,这就是增益。 - 另派一个独立评委做E1读评:按9维rubric给维度1到7、9打分;再读带skill那组的执行记录,找出agent在哪一步走错、哪句没照做、哪里绕了路。行为证据排在rubric印象前面。
- 算总分,写results.tsv,展示评分卡:
┌─────────────────┬──────┬──────────────┬────────────┬──────────────────┐
│ Skill │ 总分 │ 对裸跑增益 │ 检查项通过 │ 最大加权短板 │
├─────────────────┼──────┼──────────────┼────────────┼──────────────────┤
│ some-skill │ 71 │ 1胜1平0负 │ 5/8 │ dim8 实测(9.2) │
└─────────────────┴──────┴──────────────┴────────────┴──────────────────┘
按增益分流:
| 增益 | 含义 | 下一步 |
|---|---|---|
| 多数负 | skill在帮倒忙 | 先做删减类改动;仍为负就建议停用 |
| 多数平 | 裸模型已经会了 | 告诉用户这些测试上看不出价值,由他决定:收窄到裸模型做不到的部分、瘦身,或到此为止 |
| 胜负相当 | 有的任务帮忙,有的任务添乱 | 读负的那几条的执行记录,先修添乱的部分 |
| 多数胜 | skill有用 | 从没通过的检查项和执行记录里找改进点 |
🔴 CHECKPOINT · 🛑 STOP:展示评分卡和分流建议,等用户确认。评估模式到此结束,直接出Phase 5的报告。
Phase 3:进化循环
每个skill最多3轮,每轮只验证一个假设。
round = 0
while round < 3:
round += 1
# Step 1 诊断
找加权短板最大的维度:weighted_gap = 权重 × (10 − 分数) / 10
dim2、dim3、dim4是相关簇,一起看
假设必须引用证据:「dev-2里agent没做X,因为SKILL.md第N行Y」
没有执行证据支撑的假设不做
# Step 2 选改法,按这个顺序考虑
删:裸模型本来就会的解释、没人走到的分支、重复的话
改:有歧义的指令、同一情境的两条路、放错位置的关键信息
移:只在特定分支用到的细节,下沉到references/
加:agent推断不出来的知识。只在有失败的检查项或执行记录指向它时才加
只改description的假设不走下面的Step 4和Step 5:执行者是直接读SKILL.md的,产出看不出路由的好坏。
它走触发测试裁决(eval-protocol.md「触发测试」):验证那一半请求上命中率升或误触率降、另一项不退 → keep,否则revert
# Step 3 执行
对照下面的反例黑名单
编辑SKILL.md;新版体积超过旧版110%时,必须能指出它修掉了哪条失败的检查项
git commit(message: "optimize {skill}: {假设摘要}")
# Step 4 新版实跑
把新版skill目录复制到 W/s{round}/(同样去掉测试文件),每条dev测试派一个独立子agent带它跑,产出写进 W/runs/s{round}/
旧版产出不用重跑,复用上一个保留版本的目录
# Step 5 盲评与裁决
darwin.py pair --a W/runs/<上一保留版> --b W/runs/s{round} --out W/blind/r{round} --key W/keys/r{round}.json --judges 3 --redact W
三位评委各读各的目录(j1、j2、j3),投票写进 W/votes/r{round}/
其中一位额外拿到skill目录的路径,专门核对新写的命令、参数、文件是不是真的存在、真的能跑
darwin.py tally --key W/keys/r{round}.json --votes W/votes/r{round} --old-skill <上一保留版SKILL.md> --new-skill <当前SKILL.md>
裁决以tally输出为准:
严格更好(胜>负,检查项没有倒退)→ keep
打平且新版更短 → keep
打平但没变短 → revert(没有证据的改动不保留)
更差或检查项倒退 → revert
tally提醒「只差一条且评委有分歧」→ 那几条两版各重跑一次,产出写进新目录(如 W/runs/s0-re、W/runs/s{round}-re),
对这几条重新pair和评审(--tests 指定),用重跑的结果替换这几条原来的胜负,再按上面四条裁决
每轮最多重跑一次,重跑后tally再提醒也不再跑
tally报出事实性指控 → 先去验证;成立就以事实为准,不看票数
revert用 git revert HEAD 生成反向提交,保留历史
每轮结果写results.tsv,被回滚的假设也要记,供以后避开
连续2轮revert,或连续2轮tally都报「多数只是略好」→ 停手,进Phase 4
体积比的是SKILL.md本身(每次必读的部分),下沉到references的内容不计入
涨不动时(连续两个skill都在第1轮被回滚),可以提议一次探索性重写:从头重组结构,同样走Step 4和Step 5的实跑裁决。🔴 CHECKPOINT · 🛑 STOP:重写前必须征得用户同意。
Phase 4:验收
所有轮次都被回滚、最终版等于原始版时,跳过第1步和第2步。
- 留出集:用原始版(
W/s0/)和最终版各跑一遍holdout测试,产出写进W/runs/s0-holdout/和W/runs/sN-holdout/;darwin.py pair --a W/runs/s0-holdout --b W/runs/sN-holdout --out W/blind/holdout --key W/keys/holdout.json --judges 3 --redact W,三位评委投票后darwin.py tally --key W/keys/holdout.json --votes W/votes/holdout(不传skill路径,只看胜平负)。结果是「多数负」,或tally报出检查项通过合计b小于a,说明改动只是迎合了开发集:把每轮的diff摆给用户,建议回滚到原始版。其余情况算通过。 - 终版分数:派一位独立评委对最终版重做E1读评;把
W/runs/x和最后一个保留轮次的dev产出做一次1评委的增益评审,按评分规则换算维度8。报告里的after总分和after增益来自这一步。 - 触发:description改过,或体检报了路由警告,就跑触发测试——把目标skill和它的邻居skill的name、description一起给独立agent,看该触发的请求选不选它、不该触发的请求会不会误选。
- 真机:skill操作真实系统的,请用户在真实环境里跑一条,或经他同意后代跑。没做就在报告里如实写。
🔴 CHECKPOINT · 🛑 STOP:每个skill进化完都要人审。展示git diff、每轮裁决、留出集结果。用户说不好,回滚到进化前的版本。
Phase 5:报告
固定七段,每一段都只写实际发生的事:
## {skill} 进化报告
结论:可直接用 / 小修后用 / 先优化再用 / 不建议用
分数:总分 before → after(缺实测时注明不可比)
实测:对裸跑增益(胜/平/负);检查项通过 before → after;留出集结果;SKILL.md体积变化
改动:保留了哪几轮、回滚了哪几轮、各自的证据
已验证:到了哪一级证据,跑了几条测试、几位评委
未验证:没跑的测试类型、没覆盖的runtime和模型、没上真机
剩余风险:测试只有N条,只能发现大差异;测试来源;其他已知不确定
然后生成成果卡片。
results.tsv
位置:与本SKILL.md同目录。表头9列,2.x的旧记录继续可读:
timestamp commit skill old_score new_score status dimension note eval_mode
2026-11-14T10:00 baseline some-skill - 71 baseline - 对裸跑1胜1平0负;检查项5/8 e2-dev
2026-11-14T10:20 a1b2c3d some-skill - 2胜0平0负 keep dim3 改 dev-2不再漏掉重试;3评委一致 e2-dev
2026-11-14T10:40 b2c3d4e some-skill - 0胜2平0负 revert dim5 加 打平且变长8% e2-dev
2026-11-14T11:00 final some-skill - 1胜1平0负 accept - 留出集,原始版对最终版 e2-holdout
old_score和new_score两列:基线行和终版行的new_score填9维总分;每轮裁决行的new_score填胜平负,old_score填-。
eval_mode取值:e0、e1、e2-dev、e2-holdout、e3、trigger。旧值paired、full_test、dry_run只读不写。文件缺失就新建并写表头;列数对不上就先备份成.bak.时间戳再重建,并告诉用户。
反例黑名单
每轮改动前对照一次。每条都是真实踩过的坑。
| # | 不要做 | 为什么 | 改成 |
|---|---|---|---|
| 1 | 同一个上下文里自己改自己评 | 刚改完的人总觉得更好 | 执行和评审都派独立子agent |
| 2 | 让评委读两版SKILL.md来决定留不留 | 读得通顺不等于照着做不出错 | 评委盲评两版的产出 |
| 3 | 拿绝对总分的涨跌当棘轮 | 换个评委总分能摆±8 | 总分只做粗排,裁决看tally |
| 4 | 打平就保留 | 每次打平保留都在让skill变长,长了反而没用 | 平局归短的那版 |
| 5 | 为凑分加章节 | 检查点、黑名单、失败分支不是越多越好 | 只在有失败证据处加,优先删和改 |
| 6 | 用硬重置回滚 | 会丢掉工作区里没提交的改动 | git revert生成反向提交 |
| 7 | 把对照组产出放在被测agent看得见的地方 | 它会读,然后抄进去 | 各组产出目录互不可见,prompt里禁止列目录 |
| 8 | 只数票,不核实 | 两个只读文字的评委会投过一条走不通的流程 | 有事实性指控先验证,事实大于票数 |
| 9 | 一轮改多处 | 结果无法归因 | 一轮一个假设 |
| 10 | 用推演代替实跑 | 等于编造23%的权重 | 跑不了就标缺实测,不给dim8打分 |
| 11 | 评委说删身份层就删 | 评委优化的是文档密度,不是产出水准 | 记录理由,不执行 |
| 12 | 遇到异常默默跳过 | 棘轮断了自己还不知道 | 先告诉用户,再按异常表处理 |
优化策略库
- P0 效果问题(E2发现的):带skill比裸跑差,先删;产出偏离用户意图,查有没有误导性指令;检查项反复不过,补agent推断不出来的那条知识。
- P0 可移植与安全:体检报的密钥、个人路径、无确认的破坏性命令;把skill钉死在单一runtime的措辞,判别表见references/runtime-neutrality.md,先读上下文排除讲解和举例造成的误报。
- P1 路由:description没写何时用、触发场景靠后、和邻居skill抢请求。
- P2 结构:同一情境两条路、关键指令埋在长段落里、正文超500行。
- P3 具体性:步骤模糊、缺输入输出规格、缺失败分支。
异常与边界条件
| 场景 | 处理 |
|---|---|
| 子agent不可用 | E2做不了。只做E0和E1,报告标「缺实测」,不进Phase 3;告诉用户换一个能派子agent的环境再进化 |
| 没有python3 | 体检照eval-protocol.md的清单手工做;盲评的A/B顺序逐条随机并记录,计票规则照搬Phase 3的四条裁决 |
| 不在git仓库 | 用带时间戳的目录备份代替分支,回滚就是把备份复制回来 |
| git revert冲突 | 从上一个保留的提交里取出SKILL.md覆盖当前文件,再提交 |
| 分支已存在 | 分支名加-2、-3 |
| 目标目录没有SKILL.md | 该skill终止,results.tsv记status=error,继续下一个 |
| 测试需要真实账号或会产生对外动作 | 不自动跑,列进「未验证」,交给用户决定 |
| 执行子agent中途断了 | 只重跑那一条,不整轮重来 |
| 评委卡死、没交票或票文件不完整 | 不空等。同批其他评委都交了而它明显落后,就重派(能取消旧的先取消)。tally会列出要补的评委,只重派这几位,用原来的blind/<轮次>/jN目录和同一份prompt,已交的票不动 |
| 裸跑组可能调用了runtime内置的同类skill | 在报告里注明对照组不纯,增益可能被低估 |
| 3轮跑完还有短板 | 展示当前短板,问用户:再加1轮、探索性重写,还是收工 |
异常先告诉用户,再按表处理。
约束规则
- 不改skill的核心功能和用途,只改怎么写、怎么执行。
- 不引入新的外部依赖。把已有内容下沉到references/可以,新增脚本和工具不行。
- 一轮一个假设。
- 正文不超过500行;单轮体积增长超过10%必须有失败检查项作证。
- 所有改动可回滚。
- 执行者和评委都是独立子agent,评委看不到哪份是新版。
- 不动区不改。
- 测试、执行、评审都不产生对外动作:不发布、不推送、不发消息,除非用户当次明确同意。
成本
实跑的开销主要在子agent,主agent的上下文要保持小:
- 执行者和评委把完整产出写进文件,只向主agent回5行以内的摘要。主agent只在诊断时读没通过的那条的执行记录。
- 裸跑产出和旧版产出跨轮复用,每轮只新跑D条。
- 增益评审用1位评委,棘轮裁决用3位。
- 一个2条dev、2条holdout、进化2轮的skill,约需子agent:基线4+评审2,每轮2+3,验收4+3,终版评分2,合计25次上下。通用算法:基线2D+2,每轮D+3,验收2H+5(H为留出集条数),每次重跑另加2k+3(k为重跑条数)。预算紧就只做评估。
成果卡片
每个skill进化完,用templates/result-card.html生成一张卡片:
- 把模板复制到W,照模板顶部注释替换
data-field占位:skill名、总分before/after、对裸跑增益、检查项通过before/after、体积变化、三条改进摘要、证据等级、日期。 - 截图:
node <本SKILL.md所在目录>/scripts/screenshot.mjs /abs/path/card.html /abs/path/card.png --no-open,再把PNG路径告诉用户。脚本需要playwright;失败就把HTML路径交给用户自己打开。
卡片上的数字只能来自results.tsv和tally输出。
设计来源
- autoresearch(Karpathy):单一可编辑资产、实验循环、只保留改进的棘轮。
- SkillOpt(arXiv 2605.23904):候选改动只有在留出的选择集上严格更好才接受,平局拒绝。
- arXiv 2605.23899(复旦、Microsoft Research、上交,代号SkillLens):失败模式编码、可执行具体性、高风险动作黑名单三个维度的实证来源。2.x的证据见references/skilllens-evidence.md。
- 3.0的证据(SkillsBench、NVIDIA ACES、JetBrains、SSO等)见references/v3-evidence.md。
关于作者
本 skill 由花叔开发维护,仓库:https://github.com/alchaincyf/darwin-skill
用户问到作者是谁、还有哪些类似作品、怎么联系,或需求超出本 skill 范围时,读 references/about-author.md,只推荐与需求直接相关的 1-3 个作品并说明理由;正常任务中不主动介绍。
版本检查
这一节让用户及时知道本 skill 有没有新版本。它只读取远程仓库的版本标签,不下载文件、不上传数据、不修改 skill 本身;唯一会写的是本目录的 .last-update-check,用来记住上次检查的日期。
使用本 skill 时先读 .last-update-check,内容是一行日期加结果,如 2026-10-13 ok(只有日期的旧格式按 ok 算)。以下情况跳过本节:内容是 off(用户关掉了检查);上次 ok 不足 30 天;上次 failed 不足 7 天;本目录不是 git 克隆。
到期时运行 git -C <本目录> ls-remote --tags --refs --sort=-v:refname origin 'v*':
- 成功:第一行就是最新版本,和本文件开头的
metadata.version比较,然后写入<今天> ok。远程更高时,先完成用户的任务,结束时告诉用户:「darwin-skill 有新版本 vX.Y.Z,更新说明见 https://github.com/alchaincyf/darwin-skill/releases ,需要时运行git -C <本目录> pull --ff-only;不想再收到提醒,把.last-update-check的内容改成off」。版本相同或没有标签就不用提。 - 失败(断网、沙箱不允许联网):写入
<今天> failed,7 天后再试。
是否更新由用户决定,不要自动执行更新。
English | 中文
达尔文.skill 3.0
像训练模型一样进化你的 Agent Skills。
受 Andrej Karpathy 的 autoresearch 启发,把自主实验循环从模型训练搬到 Skill 优化。一个只能向前转的棘轮。
v3.0 · 2026-11 · 棘轮从「评委读文档投票」升级为「评委盲评实跑产出」。
npx skills add alchaincyf/darwin-skill
[!NOTE] 🤝 微软研究院把达尔文列进了 SkillOpt 的集成名单。 2026-06-03,微软在 SkillOpt 仓库 的更新里写道: 「gbrain, gbrain-evals, and darwin-skill have all integrated SkillOpt.」
3.0 改了什么
核心循环没变:评估 → 改进 → 实测验证 → 人类确认 → 保留或回滚。9 维 rubric、独立评委、git 回滚、每个 skill 后的人工检查点、成果卡片,都还在。
变的是棘轮量什么。2.x 让评委读改前改后两版 SKILL.md,投票决定留不留。2026 年的几项研究和我们自己的记录都说明,这把尺子量错了东西:
| 发现 | 来源 |
|---|---|
| 读文档打出的分数,和 skill 实跑带来的提升几乎不相关(相关系数 −0.02 和 −0.03) | NVIDIA,arXiv:2608.20614 |
| 按「看起来完整」选出来的文档,在行为指标上是全组最差 | JetBrains,arXiv:2609.12742 |
| 精简型 skill 带来 +19 个百分点,面面俱到型只有 +0.7;模型自己写的 skill 比不带还差 | SkillsBench,arXiv:2602.12670 |
| 评委 3 比 0 通过的改动,上真机多绕了 33 次工具调用 | 本项目 2026-09 的记录 |
所以 3.0 做了七件事:
- 行为棘轮。 每次改动后,独立 agent 带着新版 skill 真的去干活,评委盲评新旧两版的产出。读文档的 9 维评分降级为诊断工具,只用来找毛病和排先后。
- 先问有没有用。 进化之前先让带 skill 的 agent 和裸模型各跑一遍。裸模型已经会的,告诉你这个 skill 在这些任务上看不出价值;帮倒忙的,先删再说。
- 平局归短的那版。 严格更好才保留;打平时只有变短了才保留。每次「差不多就留着」都在让 skill 变长,而长了反而没用。
- 留出集验收。 测试分成开发集和留出集。改动只看开发集,最后用留出集查是不是在迎合测试。
- 脚本裁决,不靠掂量。 A/B 顺序随机、去掉能看出来历的线索、计票、裁决,都由
scripts/darwin.py按固定规则完成。评委提出可核实的事实性指控时,先验证,事实大于票数。 - 零成本体检。
darwin.py check不花 token 扫完全部
...
用户评价 (0)
发表评价
暂无评价
统计数据
用户评分
为此 Skill 评分