知识分享
技术文章、实战教程、经验心得
LLM 驱动的自动化测试系列（14）：落地与工程化——为什么测试场景的 Token 账单,反而是这个系列里最便宜的
同一个作者的企业级 Bug 修复流程,调试阶段烧掉了数千美金 Token；这个系列里验证过的测试场景——AutoRestTest 测一个 15 个接口的 API 只要一毛钱,pytest-triage 默认每次运行最多花 10 次模型调用——差了几个数量级。这篇把 13 篇文章积累的证据摆在一起,回答规划里剩下的三个问题：测试场景的成本量级为什么比代码生成低,人工确认门该放在流程的哪个节点,以及到底有哪些场景明确不该用 LLM。
LLM 驱动的自动化测试系列（13）：Flaky Test 不是重跑几次就能解决的分类问题
477 star 的 pytest-rerunfailures 和 397 star 的 flaky，处理不稳定测试的手段永远是同一句话：失败了就重跑几次。这解决不了规划里提出的问题——一次失败到底是真 bug、环境抖动，还是测试本身写得有问题。真正尝试用 LLM 做这个根因分类的，是一个只有 2 star、上线不到两个月的项目 pytest-triage，而它最值得学习的地方，反而是它给 AI 判断加的四条安全约束——AI 从头到尾不允许影响测试的通过/失败结果。
LLM 驱动的自动化测试系列（12）：像素 diff 之外，谁真的在让 LLM「看懂」UI 变化
7.2k star 的 BackstopJS 处理噪声的全部手段就是四个数字配置项：misMatchThreshold、requireSameDimensions、ignoreAntialiasing、usePreciseMatching——本质上还是在跟字体渲染抖动死磕像素级容差。真正把 VLM/LLM 接进视觉回归判断链路的，是一个只有 23 star 的项目 vlmkit，而且它自己的内部评测数据直接写着某个模型会把红改成红——把这两个项目摆在一起，视觉语义回归到底解决了什么、又引入了什么新问题，答案比想象中更具体。
LLM 驱动的自动化测试系列（11）：API 测试为什么反而是 LLM 最保守的战场
18.5k star 的 Keploy 首页写着'Expand API Coverage using AI'，但把整个开源 Go 代码库翻遍，找不到一行调用大模型的代码——那个 AI 功能只存在于闭源的云端 SaaS。3.6k star 的 Schemathesis 则完全不用 LLM，靠 Hypothesis 这套纯粹的基于属性测试（property-based testing）的模糊测试引擎就能找到真实的服务端 500 错误。反倒是两个不到 100 star 的小项目——AutoRestTest 和 api-automation-agent——才是真正调用大模型 API 的实现。这篇要说清楚：结构化的 API 输入输出天然更适合传统 fuzzing，那 LLM 到底能在这个赛道里做什么传统工具做不到的事，为什么它目前只敢做，不敢像 UI 自动化那样 all-in。
一天一个开源项目（第251篇）：Claude SEO —— 装进 Claude Code 的 SEO 审计团队，26 个子技能 + 19 个专家 Agent 并行体检网站
Claude SEO 是 AgriciDaniel 开源的 Claude Code 插件，把技术 SEO、E-E-A-T、Schema、Core Web Vitals、GEO/AI 搜索、本地与电商 SEO 等能力拆成 26 个子技能和 19 个专家 Agent，一条 /seo audit 就能并行审计整站并输出带优先级的行动计划。MIT 协议，约 2.3 万 Stars。
一天一个开源项目（第249篇）：Hallmark —— 一个拒绝“AI 味”的设计 Skill，用 48 套材质主题和浏览器 Linter 约束编程助手
Hallmark 是 Together AI 出品、Nutlope 开源的设计 Skill，适用于 Claude Code、Codex、Cursor 和 OpenCode。它先守住一条硬底线（对比度、焦点、减少动效、不编造数据、不要“眉标”），再从 48 套材质主题里发三张牌，围绕访客要完成的事搭页面，最后用一个能在真实浏览器里渲染的 sloplint 去检查页面是否露出机器生成的痕迹，并交给一个全新上下文的评审者把关。MIT 协议，近 3.8 万 Star。
一天一个开源项目（第250篇）：Cindy —— 开箱即用的开源 AI Agent，把你的电脑和手机连成一个人，并统一调度 Claude Code、Codex 与 Pi
Cindy 是一个开源的桌面加手机 AI Agent 客户端（Electron 加 Expo），不自己造引擎，而是把 Claude Code、Codex 和 Pi 收进同一个界面，再加上多设备接力、跨电脑共享模型供应商、手机远程桌面、伙伴与群聊、Orca 多智能体协同、插件与 Skill 体系。你的电脑就是服务器，不用租服务器也不用自己部署。Apache-2.0 协议，7000 多 Star，官方客户端免费但模型用量仍按供应商计费。
一天一个开源项目（第248篇）：CleanYourTV —— 让 AI 编程助手通过 Wi-Fi 给安卓电视去广告、换上 Apple TV 风格主屏
CleanYourTV 是一个把 Android TV / Google TV 去臃肿的开源工具集：电视打开 USB 调试后，由 Claude Code、Codex 或 Gemini CLI 这类编程助手通过 Wi-Fi 备份、停用厂商广告与遥测、安装一个仅 523 KB 的原生启动器。不需要 root，不卸载任何东西，附带一行命令的还原脚本。上线 9 天 GitHub 近 3.8 万 Star，社区已贡献 300 多款电视的实测清单。
LLM 驱动的自动化测试系列（10）：自愈定位——当启发式打分撞上语义理解的天花板
Healenium 是自愈定位领域最老牌的开源项目，README 宣称'leverages machine learning'，但直接读代码发现核心机制是一套基于 DOM 树相似度的加权打分公式，权重和阈值都是硬编码常量，跟机器学习没有关系；更值得注意的是它 2026 年新增了一个 AI 生成 XPath 的接口，但代码里直接写着'必须是付费的 hlm-ai 服务'。这篇先拆穿 Healenium 的打分公式到底怎么算，再看 MarketSquare/robotframework-selfhealing-agents 这个真正基于 LLM 的自愈项目怎么设计多智能体架构，最后回答规划里提的问题：自愈成功率和误判率的权衡，到底卡在哪。
拆解 Anthropic 官方评测方法论：从「定义成功标准」到 claude plugin eval
Anthropic 同时给出了两份评测文档：Claude 开发者平台的《定义成功标准并构建评估》讲方法论，Claude Code 的《使用 evals 测试插件》讲工程落地。本文把两者放在一起拆解：SMAR 成功标准、六种评分方法的选型、claude plugin eval 的用例/评分器/基线三层结构、with vs without 的 Δ 设计、沙箱隔离与 CI 门控的退出码约定，以及它给我们自建评测平台的几点启示。
一次 Skill 评测的复盘：我推翻了一份现成的模型选型结论，然后自己造了个评测平台
团队里有一份 Skill 模型适配评测，报告看着有模有样，细看却有不少问题：每个场景只有 1 个 case，对错还由 AI 自己判断。我针对 Jira Skill 最高频的「获取 bug 信息 + 附件下载」重新设计评测：100 个 case × 3 次采样，脚本逐字对比 ground truth。结果很反常识：得分最高的 sonnet-5-5 不是最优解，ds-v4.1-flash 在成功率、成本、速度上综合胜出。文末介绍支撑这次复测的 Skill 评测平台：评测方案、用例、运行、指标、AI 报告，以及版本纵向对比和模型横向对比。
一天一个开源项目（第245篇）：Raven —— 'Harness 的 Harness'，把 Claude Code、Codex 等智能体编排起来并让它递归自我改进
Raven 是 EverMind-AI 开源的多智能体宿主（Host Agent）：内置 Research / Code / Design / Oncall 四类智能体，通过 ACP、CLI 或 OpenAI 兼容 API 接入 Claude Code、Codex、Hermes Agent 等 13 个第三方智能体，用 Evolver 对 harness 本身做'提出改动 → 评测 → 采纳'的递归自我改进，并由 EverOS 提供跨会话记忆。5.7k Stars，Apache-2.0。