通用模型写得出管道，算不清账单

MotherDuck 访谈系列的第五期请来了 Josh Wills。他带过 Slack 的数据工程团队，现在在 DatologyAI 处理超大规模的文本和多模态数据。¹文章标题取自他的一句话：数据工程本质上是批处理语境下的缓存失效问题。我读完全文，觉得更值得看的是另外两件事：他现在怎么用代理干活，以及他为什么认为代理还做不好数据工程。

代码交给代理，账单还得自己盯

他现在几乎所有代码都让代理来写，自己主要做评审、看设计文档；修不稳定的测试、做数据库迁移这类杂活也交了出去。¹他用的是通用模型：先是嫌 Opus 5 不好用，换到 OpenAI 的 Codex，后来又回到 Opus 5.5。¹

他最不满意的是成本。代理写的管道结果正确，却非常浪费。他举例说，在 Databricks 上让代理随手写一个作业，可能一天就要花掉约 20 万美元，有经验的数据工程师盯着就不会写出这种东西。¹他把原因归到训练上。数学、前端、带执行计划的 SQL，改一下马上就能看到对错，模型在这些任务上表现很好；一条要在上百台机器上跑好几个小时的管道，模型几乎没练过，也拿不到这种快速反馈。¹假设一次完整运行要 4 小时，代理一天最多试 6 次，而前端改动几秒钟就能看到结果。

所以他给自己的定位是“紧急情况处理员”：平时让代理自动驾驶，管道坏了再接手。¹

反馈越慢的行业，通用模型越吃力

Josh 自己做了一个类比：生物、物理实验室要等培养物长出来才知道结果，数据工程是这件事的轻量版。¹顺着这个逻辑往下推，生物工程、化学工程、航空航天这些试一次要几天、花一大笔钱的领域，通用模型只会更吃力。

别处的评估也指向这一点。Epoch AI 让 6 个前沿模型做 11 项本机构的真实工作，结论是它们还替代不了员工。模型在定义清楚的编码和计算分析上很可靠，但抓不住机构内部默认的标准，设计的实验也含糊。⁴Nathan Lambert 认为，模型最有经济价值的超人能力可能集中在数学和编程上。⁵

所以 Josh 真正想要的，是一个懂这一行的专家代理。通用模型短期内给不了。

专家代理可能有三种来法

第一种，针对数据工程做专门训练或微调。缺的正是长时间、大规模管道的训练数据和训练环境，¹谁先把这种环境搭起来，谁就有机会做出这一行的专用模型。

第二种，不改通用模型，在它周围搭一套系统：大模型写管道，小型决策模型接手管道里的一部分计算，监控工具兜底。MotherDuck 这篇文章自己就提到了 TypeSafe AI 的 Jev，说它基本就是 Josh 想要的东西。¹Jev 不生成文字，只输出带概率的结构化判断。厂商称它的输入每百万 token 0.042 美元，输出不收费；在自家的工作流评测里比前沿大模型快 193.6 倍、便宜 444.6 倍，并承认这大概是实际收益的上限。²

这类模型能替代的，是管道里“做判断”的那部分计算。上游改了一张表，下游哪些分区要重算；这一批要不要全量重跑；哪些记录该打什么标签，哪些是脏数据。这些判断今天要么靠全量扫描，要么靠一层层规则，要么调用大模型，都不便宜。换成一次几百毫秒的小模型判断，有把握就复用已有结果或只算变化的部分，没把握就回退到完整计算。这正好落在 Josh 说的核心上：决定什么提前算好、什么用到时再算。¹小模型分担这个取舍，省下的是每天都在跑的计算。

它替代不了必须算准的部分。聚合、对账、财务口径的数字只能老老实实算完，拿一个带概率的判断去顶替，钱省了，结果却可能错。这和我在上一篇里写的按置信度分流是同一个思路：小模型处理有把握的，其余交给更可靠的路径。

监控仍然要有，但只能兜底。Databricks 的预算功能写明只负责监控，不会停掉计算，文章建议每 4 小时跑一次预测告警。³按 Josh 说的每天 20 万美元来算，告警响起时可能已经花掉约 3.3 万美元。

第三种，数据工程这个岗位本身消失：算力足够便宜，代理足够聪明，又记得住所有历史，海量数据直接交给代理处理。Josh 不这么看。他说数据工程不会消失，因为什么提前算、什么用到时再算，这个取舍一直在变，是“留给超级智能的问题”。¹可 Lambert 也预计，智能的成本会接近指数级下降。⁵成本越低，第三种来法就越近。

对第三种，我既期待又害怕。期待的是，不用再靠人盯账单，数据处理会便宜得多；害怕的是，连这个取舍都能交出去的时候，数据工程师就没剩多少可做的了。