专利律师实验:AI改善产出,技能提升因经验而异
影响级别
🟡纳入考量
⚠ 风险提示:论文未经同行评审,由Google实施并付费;无AI测试仅91人完成,且存在疑似违规使用AI样本。
发生了什么
10月10日报道,NBER工作论文对美国11家律所133名律师开展三个月随机实验,使用当时未发布的Google Labs专利起草工具,90天后起草评分提高0.38个标准差。研究按执业经验分组,资深指至少七年,并未单独研究Gen Z;样本均来自与Google有专利业务关系的律所。 [1]
本条涉及:AI专利起草工具
对卖家的影响
- 事实无AI独立判断测试中,资深律师比对照组高0.45个标准差,初级律师平均无提升;剔除疑似使用AI的样本后,资深优势缩至0.39,统计证据减弱。 [1]
- 推断对采用AI的团队,交付质量改善不能直接证明员工已掌握独立判断能力;可能需要保留自主练习。该启示向电商岗位迁移仍属推断,建议未来两周用实际任务复核。 [1]
一个可执行建议
采用AI的团队可选一项日常判断任务开展无AI盲评,核验交付改善是否伴随独立能力提升。
证伪信号
- 判断 1:若论文正式更正样本、分组或统计结果,撤销资深优势或确认初级平均提升,该结论须修订。
- 判断 2:若团队同类任务的无AI盲评显示初级人员持续、普遍提升,则经验分化判断不适用于该团队。