AI · 新闻详情
Show HN:Parsimony——人工智能模型添加代码量的开源基准
真正值得关注的不是这条新闻本身,而是它可能把「编程」的竞争焦点推向软件生产方式的效率重估。
发生了什么:现有的基准衡量解决率和代币输出/成本,但不会惩罚多余的代码,这使得代码库从长远来看更难以使用。
为什么重要:直接影响开发者工具链与日常编码工作流。
观察窗口:接下来观察开发者工具链、IDE 集成和企业 CI/CD 流程是否跟进。
正文来源:非原文:源网页未解析出正文,以下为已有摘要与自动整理内容
原文链接:https://parsimony.lasu.dev/
原文链接:https://parsimony.lasu.dev/
现有的基准衡量解决率和代币输出/成本,但不会惩罚多余的代码,这使得代码库从长远来看更难以使用。
我想衡量这一点,因为它对长期项目最重要。
方法:它采用基准测试已经发布的补丁(DeepSWE、SWE-bench Verified、SWE-bench Live)并计算“编码单元”:语句、调用、名称和文字等语法元素。
我没有使用代码行,所以临时抱佛脚的代码不会得到奖励。
删除的代码是subtra
直接影响开发者工具链与日常编码工作流。
机器翻译/自动整理可能存在误差,请以原文为准。
继续阅读
正在加载推荐…