跳到正文
arXiv AI· Aayush Marasini, Barsat Khadka, Nick Rahimi·· 3 天前评分42

WeightBench: Evaluating Language Models as Weight-Space Programmers

摘要

我们引入WEIGHTBENCH,这是一个评估LLMs在五个轨道上随着能力提升而表现的基准测试:阅读、修复和写作权重、识别无法识别的编辑、数据自由压缩。LLMs读取和编辑的网络权重范围从2K参数控制策略到7B参数语言模型。实验结果表明,前沿代理可以无需运行即可读取小型网络并写出工作控制策略,但尚无法修复语言模型、无数据压缩或区分无法识别的编辑和困难编辑。

推荐理由

请对照arXiv AI原文,核对完整说明及适用条件。

本站只提供摘要与原文入口。完整内容请阅读原文。

来源:arXiv AI · arxiv.org