Hide and Seek: HIDE Concepts to SEEK explanations for black box models

我们提出Hide and Seek (HnS)，一种无需访问模型权重或标注概念数据集的概念级解释方法。HnS可以解释多种视觉模型。给定一个概念和图像集，HnS使用视觉-语言模型检索与概念对齐的图像，定位概念在每张图像中的位置，遮挡定位区域，并测量原始图像与遮挡图像之间黑盒模型输出的变化作为归因。