同一对象只交换左右，真实 CLIP 是否跟着关系改变？ · 实现代码

# 重做缓存后的关系排序；可改排序/显示，不能改真值去迎合模型。
cos=a['relation_images']@a['relation_text'].T
print('关系 cosine:',cos)
print('预测:',cos.argmax(1),'真值:',[0,1])
assert cos.argmax(1).tolist()==[1,1]  # 当前已核验缓存的实际反例
for r in manifest['relation']:
    from IPython.display import display
    from PIL import Image
    display(Image.open(RETRIEVAL_ROOT/r['path']))