CLIP-Count代码配置以及踩坑记录
代码
下载好后安装一下特定的包,主要麻烦的是clip包,clip包不能用。
pip install ftfy # 这个包也要装 pip install git+https://github.com/openai/CLIP.git # 装clip 的代码 如果电脑是内网环境,先下载CLIP的源码,然后解压,解压后进入clip目录。
假设目录名为CLIP,如图。终端输入命令:
python -u setup.py install 然后就安装好了,装的是clip1.0
数据集配置没啥问题,train一定要
下载路径:
FSC-147注释路径:
把data文件夹下下来,放在你的主文件路径下如下:
data ├─CARPK/ │ ├─Annotations/ │ ├─Images/ │ ├─ImageSets/ | ├─FSC/ │ ├─gt_density_map_adaptive_384_VarV2/ │ ├─images_384_VarV2/ │ ├─FSC_147/ │ ├─ImageClasses_FSC147.txt │ ├─Train_Test_Val_FSC_147.json │ ├─ annotation_FSC147_384.json | ├─ShanghaiTech/ │ ├─part_A/ │ ├─part_B/ FSC下下来的和代码实际运行的还有点区别,自己改一下数据集里的名字就行了。
这样基本就可以train了。
如果内网环境,models/clip_count.py里的self.clip, clip_preprocess报错,改成本地路径下载好的pt即可。
if backbone == "b16": # self.clip, clip_preprocess = clip.load("ViT-B/16") self.clip, clip_preprocess = clip.load("/path/CLIP-Count-main/ViT-B-16.pt") self.n_patches = 14*14 self.clip_hidden_dim = 768 self.clip_out_dim = 512 VIT-B-16.pt下载路径是:
https://openaipublic.azureedge.net/clip/models/5806e77cd80f8b59890b7e101eabd078d9fb84e6937f9e85e4ecb61988df416f/ViT-B-16.pt 最后,运行主目录下run.py即可。
python -u run.py