JHU-Crowd++ 数据集处理

[Li-Xiuxiu]

你好，我想请问一下JHU-Crowd++ 数据集是怎么分的呢？

[Li-Xiuxiu]

你好，我想请问一下JHU-Crowd++ 数据集是怎么分的呢？

我看了您在#3 (comment) 中发的jhu_domains的文件了，其中只有train、val的划分方法，那test应该怎么划分呢？

[Shimmer93]

test是其他domain，所以只有train和val

[Li-Xiuxiu]

test是其他domain，所以只有train和val
假设jhu_crowd++中的两个域SN和ST，他俩都是只有train和val，那么我训练完SN后想在ST上测试，需要用ST的train还是val呢（如果没有test的话）？

[Shimmer93]

用val就可以了

[coleson-CL]

用val就可以了

您好，可以发一下jhu数据集上训练的config file吗？我写的config file跑出来效果和论文有一些差距。下面是在SR(街道)这个域上训练的配置文件，可以帮我看看什么地方有问题吗？
seed: 2024
version: SR
device: 'cuda:0'
log_para: 1000
patch_size: 10000
mode: 'final'
num_epochs: 190
save_dir: 'models'
checkpoint: null
model:
name: 'final'
params:
pretrained: True
mem_size: 1024
mem_dim: 256
cls_thrs: 0.5
err_thrs: 0.5
den_dropout: 0.5
cls_dropout: 0.3
has_err_loss: False
train_dataset:
name: 'den_cls'
params:
root: 'data/jhu/SR'
crop_size: 320
downsample: 1
is_grey: False
unit_size: 16
pre_resize: 1
val_dataset:
name: 'den_cls'
params:
root: 'data/jhu/SR'
crop_size: 320
downsample: 1
is_grey: False
unit_size: 16
pre_resize: 1
train_loader:
batch_size: 8
num_workers: 16
shuffle: True
pin_memory: True
val_loader:
batch_size: 1
num_workers: 4
shuffle: False
pin_memory: False
optimizer:
name: 'adamw'
params:
lr: &lr 0.0005
weight_decay: 0.0001
scheduler:
name: 'onecycle'
params:
max_lr: *lr
epochs: 300
steps_per_epoch: 57
final_div_factor: 1000

[Shimmer93]

用val就可以了

您好，可以发一下jhu数据集上训练的config file吗？我写的config file跑出来效果和论文有一些差距。下面是在SR(街道)这个域上训练的配置文件，可以帮我看看什么地方有问题吗？ seed: 2024 version: SR device: 'cuda:0' log_para: 1000 patch_size: 10000 mode: 'final' num_epochs: 190 save_dir: 'models' checkpoint: null model: name: 'final' params: pretrained: True mem_size: 1024 mem_dim: 256 cls_thrs: 0.5 err_thrs: 0.5 den_dropout: 0.5 cls_dropout: 0.3 has_err_loss: False train_dataset: name: 'den_cls' params: root: 'data/jhu/SR' crop_size: 320 downsample: 1 is_grey: False unit_size: 16 pre_resize: 1 val_dataset: name: 'den_cls' params: root: 'data/jhu/SR' crop_size: 320 downsample: 1 is_grey: False unit_size: 16 pre_resize: 1 train_loader: batch_size: 8 num_workers: 16 shuffle: True pin_memory: True val_loader: batch_size: 1 num_workers: 4 shuffle: False pin_memory: False optimizer: name: 'adamw' params: lr: &lr 0.0005 weight_decay: 0.0001 scheduler: name: 'onecycle' params: max_lr: *lr epochs: 300 steps_per_epoch: 57 final_div_factor: 1000

新的代码不再有non-deterministic的问题，我会重新训练一版模型

[KeepTryingTo]

@Shimmer93 作者，您好！关于这个jhu_crowd++我也有一个问题，我看您划分数据集的方法是按照场景类型来进行分类（街道，体育场，雪，雾/霾），我有一个疑问就是，在雪的场景中也有street类型，体育的场景中也有雪场景，关于这个您的具体划分方法是什么呢？因为我从下载的数据集里面数据集的说明看到，本身是按照（四个类别-没有天气变化，雨，雪，雾/霾）。

[KeepTryingTo]

@Shimmer93 作者，您好！我又看了您在实验部分的描述，您的意思是按照场景进行分类和按照不同天气来分类，其实您是划分了两个域（体育场，街道）和（雪，雾/霾）。您是从数据集中抽取了（雪，雾/霾）以及（体育场，街道），实际上（雪，雾/霾）和（体育场，街道）之间还是有重复的，对吧？如果是这样的话，我就明白您划分的方法啦！