Change layerwise to layerwise_params (#1210)

* Change layerwise to layerwise_params (rus version)

At the old version was incorrect key layerwise to set lr, weight_decay and other params for different model layers.
Also add example how to add extra params to DataLoader

* Change layerwise to layerwise_params (eng version)

At the old version was incorrect key layerwise to set lr, weight_decay and other params for different model layers.
Also add example how to add extra params to DataLoader

examples/configs/config-description-eng.yml

@@ -51,6 +51,8 @@ stages:  # REQUIRED KEYWORD, dictionary of all stages of Catalyst, for training
       batch_size: 1  # KEYWORD, batch size for all the stages
       num_workers: 1  # KEYWORD, Number of parallel processes for DataLoader
       drop_last: False  # KEYWORD, parameter for DataLoader (Default is False)
+      loaders_params:  # KEYWORD, dict with additional loaders parameters. Also can do it for Sampler by dict with name samplers_params
+        persistent_workers: True # KEYWORD, parameter example. Full list of parameters you can find in torch.utils.data.DataLoader documentation
       per_gpu_scaling: False  # KEYWORD, if True it increases the batch size and the number of workers in proportion to the number of GPUs (for distributed increases only batch_size)
 
       # kwargs for `runner.get_datasets(...)` for this stage
@@ -66,7 +68,7 @@ stages:  # REQUIRED KEYWORD, dictionary of all stages of Catalyst, for training
 
     optimizer: # REQUIRED KEYWORD, parameters for the optimizer
       _key_value: False  # OPTIONAL KEYWORD, if True, there may be several optimizers and then they should be wrapped in key-value
-      layerwise: # OPTIONAL KEYWORD, optimizer parameters for different network layers, optional
+      layerwise_params: # OPTIONAL KEYWORD, optimizer parameters for different network layers, optional
         conv1.*: # regexp with layer name
           lr: 0.001
           weight_decay: 0.0003

examples/configs/config-description-rus.yml

@@ -42,6 +42,8 @@ stages:  # REQUIRED KEYWORD, словарь всех стадий Catalyst, дл
       batch_size: 1  # KEYWORD, размер батча для всех стейджей
       num_workers: 1  # KEYWORD, количество параллельных процессов для DataLoader
       drop_last: False  # KEYWORD, параметр для DataLoader (по умолчанию False)
+      loaders_params:  # KEYWORD, словарь с дополнительными параметры для DataLoader. Аналогичным образом можно передавать параметры в Sampler через словарь samplers_params
+        persistent_workers: True # KEYWORD, пример параметра. Полный список допустимых параметров можно найти в документации к torch.utils.data.DataLoader
       per_gpu_scaling: False  # KEYWORD, если True, то увеличивает батчсайз и количество воркеров пропорционально количиству видеокарт (для distributed увеличивает только батчсайз)
 
       # kwargs для `runner.get_datasets(...)` в этом стейдже
@@ -56,7 +58,7 @@ stages:  # REQUIRED KEYWORD, словарь всех стадий Catalyst, дл
 
     optimizer: # REQUIRED KEYWORD, параметры для оптимизатора
       _key_value: False  # KEYWORD, если True, то оптимизаторов может быть несколько и тогда их нужно обернуть еще в key-value
-      layerwise: # KEYWORD, параметры оптимайзера для разных слоев сети, опционально
+      layerwise_params: # KEYWORD, параметры оптимайзера для разных слоев сети, опционально
         conv1.*: # регулярное выражение с именем слоя
           lr: 0.001
           weight_decay: 0.0003