Parallélisation de l'optimisation des seuils #97
Description
L'optimisation des seuils nécessite la succession d'étapes suivantes :
- Inférence IA sur jeu de val
- Optimisation sur jeu de val
- Inférence IA sur jeu de test
- Évaluation des seuils optimisés sur jeu de test
Ce sont des opérations longues, qui rendent l'optimisation de seuils malaisée.
L'inférence peut être parallélisée facilement avec GNU-parallel.
L'évaluation des seuils prend en entrée un dossier de las. C'est l'étape de préparation avant optimisation qui prend le plus de temps (opérations de clustering des points).
On peut imaginer une parallélisation de deux façons :
- Interne : avec MPIRE dans le code, avec un risque de mauvaise interaction avec pdal
- Externe : on ne donne plus un dossier de las (
self.paths.input_las_dir) mais une expression glob. Cela permet de lancer la tâche avec todo="prepare" uniquement, avec GNU-parallel. L'interface d'optimisation change très légèrement, et prend maintenant une expression type "dir/*.las" en entrée au lieu de "dir".