DeepFish est un projet de recherche ambitieux visant à développer un ensemble de données (dataset) et un banc d’évaluation pour l’analyse visuelle des habitats de poissons en milieu marin. Contrairement à des datasets classiques en environnement contrôlé, DeepFish capture la complexité et la variabilité du monde naturel, notamment la turbidité, les arrière-plans rocheux, les espèces se confondant dans l’environnement, et les superpositions entre poissons.
Le dataset contient près de 40 000 images haute définition (1920 × 1080), capturées dans 20 habitats marins tropicaux en Australie . Initialement annotées pour la classification, les images ont été enrichies avec des annotations point-level et sémantiques pour permettre plusieurs tâches : comptage, localisation, segmentation et estimation de tailles (ResearchGate).
Cas d’usage et application
- Surveillance écologique : suivi des populations de poissons, des variations saisonnières ou des effets de changements environnementaaux.
- Gestion durable des pêcheries : aide aux décisions sur la préservation d’habitat et la régulation de la pêche.
- Recherche en vision par ordinateur : évaluation de méthodes avancées de détection, segmentation et classification dans des scènes complexes.
- Déploiement commercial ou robotique : surveillance automatisée par drones sous-marins, caméras connectées, etc.
DeepFish sert ainsi de banc d’essai (benchmark) pour mesurer la performance des modèles dans différentes tâches visuelles en milieu sous-marin.
Aspects scientifiques clés
Construction du dataset
- Captures effectuées en pleine mer, via des caméras sur cadres métalliques plongés depuis un bateau, à environ 100 m de distance, en lumière naturelle et en eaux peu turbides (Présentation des données).
- Acquisition de 39 766 images extraites de vidéos en Full HD.
Annotation et structure
- Trois sous-datasets créés pour les tâches spécifiques :
- FishClf (classification) : ~20 000 images d’entraînement, ~8 000 validation, ~12 000 test.
- FishLoc (comptage & localisation) : 1 600 train, 640 val, 960 test.
- FishSeg (segmentation) : 310 train, 124 val, 186 test.
Approche d’entraînement
- Modèles fondés sur ResNet‑50, pré-entraînés sur ImageNet, utilisés comme extracteurs de caractéristiques (transfer learning).
- Cette approche permet une adaptation plus rapide avec de meilleures performances que l’entraînement réel depuis zéro arXiv+3Nature+3cs231n.stanford.edu+3.
Performances du modèle
Le projet a bénéficié d’une extension importante : un dataset de marché de poissons en 2022, dédié à la segmentation, classification d’espèces et estimation de la taille sur des plateaux de poisson. Résultats clés :
- Mean Average Precision (mAP) @ IoU 50 % : 70,42 % pour l’ensemble tâche segmentation + identification d’espèce.
- Mean Absolute Error (MAE) en estimation de taille : 1,27 cm sciencedirect.com+5ResearchGate+5Nature+5.
Ces résultats montrent une performance solide, mais laissent également entrevoir un potentiel d’amélioration, notamment par des architectures plus spécialisées ou des données augmentées.
Synthèse
Élément | Détails clés |
---|---|
Objectif | Création d’un benchmark réaliste pour la vision sous-marine (comptage, localisation, segmentation, classification). |
Contenu | ~40 000 images HD, 20 habitats australiens, annotations point-level & segmentation. |
Tâches | FishClf, FishLoc, FishSeg avec datasets train/val/test équilibrés. |
Méthode | Transfer learning avec ResNet-50 pré-entraîné sur ImageNet. |
Performances | mAP 70,42 %, MAE taille 1,27 cm sur dataset marché de poissons. |
Ce cadre rigoureux fait de DeepFish une base essentielle pour avancer dans le domaine de l’analyse visuelle des habitats marins. Les performances démontrées posent un socle solide, tout en soulignant les opportunités de progrès pour renforcer la précision, la robustesse des modèles, voire leur généralisation à d’autres contextes.
📚 Ressources
- Dépôt GitHub du projet DeepFish
https://github.com/alzayats/DeepFish
Contient le code source, instructions d’installation, scripts d’entraînement et exemples d’utilisation. - Article scientifique (Scientific Reports, Nature, 2020)
https://www.nature.com/articles/s41598-020-71639-x
Publication officielle présentant la méthodologie, la construction du dataset et les résultats expérimentaux. - Dataset DeepFish (39 766 images HD, 7.1 Go)
http://data.qld.edu.au/public/Q5842/2020-AlzayatSaleh-00e364223a600e83bd9c3f5bcd91045-DeepFish/
Données complètes avec sous-datasets pour classification, localisation et segmentation. - Site officiel du projet DeepFish
https://alzayats.github.io/DeepFish/
Présentation du projet, explications visuelles et informations complémentaires. - Vidéo de démonstration
https://www.youtube.com/watch?v=DXEisy80Dj8
Exemple vidéo illustrant l’analyse automatisée des poissons et de leur habitat. - Présentation (SlidesLive)
https://slideslive.com/38938432/deepfish-a-realistic-fishhabitat-dataset-to-evaluate-algorithms-for-underwater-visual-analysis
Conférence décrivant la motivation, la collecte des données et l’évaluation des modèles. - Article complémentaire (2022, ResearchGate)
https://www.researchgate.net/publication/361187254_The_DeepFish_computer_vision_dataset_for_fish_instance_segmentation_classification_and_size_estimation
Extension du dataset DeepFish avec tâches de segmentation d’instance, classification et estimation de taille.