Grain size analyses of granular material based on image analysis techniques and machine learning

Manashti, MohammadJavad (2022). Grain size analyses of granular material based on image analysis techniques and machine learning. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (15MB) | Prévisualisation

Résumé

The determination of the particle size distribution (PSD) is a key test in geotechnical and civil engineering. Sieving is the standard method. It is performed all around the world thousands of times every day. Sieving is time-consuming. It is noisy and it produces dust. It also consumes water, and it retains the potential for human operators' mistakes. Recently, image-based techniques for particle sizing have become more common. Most commercial methods are based on image segmentation. The PSD is determined based on the size distribution of the segmented areas. This thesis is centered on the development of new methods based on textures and neural networks. It presents a comparative study of the performances of traditional feature extraction methods and convolutional neural networks (ConvNet). Two datasets were used: a synthetic dataset containing 53103 pairs of synthetic images produced with the discrete element code YADE, and a real dataset containing 9600 photographs of 15 materials.

The thesis has three main parts. In the first part, nine traditional feature extraction techniques were evaluated with the synthetic dataset. The features included Haralick features, histogram of oriented gradients, local entropy, local binary pattern, local configuration pattern, complete local binary pattern, fast Fourier transform, Gabor filter, and Haar discrete wavelet transform. In the second part, PSDNet, a ConvNet model, was developed, fine-tuned, and tested on the same synthetic dataset. Pretrained ConvNets were also evaluated for feature extraction and transfer learning. The pretrained ConvNet that were tested in this research include AlexNet (Krizhevsky et al., 2012), SqueezeNet (Iandola et al., 2016) , GoogLeNet (Szegedy et al., 2015), InceptionV3 (Szegedy, Vanhoucke, et al., 2016), DenseNet201 (Huang et al., 2017), MobileNetV2 (Sandler et al., 2018), ResNet18 (Wu et al., 2018), ResNet50 (He et al., 2016) , ResNet101 (He et al., 2016), Xception (Chollet, 2016), InceptionResNetV2 (Ioffe and Szegedy, 2015; Szegedy, Ioffe, et al., 2016), ShuffleNet (Zhang et al., 2017), and NasNetMobile (Zoph et al., 2018). In the third step, traditional feature extractors, PSDNet, and pretrained ConvNet were evaluated on the real photograph dataset in two ways. First, the dataset was split into the regular training/validation/test subdatasets. Second, one material was removed completely during training and validation to check the ability of ConvNet to predict the PSD of materials that the network has never seen. The unseen material was used as the test dataset.

Our findings indicate that each of the compared techniques can lead to good predictions of the PSD for both real and synthetic datasets. For the synthetic dataset, the Root Mean Square Error (RMSE) value on the percentages passing was 3.4 % when using a selection of the 618 best traditional features as the input for an artificial neural network. The best version of PSDNet resulted in a RMSE value on the percentages passing of 2.8%. InceptionResNetV2 and DenseNet201 gave the best results for feature extraction and transfer learning, respectively, with the same RMSE values of 3.6 %. For the real photographs, PSDNet achieved a RMSE on the percentages passing of 3.7 and 5.5 % for the color and grayscale band, respectively. The best performances for pretrained models' transfer learning and feature extraction were obtained for NasNetLarge and ResNet101 with a RMSE of 4.3 and 4.0 %, respectively. The best results were obtained by using InceptionResNetV2 as the transfer learning-based feature extraction method, with an RMSE value of 1.7 %. As well, similar results were obtained by using all PSDNet gray and color extracted features consisting of 1000 components, with an RMSE of 1.8%.

Significantly better results were achieved when using color images in PSDNet instead of grayscale images. Better results were also obtained for the fine particles in the PSD, especially for traditional feature extraction techniques. A combination of views of the soil captured from the top and bottom yields better results for PSD prediction than using only the top view. For the real photographs, good results were achieved in the material removal test with a minimum RMSE of 1.5 %. Much higher RMSE values (> 31.8 %) were obtained for the two extreme PSD (coarsest and finest). This highlights the fact that the methods that were compared in this thesis cannot be used to extrapolate outside of the PSD range used in the training dataset.

This study was the first to introduce pre-trained ConvNet for feature extraction or transfer learning methods of PSD prediction. The training with a real dataset is a key difference between PSD determination with neural networks and classical image processing methods. Training allows hidden particles to be taken into account implicitly. Commercial software based on particle segmentation must account for these hidden particles explicitly using statistical methods. The capacity of ConvNet to learn also allows the model to be enhanced during its operation through the extension of the dataset. The synthetic dataset that was used in this paper is seen as a promising way to build large datasets including both real photograph and synthetic images.

Titre traduit

Analyses granulométriques par techniques d’analyse d’images et apprentissage machine

Résumé traduit

La détermination de la distribution granulométrique (PSD) est un test clé en génie civil et géotechnique. Le tamisage est la méthode standard. On utilise cette méthode des milliers de fois par jour dans le monde entier. Le tamisage prend du temps. Il est bruyant et produit de la poussière. Il consomme également de l'eau et peut potentiellement être influencé par les erreurs des opérateurs. Le dimensionnement des particules par techniques d’analyse d’images est de plus en plus courant. La plupart des méthodes commerciales sont basées sur la segmentation d'images. La PSD est déterminée sur la base de la distribution de taille des zones segmentées. Cette thèse est centrée sur le développement de nouvelles méthodes basées sur les textures et les réseaux de neurones. Elle présente une étude comparative des performances des méthodes traditionnelles d'extraction de caractéristiques et des réseaux de neurones convolutifs (ConvNet). Deux jeux de données ont été utilisés : un jeu de données synthétique contenant 53103 paires d'images synthétiques produites avec le code d'éléments discrets YADE, et un jeu de données réel contenant 9600 photographies de 15 matériaux.

Le projet comportait trois volets principaux. Dans la première partie, neuf techniques traditionnelles d'extraction de caractéristiques ont été évaluées avec le jeu de données synthétiques. Les caractéristiques comprenaient celles de Haralick, l’histogramme de gradients orientés, l’entropie locale, les motifs binaires locaux et les paramètres dérivés, la transformée rapide de Fourier, les filtres de Gabor et la transformée en ondelettes discrète de Haar. Dans la deuxième partie, le modèle ConvNet PSDNet a été développé, affiné et testé sur le même jeu de données synthétiques. Des ConvNets pré-entraînés ont également été évalués pour l'extraction de caractéristiques et l'apprentissage par transfert. Les ConvNet pré-entraînés qui ont été testés dans cette recherche comprennent AlexNet (Krizhevsky, Sutskever, and Hinton, 2012), SqueezeNet (Iandola et al., 2016) , GoogLeNet (Szegedy et al., 2015), InceptionV3 (Szegedy, Vanhoucke, Ioffe, Shlens, and Wojna, 2016), DenseNet201 (Huang, Liu, Van Der Maaten, and Weinberger, 2017), MobileNetV2 (Sandler, Howard, Zhu, Zhmoginov, and Chen, 2018), ResNet18 (Wu, Zhong, and Liu, 2018), ResNet50 (He, Zhang, Ren, and Sun, 2016), ResNet101 (He et al., 2016), Xception (Chollet, 2016), InceptionResNetV2 (Ioffe and Szegedy, 2015; Szegedy, Ioffe, Vanhoucke, and Alemi, 2016), ShuffleNet (Zhang, Zhou, Lin, and Sun, 2017), and NasNetMobile (Zoph, Vasudevan, Shlens, and Le, 2018). Dans la troisième partie, les extracteurs de caractéristiques traditionnels, PSDNet et les ConvNet préentraînés ont été évalués avec les photographies réelles de deux manières. D'abord, le jeu de données a été divisé en sous-ensembles de données réguliers d’entrainement de validation et de test. Deuxièmement, un matériau a été retiré du jeu de données pendant l’entrainement et la validation pour vérifier la capacité des ConvNet à prédire la PSD de matériaux que le réseau n'a jamais vu. Le matériau qui a été retiré a été utilisé comme jeu de données test.

Nos résultats montrent que chacune des techniques comparées peut conduire à de bonnes prédictions de la PSD, autant pour les jeux de données réels que synthétiques. Pour le jeu de données synthétiques, la valeur de la racine carrée de l’erreur quadratique moyenne (RMSE) sur les pourcentages passants est de 3,4 % lors de l'utilisation d'une sélection des 618 meilleures caractéristiques traditionnelles comme entrée pour un réseau de neurones artificiels. La meilleure version de PSDNet a produit une valeur de RMSE sur les pourcentages passants de 2,8%. InceptionResNetV2 et DenseNet201 ont donné les meilleurs résultats pour l'extraction de caractéristiques et l'apprentissage par transfert, respectivement, avec des RMSE de 3,6 %. Pour les photographies, PSDNet a atteint des RMSE sur les pourcentages passants de 3,7 et 5,5 % pour les images en couleur et en tons de gris, respectivement. Les meilleures performances pour l'apprentissage par transfert et l'extraction de caractéristiques des modèles pré-entraînés ont été obtenues pour NasNetLarge et ResNet101 avec un RMSE de 4,3 et 4,0%, respectivement. Les meilleurs résultats ont été obtenus en utilisant InceptionResNetV2 comme méthode d'extraction de caractéristiques basée sur l'apprentissage par transfert, avec une valeur RMSE de 1,7 %. De plus, des résultats similaires ont été obtenus en utilisant toutes les caractéristiques extraites de gris et de couleur PSDNet composées de 1000 composants, avec un RMSE de 1,8 %.

Des résultats significativement meilleurs ont été obtenus avec PSDNet lors de l'utilisation d'images en couleur au lieu d'images en tons de gris. De meilleurs résultats ont également été obtenus pour les particules fines, en particulier pour les techniques traditionnelles d'extraction de caractéristiques. Une combinaison d’images capturées du haut et du bas donne de meilleurs résultats pour la prédiction de la PSD en comparaison avec l’utilisation de la vue de dessus seule. Pour les photographies, de bons résultats ont été obtenus dans le test de retrait de matériau avec une valeur minimum de RMSE de 1,5%. Des valeurs de RMSE beaucoup plus élevées (> 31,8 %) ont été obtenues pour les deux PSD extrêmes (matériaux le plus grossier et le plus fin). Ce résultat met en évidence le fait que les méthodes qui ont été comparées dans cette thèse ne peuvent pas être utilisées pour extrapoler en dehors de la plage PSD utilisée dans le jeu de données d'apprentissage.

Cette étude est la première à introduire l’utilisation de ConvNet pré-entraînés pour la prédiction de la PSD par l'extraction de caractéristiques et l'apprentissage par transfert. L'entraînement avec un jeu de données réel est une différence clé entre la détermination de la PSD avec des réseaux de neurones et les méthodes classiques de traitement d'images. L'apprentissage permet de prendre en compte implicitement les particules cachées. Les logiciels commerciaux basés sur la segmentation des particules doivent tenir compte explicitement de ces particules cachées à l'aide de méthodes statistiques. La capacité d'apprentissage des ConvNet permet également d'améliorer le modèle pendant son fonctionnement grâce à l'extension du jeu de données. Le jeu de données synthétiques utilisé dans cet article est considéré comme un moyen prometteur de créer de grands jeux de données comprenant à la fois des photographies réelles et des images de synthèse.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Manuscript-based thesis presented to École de technologie supérieure in partial fulfillment for the degree of doctor of philosophy". Comprend des références bibliographiques (pages 136-147).
Mots-clés libres:	réseaux de neurones convolutifs, distribution granulométrique, éléments discrets, analyse d'image, image synthétique, extraction de caractéristiques, PSDNet, convNet préentraîné, apprentissage par transfert, réseau de neurones artificiels
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Duhaime, François
Programme:	Doctorat en génie > Génie
Date de dépôt:	12 oct. 2022 14:47
Dernière modification:	12 oct. 2022 14:47
URI:	https://espace.etsmtl.ca/id/eprint/3076

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt