Mutual capacitance tactile sensor design and sim-to-real bridging for robotic grasping

Al Mrad, Abed Al Rahman (2023). Mutual capacitance tactile sensor design and sim-to-real bridging for robotic grasping. Mémoire de maîtrise électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (11MB) | Prévisualisation

Résumé

The humans’ tactile sensing ability is remarkable and it is crucial for a multitude of real-life tasks. Transferring this exceptional capability to robots presents a lot of potential across various applications, especially in dynamic and unknown environments where computer vision is not practical. As a result, the aim of this project is create a cost effective tactile sensor that can entirely cover an anthropomorphic robotic manipulator and test its functionality by assessing its ability to represent primitive shapes as point clouds in the 3D space and to discern these shapes. This project represents a first step towards unlocking the future potential of enabling a robotic manipulator to rummage in cluttered environments, even in instances of limited or absent computer vision capabilities. Furthermore, we recreated the sensor’s functionality in a simulation environment to reproduce synthetic tactile data that are close to the ones generated in real-life for an efficient future AI models training. Contemporary and forthcoming AI models require large datasets for a proper training and simulations can leverage the power parallel programming among many other tools to expedite and streamline the datasets generation process , thereby enhancing its efficiency.

After designing the tactile sensor, we mounted it on a real-life robotic workstation to perform objects grasping and shape recognition experiments.Furthermore, a simulation replica of the robotic system was to generate synthetic tactile data. Minimizing the sim-to-real gap is a paramount objective, ensuring the generated synthetic tactile data closely mirrors real-world interactions.

The developed sensor was successfully able to capture the shapes of some primitives objects and to discern them in both simulation and reality and the initial sim-to-real gap was significantly reduced.

In sum, we have developed a cost-effective tactile sensor that can be integrated with robotic systems for shape recognition without relying on vision and we have developed a simulation framework to efficiently generate realistic synthetic tactile data that can be used to train AI (Artificial intelligence) algorithms in the future. However, some modifications should be implemented to improve the reliability and performance of the sensor in both real-life and simulation.

Titre traduit

Conception de capteurs tactiles à capacité mutuelle et réduction de l’écart simulation-réalité pour la préhension robotique

Résumé traduit

L’aptitude tactile des êtres humains est remarquable et elle est cruciale pour une multitude de tâches de la vie réelle. Transférer cette capacité exceptionnelle aux robots présente un grand potentiel dans diverses applications, en particulier dans des environnements dynamiques et inconnus où la vision par ordinateur n’est pas pratique. En conséquence, l’objectif de ce projet est de créer un capteur tactile économique capable de recouvrir entièrement un préhenseur robotique anthropomorphe et de tester sa fonctionnalité en évaluant sa capacité à représenter des formes primitives sous forme de nuages de points dans l’espace en 3D et à discerner ces formes. Ce projet représente une première étape vers la libération du potentiel futur permettant à un manipulateur robotique de fouiller dans des environnements encombrés, même en cas de capacités de vision par ordinateur limitées ou inexistantes. De plus, nous avons recréé la fonctionnalité du capteur dans un environnement de simulation pour reproduire des données tactiles synthétiques proches de celles générées dans la vie réelle pour une formation efficace des futurs modèles d’IA (Intelligence artificielle). Les modèles d’IA contemporains et à venir requièrent des larges ensembles de données pour un entraînement adéquat, et les simulations peuvent exploiter la puissance de la programmation parallèle, entre autres outils, pour accélérer et rationaliser le processus de génération de ces ensembles de données, améliorant ainsi son efficacité.

Après la conception du capteur tactile, nous l’avons monté sur un poste de travail robotique réel pour effectuer des expériences de préhension et de reconnaissance des formes. De plus, une réplique du système robotique a été utilisée en simulation pour générer des données tactiles synthétiques. Minimiser l’écart entre la simulation et la réalité est un objectif primordial garantissant que les données tactiles synthétiques générées reflètent étroitement les interactions du monde réel. Le capteur développé a réussi à capturer avec succès les formes de certains objets primitifs et à les discerner aussi bien en simulation qu’en réalité, et l’écart initial entre la simulation et la réalité a été considérablement réduit.

En résumé, nous avons développé un capteur tactile économique qui peut être intégré aux systèmes robotiques pour la reconnaissance des formes sans dépendre de la vision, et nous avons élaboré un cadre de simulation permettant de générer efficacement des données tactiles synthétiques réalistes qui pourront être utilisées pour former des algorithmes d’intelligence artificielle à l’avenir. Cependant, certaines modifications doivent être apportées pour améliorer la fiabilité et les performances du capteur tant en situation réelle qu’en simulation.

Type de document:	Mémoire ou thèse (Mémoire de maîtrise électronique)
Renseignements supplémentaires:	"Thesis presented to École de technologie supérieure in partial fulfillment for a master’s degree with thesis in automated manufacturing engineering". Comprend des références bibliographiques (pages 109-114).
Mots-clés libres:	capteur tactile, simulation, données tactiles synthetiques, reconnaissance de formes
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Roberge, Jean-Philippe
Programme:	Maîtrise en ingénierie > Génie de la production automatisée
Date de dépôt:	08 mars 2024 19:56
Dernière modification:	08 mars 2024 19:56
URI:	https://espace.etsmtl.ca/id/eprint/3423

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt