Towards the development of safe, collaborative robotic freehand ultrasound

Nadeau, Nicholas A. (2019). Towards the development of safe, collaborative robotic freehand ultrasound. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation

PDF Télécharger (13MB) | Prévisualisation

Résumé

The use of robotics in medicine is of growing importance for modern health services, as robotic systems have the capacity to improve upon human tasks, thereby enhancing the treatment ability of a healthcare provider. In the medical sector, ultrasound imaging is an inexpensive approach without the high radiation emissions often associated with other modalities, especially when compared to MRI and CT imaging respectively. Over the past two decades, considerable effort has been invested into freehand ultrasound robotics research and development.

However, this research has focused on the feasibility of the application, not the robotic fundamentals, such as motion control, calibration, and contextual awareness. Instead, much of the work is concentrated on custom designed robots, ultrasound image generation and visual servoing, or teleoperation. Research based on these topics often suffer from important limitations that impede their use in an adaptable, scalable, and real-world manner. Particularly, while custom robots may be designed for a specific application, commercial collaborative robots are a more robust and economical solution. Otherwise, various robotic ultrasound studies have shown the feasibility of using basic force control, but rarely explore controller tuning in the context of patient safety and deformable skin in an unstructured environment. Moreover, many studies evaluate novel visual servoing approaches, but do not consider the practicality of relying on external measurement devices for motion control. These studies neglect the importance of robot accuracy and calibration, which allow a system to safely navigate its environment while reducing the imaging errors associated with positioning. Hence, while the feasibility of robotic ultrasound has been the focal point in previous studies, there is a lack of attention to what occurs between system design and image output.

This thesis addresses limitations of the current literature through three distinct contributions. Given the force-controlled nature of an ultrasound robot, the first contribution presents a closed-loop calibration approach using impedance control and low-cost equipment. Accuracy is a fundamental requirement for high-quality ultrasound image generation and targeting. This is especially true when following a specified path along a patient or synthesizing 2D slices into a 3D ultrasound image. However, even though most industrial robots are inherently precise, they are not necessarily accurate. While robot calibration itself has been extensively studied, many of the approaches rely on expensive and highly delicate equipment. Experimental testing showed that this method is comparable in quality to traditional calibration using a laser tracker. As demonstrated through an experimental study and validated with a laser tracker, the absolute accuracy of a collaborative robot was improved to a maximum error of 0.990mm, representing a 58.4% improvement when compared to the nominal model.

The second contribution explores collisions and contact events, as they are a natural by-product of applications involving physical human-robot interaction (pHRI) in unstructured environments. Robot-assisted medical ultrasound is an example of a task where simply stopping the robot upon contact detection may not be an appropriate reaction strategy. Thus, the robot should have an awareness of body contact location to properly plan force-controlled trajectories along the human body using the imaging probe. This is especially true for remote ultrasound systems where safety and manipulability are important elements to consider when operating a remote medical system through a communication network. A framework is proposed for robot contact classification using the built-in sensor data of a collaborative robot. Unlike previous studies, this classification does not discern between intended vs. unintended contact scenarios, but rather classifies what was involved in the contact event. The classifier can discern different ISO/TS 15066:2016 specific body areas along a human-model leg with 89.37% accuracy. Altogether, this contact distinction framework allows for more complex reaction strategies and tailored robot behaviour during pHRI.

Lastly, given that the success of an ultrasound task depends on the capability of the robot system to handle pHRI, pure motion control is insufficient. Force control techniques are necessary to achieve effective and adaptable behaviour of a robotic system in the unstructured ultrasound environment while also ensuring safe pHRI. While force control does not require explicit knowledge of the environment, to achieve an acceptable dynamic behaviour, the control parameters must be tuned. The third contribution proposes a simple and effective online tuning framework for force-based robotic freehand ultrasound motion control. Within the context of medical ultrasound, different human body locations have a different stiffness and will require unique tunings. Through real-world experiments with a collaborative robot, the framework tuned motion control for optimal and safe trajectories along a human leg phantom. The optimization process was able to successfully reduce the mean absolute error (MAE) of the motion contact force to 0.537N through the evolution of eight motion control parameters. Furthermore, contextual awareness through motion classification can offer a framework for pHRI optimization and safety through predictive motion behaviour with a future goal of autonomous pHRI. As such, a classification pipeline, trained using the tuning process motion data, was able to reliably classify the future force tracking quality of a motion session with an accuracy of 91.82 %.

Titre traduit

Contributions au développement de l’échographie robotique sécuritaire et collaborative

Résumé traduit

L’utilisation de la robotique en médecine revêt une importance croissante pour les services de santé modernes, car les systèmes robotiques ont la capacité d’améliorer les tâches humaines, améliorant ainsi la capacité de traitement d’un prestataire de soins de santé. Dans le secteur médical, l’imagerie par ultrasons est une approche peu coûteuse sans les fortes émissions de rayonnements souvent associées à d’autres modalités, surtout lorsqu’on la compare à l’IRM et à l’imagerie par tomodensitométrie respectivement. Au cours des deux dernières décennies, des efforts considérables ont été investis dans la recherche et le développement en robotique ultrasonore à main levée.

Cependant, cette recherche s’est concentrée sur la faisabilité de l’application, et non sur les principes fondamentaux de la robotique, tels que le contrôle du mouvement, l’étalonnage et la conscience contextuelle. Jusqu’à présent, une grande partie du travail s’est concentrée sur les robots conçus sur mesure, la génération d’images ultrasonores et l’asservissement visuel, ou la commande à distance. La recherche fondée sur ces sujets souffre souvent d’importantes limitations qui entravent son utilité d’une manière adaptable, évolutive et réaliste. En particulier, alors que les robots personnalisés peuvent être conçus pour une application spécifique, les robots collaboratifs commerciaux et prêts à l’emploi constituent une solution plus robuste et économique. Par ailleurs, diverses études d’échographie robotique ont démontré la faisabilité de l’utilisation d’un contrôle de force de base, mais elles explorent rarement le réglage du contrôleur dans le contexte de la sécurité du patient et de la peau déformable dans un environnement non structuré. De plus, de nombreuses études évaluent de nouvelles approches d’asservissement visuel, mais ne tiennent pas compte de l’utilité pratique de recourir à des dispositifs de mesure externes pour contrôler le mouvement. Ces études négligent l’importance de la précision et de l’étalonnage des robots, qui permettent à un système de naviguer en toute sécurité dans son environnement tout en réduisant les erreurs d’imagerie associées au positionnement. Par conséquent, bien que la faisabilité de l’échographie robotique ait été le point central, il y a un manque de concentration sur ce qui se passe entre la conception du système et la sortie des images.

Cette thèse aborde les limites de la littérature actuelle à travers trois contributions distinctes. Étant donné la nature contrôlée par la force d’un robot à ultrasons, la première contribution présente une approche d’étalonnage en boucle fermée utilisant un contrôle d’impédance et un équipement peu coûteux. La précision est une exigence fondamentale pour la génération et le ciblage d’images ultrasonores de haute qualité. Ceci est particulièrement vrai lorsqu’un chemin spécifique est suivi le long d’un patient ou des coupes 2D sont synthétisées en une image ultrasonore 3D. Cependant, même si la plupart des robots industriels sont intrinsèquement précis, ils ne le sont pas nécessairement. Bien que l’étalonnage des robots ait fait l’objet d’études approfondies, de nombreuses approches reposent sur des équipements coûteux et très délicats. Des essais expérimentaux ont montré que cette méthode est comparable en qualité à l’étalonnage traditionnel à l’aide d’un laser tracker. Comme démontré par une étude expérimentale et validée par un laser tracker, la précision absolue d’un robot collaboratif a été améliorée à une erreur maximale de 0.990 mm, soit une amélioration de 58.4% par rapport au modèle nominal.

La deuxième contribution explore les collisions et les événements de contact, car ils sont un sous-produit naturel des applications impliquant une interaction physique homme-robot dans des environnements non structurés. L’échographie médicale assistée par robot est un exemple de tâche où le simple fait d’arrêter le robot lors de la détection de contact peut ne pas être une stratégie de réaction appropriée. Ainsi, le robot doit être conscient de l’emplacement du contact corporel afin de planifier correctement les trajectoires contrôlées par la force le long du corps humain à l’aide de la sonde d’imagerie. C’est particulièrement vrai pour les systèmes d’échographie à distance où la sécurité et la maniabilité sont des éléments importants à prendre en compte lors de l’utilisation d’un système médical à distance via un réseau de communication. Un cadre est proposé pour la classification des contacts des robots à l’aide des données des capteurs intégrés d’un robot collaboratif. Contrairement aux études antérieures, cette classification ne fait pas de distinction entre les scénarios de contact intentionnel et non intentionnel, mais classifie plutôt le quoi impliqué dans l’événement de contact. Le classificateur peut discerner différentes zones corporelles spécifiques ISO/TS 15066:2016 le long d’une jambe de modèle humain avec une précision 89.37%. Dans l’ensemble, ce cadre de distinction des contacts permet d’élaborer des stratégies de réaction plus complexes et d’adapter le comportement du robot au cours de l’interaction physique homme-robot.

Enfin, étant donné que le succès d’une tâche d’échographie dépend de la capacité du système robotique à manipuler l’interaction physique homme-robot, le contrôle de mouvement pur est insuffisant. Les techniques de contrôle de la force sont nécessaires pour obtenir un comportement efficace et adaptable d’un système robotique dans l’environnement ultrasonore non structuré tout en assurant une interaction physique sûre. Bien que le contrôle de la force ne nécessite pas une connaissance explicite de l’environnement, pour obtenir un comportement dynamique acceptable, les paramètres de contrôle doivent être réglés. La troisième contribution propose un cadre d’accord en ligne simple et efficace pour le contrôle du mouvement des ultrasons robotisés à main levée. Dans le contexte de l’échographie médicale, les différents endroits du corps humain ont une rigidité différente et nécessitent des réglages uniques. Grâce à des expériences réelles avec un robot collaboratif, le cadre a réglé le contrôle de mouvement pour des trajectoires optimales et sécuritaires le long d’un fantôme de la jambe humaine. Le processus d’optimisation a réussi à réduire l’erreur absolue moyenne de la force de contact du mouvement à 0.537N grâce à l’évolution de huit paramètres de contrôle du mouvement. De plus, la connaissance du contexte par la classification du mouvement peut offrir un cadre pour l’optimisation de l’interaction physique homme-robot et la sécurité grâce à un comportement de mouvement prédictif avec un objectif futur de l’interaction physique homme-robot autonome. Ainsi, un pipeline de classification, formé à l’aide des données de mouvement du processus de réglage, a été en mesure de classer de façon fiable la qualité future du suivi des forces d’une session de mouvement avec une précision de 91.82 %.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Thesis presented to École de technologie supérieure in partial fulfillment for the degree of doctor of philosophy". Comprend des références bibliographiques (pages 109-120).
Mots-clés libres:	systèmes adaptatifs, étalonnage, calcul évolutif, contrôle des forces, interaction homme-robot, robotique médicale, contrôle de mouvement, optimisation, contrôle robotique, cinématique robotique, robotique, optimisation de trajectoire, imagerie ultrasonique
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Bonev, Ilian
Programme:	Doctorat en génie > Génie
Date de dépôt:	25 févr. 2020 16:45
Dernière modification:	25 févr. 2020 16:45
URI:	https://espace.etsmtl.ca/id/eprint/2461

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt