Methods to evaluate lightweight software process assessment methods based on evaluation theory and engineering design principles

Zarour, Mohammad (2009). Methods to evaluate lightweight software process assessment methods based on evaluation theory and engineering design principles. Thèse de doctorat électronique, Montréal, École de technologie supérieure.

Prévisualisation	PDF Télécharger (86MB) | Prévisualisation
Prévisualisation	PDF Télécharger (12MB) | Prévisualisation

Résumé

Achieving a mature software development process has become essential for many software organizations. A mature development process permits software organizations to provide their customers with a high quality software product delivered on time and within budget.

Software organizations have been struggling for decades to improve the quality of their products by improving their software development processes. Designing an improvement program for a software development process is a demanding and complex task. This task consists of two main processes: the assessment process and the improvement process. A successful improvement process requires first a successful assessment; failing to assess the organization's software development process could create unsatisfactory results.

Software processes assessment (SPA) can be used either to determine the capability of another organization, for subcontracting purposes, or to determine and understand the status of the organization's current processes to initiate an improvement process. The increasing number of assessment approaches available; the ISO 15504 standard that sets out the requirements for process assessment; and the popularity of the CMMI model, illustrate the relevance of software process assessment for the software development industry.

Currently, several methods are available to assess the maturity and capability of a software development process based on well-known software process assessment and improvement frameworks such as CMMI and ISO-15504. The success of these assessment methods and improvement frameworks is supported by post-development studies on the validity, reliability and effectiveness of these methods. Unfortunately, many researchers consider that such methods are too large to implement in SME organizations. As a result, many researchers have studied process assessment and improvement in SME organizations and proposed assessment methods, usually called lightweight SPA methods, suitable to the organizations' needs.

The current research in the SPA field focuses on proposing convenient and easy-to-use assessment methods, without investigating to what extent the design of these methods is related to the engineering design perspective. This unclear alignment with the engineering discipline raises questions about the relevance and representativeness of the results produced by these methods from an engineering viewpoint. Moreover, although numerous SPA methods are currently available which offer help and guidance, unfortunately they only partially address evidences found essential for achieving an SPA success.

This thesis presents and discusses the evaluation of lightweight SPA methods. The evaluation is two-fold: evaluating the SPA methods design using a top-down approach and based on engineering viewpoints and evaluating the success of SPA methods using a bottom-up approach. The evaluation theory concepts are used as a framework to formally develop both evaluation methods.

To develop the first evaluation method using the top-down approach, an exploratory analytical study of SPA methods from an engineering design viewpoint has been conducted. Vincenti's classification has been used as a tool for this analysis. The aim of this exploratory study is to put the developed SPA methods into an engineering design framework, and use this framework as a guideline to put the new SPA methods to be designed into the same engineering design framework. To develop the second evaluation method using the bottom-up approach, a systematic literature review was conducted to extract the set of evidences for the success of the SPA method based on requirements, observations, lessons learned and recommendations which have been formulated within the industry and published in books, conferences and journals.

The development process of the two evaluation methods has then been verified using a set of verification criteria and the proposed evaluation methods were tested by conducting three case studies. The first evaluation method would be useful mainly for the designers of new SPA methods during the design phase, while the second evaluation method would be useful for both designers and practitioners of SPA methods to verify the success of the assessment method in question.

This research project forms an entry point to study the alignment of SPA methods design with engineering design principles and sheds light on achieving successful assessment results by studying the successful evidences that should be supported by assessment methods separated from the improvement process. The proposed evaluation methods in this thesis have great benefits for SPA methods designed mainly for SME organizations, because these assessments methods, contrary to well-known methods, lack comprehensive studies on their reliability and effectiveness.

Titre traduit

Méthodes pour évaluer les méthodes d'évaluation du processus logiciel léger bâties sur la théorie de l'évaluation et les concepts d'ingenierie de conception

Résumé traduit

Realiser un processus de developpement logiciel mature est devenu indispensable pour de nombreuses organisations de developpement de logiciels. Un processus mature de developpement de logiciels permet aux organisations de fournir a leurs clients des produits logiciels de haute qualite, livres en temps et selon les budgets prevus.

Les organisations de developpement de logiciels ont lutte pendant des decennies pour ameliorer la qualite de leurs produits en ameliorant leurs processus de developpement logiciel. La conception d'un programme d'amelioration du processus de developpement logiciel est exigeante et complexe. Un programme d'amelioration comprend deux processus principaux: le processus d'evaluation et le processus d'amelioration. Le succes du programme d'amelioration exige d'abord une evaluation reussie; le fait ne pas evaluer le processus de developpement logiciel de I'organisation peut occasionner des resultats insatisfaisants.

L'evaluation des processus logiciels peut soit etre utilise pour determiner la capacite d'une autre organisation, par exemple un sous-traitant, ou de determiner et de comprendre le statut de I'actuel processus de I'organisation pour engager un processus d'amelioration. Le nombre croissant de processus d'evaluation disponibles, la norme ISO 15504 qui definit les exigences relatives a l'evaluation des processus et la popularite du modele CMMI, illustrent la pertinence de revaluation des processus logiciels pour I'industrie du developpement de logiciels.

Aujourd'hui, plusieurs methodes sont disponibles pour evaluer la maturite et la capacite des processus de developpement de logiciels. Ces methodes sont basees sur des processus d'evaluation et d'amelioration de cadres de references bien connus, tels que le CMMI et ISO-15504. Le succes de ces methodes d'evaluation et I'amelioration des cadres de reference est soutenu par des etudes post-developpement sur la validite, la fiabilite et I'efficacite de ces methodes. Malheureusement, de nombreux chercheurs constatent que de telles methodes sont a trop grande echelle pour etre mises en ceuvre dans les TPE (Tres Petites Entreprises). En consequence, quelques chercheurs ont etudie le processus d'evaluation et d'amelioration dans les TPE et ont propose aux organismes des methodes d'evaluation generalement appelees "methodes SPA legeres", plus adaptee aux besoins de ces organisations TPE.

Les recherches actuelles dans le domaine des SPA mettent I'accent sur des propositions de methodes d'evaluation faciles a utiliser, mais sans rechercher dans quelle mesure la conception de ces methodes est liee a la vision de I'ingenierie de conception. Cet alignement imprecis avec la discipline de I'ingenierie souleve des questions quant a la pertinence et la representativite des resultats obtenus par ces methodes selon le point de vue de I'ingenierie.

En outre, bien que de nombreuses methodes SPA actuellement disponibles offrent de I'aide et des orientations; elles n'adressent malheureusement que partiellement les elements juges essentiels au succes de la realisation du SPA.

Cette these presente et discute revaluation de methodes SPA. L'evaluation proposee dans cette these comprend deux volets: revaluation des methodes SPA en utilisant des approches de conception descendante sur la base du point de vue de I'ingenierie ainsi qu'une approche de bas en haut pour evaluer le succes des methodes de SPA. La theorie de revaluation des concepts est utilisee comme un cadre de reference pour developper formellement les deux methodes d'evaluation.

Pour developper une premiere methode d'evaluation en utilisant I'approche descendante, une etude exploratoire analytique des methodes SPA a partir d'un point de vue de I'ingenierie de conception a ete realisee. La classification de Vincenti a ete utilisee comme un instrument d'analyse. L'objectif de cette etude exploratoire est de placer les methodes SPA developpees dans le cadre de reference de I'ingenierie de conception et d'utiliser ce cadre de reference comme ligne directrice pour permettre de placer les nouvelles methodes SPA a I'etat de conception dans un meme cadre reference en conception d'ingenierie. Pour developper la deuxieme methode d'evaluation en utilisant I'approche de bas en haut, un examen systematique de la litterature a ete realisee pour extraire I'ensemble des elements nécessaires au succes des methodes de SPA fondees sur les exigences, les observations, les le9ons apprises et les recommandations qui ont ete experimentees dans I'industrie et publiees dans des livres, des conferences et des revues.

Le processus de developpement des deux méthodes evaluation a ensuite ete verifie en utilisant un ensemble de criteres de verification. Ensuite, la proposition des méthodes d'evaluation a ete testee par la realisation de trois etudes de cas. La premiere methode d'evaluation serait surtout utile pour les concepteurs de la nouvelle methode de SPA au cours de la phase de conception, tandis que la seconde methode d'evaluation serait utile pour les concepteurs et les praticiens des methodes SPA pour verifier le succes de la methode d'evaluation en question.

Ce projet de recherche constitue un point d'entree pour etudier I'alignement des methodes du SPA de conception avec les principes de conception de I'ingenierie. Ce projet de recherche fait aussi la lumiere sur la realisation reussie des resultats d'evaluation en etudiant le succes des elements qui doivent etre supportees par des methodes d'evaluation separe des processus d'amelioration. Les methodes d'evaluation proposees dans cette these ont de grands avantages pour les methodes de SPA con9ues avant tout pour les TPE parce que ces méthodes d'evaluations, contrairement aux methodes plus connues, ne sont pas encore appuyees par des etudes completes sur leur fiabilite et leur efficacite.

Type de document:	Mémoire ou thèse (Thèse de doctorat électronique)
Renseignements supplémentaires:	"Thesis presented to École de technologie supérieure in partial fulfillment of the requirements for the degree of doctor of philosophy". Bibliogr : f. [240]-252.
Mots-clés libres:	Logiciels Qualité Contrôle. Conception technique. amelioration, evaluation, ingenierie, logiciel, processus, theorie
Directeur de mémoire/thèse:	Directeur de mémoire/thèse Abran, Alain
Codirecteur:	Codirecteur Desharnais, Jean-Marc
Programme:	Doctorat en génie > Génie
Date de dépôt:	17 août 2010 13:17
Dernière modification:	18 janv. 2017 00:43
URI:	https://espace.etsmtl.ca/id/eprint/92

Gestion Actions (Identification requise)

Dernière vérification avant le dépôt