Dans les deux premières parties de notre discussion sur la stratégie d'automatisation QA, nous avons expliqué les compromis organisationnels, la pile technologique, la définition de votre vision et le choix de vos outils. Dans cette dernière partie, nous nous concentrerons sur la définition du retour sur investissement (ROI) de votre automatisation et la mise en œuvre des cas de test.

Il est crucial de définir le ROI de votre automatisation pour construire un argumentaire positif en faveur de la transition de votre équipe vers l'automatisation QA.

Passer à l'automatisation est un investissement important, et pour y parvenir efficacement, vous aurez besoin d'un ensemble de métriques et de considérations pour calculer votre ROI. Ceux-ci peuvent inclure :

Déterminer les exigences commerciales / user stories à implémenter
Comprendre les cas de test pour chaque exigence
Déterminer le pourcentage de cas de test pouvant être automatisés
Évaluer la complexité des cas de test
Mesurer les cas de test des exigences précédentes nécessaires pour les tests de régression
Calculer le nombre total de configurations à tester

Le calcul de votre ROI est basé sur les investissements que vous réalisez lors de la construction de vos ensembles d'automatisation. Ce sera un long processus, mais vous pourriez envisager une phase d'expérimentation de preuve de concept (POC) pour prouver un ROI minimum. Cela renforcera la confiance de votre équipe dans le succès de cette entreprise. Considérez les éléments suivants dans votre calcul du ROI :

La capacité et la connaissance de chaque ingénieur en automatisation. Le temps qu'il peut falloir à différents ingénieurs pour comprendre et scripter des cas de test peut varier. Il est bon de définir une moyenne en tenant compte du temps et de la complexité des cas de test.
Définissez une base de référence pour le temps nécessaire à l'exécution manuelle de vos cas de test
Une fois que vous avez défini l'ensemble des cas de test, votre ROI simple peut être calculé comme suit : ROI = (Gains – Investissements) / Investissements

Il est généralement recommandé de commencer la construction de votre automatisation par vos cas de test de régression. Les tests de régression sont le processus d'exécution de tests plus anciens pour s'assurer que les nouvelles mises à jour d'un logiciel n'ont pas introduit ou réintroduit des bugs précédemment éradiqués. Pour cette raison, la régression est importante pour le succès de votre livraison logicielle. Il est logique de concentrer votre automatisation sur vos suites de régression, car ce sont ces cas de test répétables que vous devez exécuter tout le temps. Vous savez généralement combien de temps il vous faudra pour les exécuter avec succès. Passez votre temps à automatiser ceux-ci en premier. Ensuite, votre gain sera calculé par le temps qu'il faut pour exécuter votre automatisation pour cette suite. Par exemple, si vos suites de régression vous prennent 16 heures manuellement pour s'exécuter avec succès, et que votre automatisation réussie ne dure maintenant que 16 minutes. Mais s'il a fallu à votre ingénieur QA environ 60 heures pour mettre en œuvre l'automatisation ? Alors, votre ROI est d'environ 73%.

Deuxièmement, vous devez envisager de calculer votre ROI pour les nouveaux cas de test. Pour les nouveaux cas de test, vous devez vous assurer que l'ingénieur en automatisation QA a une excellente compréhension de la fonctionnalité dans le test pour construire l'automatisation immédiatement. Dans ce cas, vous n'avez peut-être aucune base de référence de cas de test manuels pour calculer un quelconque gain. Votre gain est la vitesse d'ajout de ces nouveaux ensembles à vos suites de régression. Je n'encourage généralement pas cela pour une nouvelle équipe expérimentant l'automatisation QA, mais pour les équipes matures, cela peut fonctionner après avoir traité avec succès tous vos cas de test de régression, tests de cohérence (sanity tests) et tests de fumée (smoke tests).

La plupart des organisations qui passent à l'automatisation QA fixent généralement une grande vision et un objectif pour l'automatisation. Il est important d'avoir un objectif vers lequel l'équipe peut travailler. Les tests manuels continueront d'avoir lieu et devraient être votre première tentative de test pour votre application, bien que certains scénarios ne puissent pas être automatisés. Par conséquent, un objectif d'automatisation de 60 à 80 % est recommandé.

Une autre considération est la complexité des cas de test. Il peut être décourageant de se concentrer sur des cas de test plus complexes au début. Il n'est pas recommandé d'explorer l'automatisation avec des cas de test qui sont manuellement complexes en premier. Ils sont sujets aux erreurs et nécessitent une énorme quantité de maintenance pour l'avenir.

Avec l'automatisation, certains cas de test peuvent être réutilisables. Par conséquent, le ROI peut augmenter à mesure que vos suites grandissent, car vous utiliserez certains de vos anciens cas de test pour en exécuter de nouveaux.

Considérez maintenant les tests multi-navigateurs lorsque vous avez plusieurs plateformes à tester. Avec un ensemble d'automatisation, vous pourrez exécuter vos tests sur de nombreuses plateformes en parallèle. Il peut également y avoir un gain massif à coordonner tous vos tests (fumée, cohérence, manuels, automatisés et de charge) en parallèle, augmentant ainsi votre ROI.

 

Définir votre stratégie d'automatisation QA est une partie intégrante de votre transition vers l'automatisation. Ce processus nécessite divers changements de mentalité, pratiques et considérations concernant les compromis organisationnels, votre pile technologique, leur vision de l'automatisation, vos outils, votre ROI et enfin votre mise en œuvre. Calculer votre ROI aidera les autres dans votre organisation et votre équipe à renforcer la confiance dans la mise en œuvre de l'automatisation pour comprendre les avantages et les gains potentiels. Le gain continuera à mesure que la mise en œuvre évolue, ainsi que l'investissement pour maintenir les cas de test.

Ceci conclut notre série sur l'automatisation QA. Nous avons hâte de vous apporter plus d'informations sur la façon de penser la qualité différemment avec agilité.

N'hésitez pas à commenter et à donner vos retours ci-dessous. Zsquare Solutions Inc. se spécialise dans l'accompagnement de vous et votre équipe pour définir tous les éléments importants nécessaires à l'élaboration de votre stratégie d'automatisation QA. Planifiez une consultation de 30 minutes avec nous dès aujourd'hui pour en savoir plus sur ce que vous faites et comment nous pouvons vous soutenir dans votre objectif.

Ressources :

https://smartbear.com/resources/ebooks/6-ways-to-measure-the-roi-of-automated-testing/