testRigor

Zijn we klaar voor AI-gestuurde testautomatiseringstools? Een blik op testRigor.

Bij PerformanceArchitecten vinden we het belangrijk om continu onze kennis te ontwikkelen en bij te houden. Daarom organiseren we elke maand een kennismiddag waarbij we ons verdiepen in verschillende onderwerpen die relevant zijn voor ons werk.

Onze laatste kennismiddag stond in het teken van testRigor.

Testautomatisering is een essentieel onderdeel van softwareontwikkeling, maar het kan ook veel tijd en moeite kosten om testen te schrijven, uit te voeren en te onderhouden. Vooral als je een snel veranderend product hebt, kan het lastig zijn om je tests stabiel en up-to-date te houden.

Volgens de makers is testRigors de oplossing hiervoor: het is een AI-gebaseerd testautomatiseringstool die je in staat stelt om tests te maken in gewoon geschreven taal (in dit geval Engels), zonder code of locators te gebruiken. Met testRigor kun je tests maken die mensen simuleren die web-, mobiele en desktopapplicaties gebruiken.

In deze blogpost zullen we je laten zien hoe testRigor werkt en wat onze bevindingen zijn ten opzichte van andere testautomatiseringstools.

Hoe werkt testRigor? testRigor maakt gebruik van natuurlijke taalverwerking en machine learning om je tests te begrijpen en uit te voeren. Je kunt tests schrijven als een reeks stappen in gewone taal (Engels). Een bijvoorbeeld:

go to "https://testRigor.com/" 
click "Request a Demo" 
enter "Name" with "Jan Jansen" 
enter "Email" with "jan.jansen@testRigor.com" 
enter "Phone" with "+31 6 12345678" 
click "Submit" 
check that a confirmation message appears

testRigor zal deze stappen vertalen naar acties die worden uitgevoerd op de browser of het apparaat van je keuze. Je kunt tests uitvoeren op bijna alle browsers op meerdere besturingssystemen, zoals bijvoorbeeld Internet Explorer op Windows en Safari op Mac en iOS. Je kunt ook mobiele tests uitvoeren, inclusief tests op fysieke apparaten en testen van hybride apps.

testRigor is compleet web-gebaseerd. De uitvoering gebeurd in de “cloud”. Als een test is uitgevoerd laat testRigor voor elke stap een screenshot zien via de webinterface te zien. Dit wordt zelf dynamisch opgebouwd tijdens het draaien van de testen zodat je de test kan volgen. Het laat alle stappen duidelijk zien en ook kan je eventuele fouten hierin terugvinden.

Highlights (en lowlights):

testRigor biedt veel opties voor het selecteren, invullen en controleren van objecten, waardoor testcases flexibel en uitgebreid kunnen zijn. Het specifieke taalgebruik van testRigor zorgt voor duidelijkheid en precisie in de teststappen. Maar het vereist een zeer precieze formulering in natuurlijke taal en kan niet vergeleken worden met nieuw en opkomende AI-ondersteunde tooling.

Een uitdaging bij testRigor is dat het een trial-and-error-proces kan zijn, waarbij feedback alleen tijdens de uitvoering wordt gegeven. Dit kan de snelheid van het creëren van testen belemmeren en frustratie veroorzaken bij testers. Door binnen de browser de F12-toets te gebruiken en de technische details te bekijken van de website, kan je problemen oplossen. Dit is echter (te) technisch en we hadden verwacht dat dit door het testtool zou worden opgelost.

Dan is de vraag waar wordt testRigor uitgevoerd? Ergens in de Cloud. Met de standaard optie/abonnement is het niet duidelijk waar je test uitgevoerd wordt. Onduidelijk is of GDPR compliancy wel voor testRigor ingesteld kan worden: waar staat de data precies? Ook wanneer je test wordt uitgevoerd is onduidelijk; de test wordt gequeued en dan uitgevoerd. Bij onze testen ging dat eigenlijk altijd snel maar het kan zomaar dat er veel testen voor je in de queue staan en je moet wachten op resultaten. Dit zou lastig kunnen worden omdat onze ervaring is dat je qua testontwikkeling veel van trial-and-error afhankelijk bent.

Er is een browserplugin beschikbaar om tests op te nemen. Alhoewel testRigor belooft dat veel met natuurlijke tekst kan, hebben we gemerkt dat via het opnemen via de browserplugin de tekst meteen goed staat dus dat heeft wat ons betreft wel een voorkeur.

Het is goed om op te merken dat bij testRigor de resultaten en uitvoeringsinformatie (inclusief gegevens) openbaar zijn, tenzij een betaald abonnement wordt gebruikt. Dit is een overweging bij het uitproberen van de tool dat je geen gevoelige informatie in je tests opneemt.

testRigor zegt op hun website dat het gebaseerd is op BDD 2.0 oftewel Specification-Driven Development (SDD). BDD is een bekende methode binnen de testcommunity. Als je met Google zoekt op “BDD 2.0” dan vind je alleen maar de site van testRigor, verder heeft niemand het nog over BDD 2.0. Met onze ervaring vinden we eigenlijk dat testRigor niet van BDD 2.0 moet spreken maar van keyword driven 2.0 omdat dit meer op de aloude manier van keyword driven testautomatisering lijkt.

De tool biedt flexibiliteit en efficiëntie, maar de stevige prijs van het abonnement kan een overweging zijn. Voor de betaalde versie moet op dit moment $900 per maand betaald worden, oftewel $10.800 per jaar.

Conclusie:

Voor zover wij kunnen zien is het niet echt AI-gestuurde testautomatisering wat testRigor biedt. Het biedt een intelligente manier van tekst gedreven testautomatisering. Eerlijk is eerlijk: we hadden hier meer van verwacht, zeker als je de prijs voor de betaalde versie in overweging neemt. Het is qua product leuk uitgewerkt met een goede webinterface. We zien wel wat haken en ogen aan het product maar voor een specifieke doelgroep zal dit een goed tool zijn.

We hebben een leuke middag met deze tool gehad. We verwachten nog veel van AI-ondersteunde tools in de toekomst. Hopelijk zal testRigor zich nog verder ontwikkelen op dit vlak. Disclaimer: natuurlijk hebben we niet alles kunnen testen, dus wellicht zitten er nog mooie, onontdekte features in de tool die de moeite waard zijn.