info

rmat

ie /

juli|

augu

stus

20

11

56

itest

en

De huidige status van de testtaal TTCN-3

Voors en tegens Door de groeiende complexiteit en verwevenheid van

softwaresystemen neemt het belang van geautomatiseerd testen

toe. In een eerder artikel (Van de Pol & Van Solingen, 2006)

is TTCN-3 geschetst als de testtaal van de toekomst, mede

ingegeven door het succesvolle TT-Medal-project. Nu, vijf jaar

later, in het jaar waarin TTCN-3 tien jaar bestaat, is het een goed

moment om de balans op te maken. Blijkt het inderdaad de silver

bullet te zijn of niet?

Jos van Rooyen en Erik Altena

TTCN-3 is enerzijds een taal om testgevallen te beschrijven en anderzijds beschrijft het een archi-tectuur waarbinnen deze testgevallen uitgevoerd dienen te worden (zie kader ‘Wat is TTCN-3?’). Het is ontstaan in de telecom om aan te tonen of protocollen juist geïmplementeerd zijn in ver-schillende systemen over meerdere platformen heen. In hoeverre TTCN-3 toepasbaar is buiten de telecom is onderzocht in het meerjarige Euro-pese onderzoeksproject TT-Medal. Dit project, waaraan de auteurs deelnamen, eindigde in 2006. Hierin werd aangetoond dat TTCN-3 met geringe aanpassingen in diverse industrieën toepasbaar is en dat dit diverse voordelen oplevert (TT-Medal Project Team, 2005). Het project TT-Medal heeft daarmee de prestigieuze ITEA-award gewonnen als beste project.Vijf jaar na beëindiging van het TT-Medal-project lijkt de toepassing van TTCN-3 wel te groeien, maar is TTCN-3 zeker nog niet de standaard die het claimt te zijn. Bij het grote (test)publiek is TTCN-3 nog niet echt bekend. Aangezien de auteurs overtuigd zijn van de voordelen, is het

interessant om na te gaan wat het uitblijven van de doorbraak in de weg staat. Aan bod komen achtereenvolgens de huidige status van het gebruik van TTCN-3, de voordelen en de moge-lijke oorzaken van het uitblijven van de doorbraak.

Wat is TTCN-3?Testing and Test Control Notation versie 3 (TTCN-3) is een internationale standaard die in zijn eerste vorm in 1984 door het European Telecommunication Standardization Institute (ETSI) beschreven is. Het is enerzijds een taal om testgevallen te beschrijven en anderzijds beschrijft het een architectuur waarbinnen deze testgevallen uitgevoerd dienen te worden.De taal TTCN-3 lijkt erg op een programmeertaal zoals Java, maar is specifiek toegesneden op het tes-ten van software. Het is een testtaal met een rijke syntaxis, waarin testoordelen zijn opgenomen en waarin gemakkelijk parallelle testcomponenten kun-nen worden opgestart (Van de Pol & Van Solingen, 2006) De taal is onafhankelijk van het platform waarop of de systemen waarmee daadwerkelijk getest gaat worden.

info

rmat

ie /

juli|

augu

stus

20

11

57

StatusVan oudsher komt de taal TTCN uit de telecom-wereld. Daar is TTCN-3 nog steeds het sterkst vertegenwoordigd (zie figuur 1; Altena, 2009). Absolute cijfers over het aantal licenties van TTCN-3-tools worden door de toolleveranciers niet afgegeven. Uit een enquête over de relatieve inzet van TTCN-3 over domeinen blijkt dat onge-veer driekwart van de implementaties tegenwoor-dig plaatsvindt in de telecommunicatie, gevolgd door de automotive-industrie en de embedded-industrie. Slechts 5 procent komt naar voren in andere domeinen, zoals het financiële domein en het overheidsdomein.TTCN-3 wordt in deze domeinen veel toegepast bij het testen rondom een specifiek protocol, zoals GSM, IPv6, WiMax of AUTOSAR. Dit zijn dan ook meestal situaties waarin meerdere partijen samenwerken aan één geïntegreerd product. De deelsystemen wisselen onderling berichten uit in het protocolformaat. De inzet van TTCN-3 is daarbij meerledig. Enerzijds TTCN-3 toe-gepast als uniforme testset die wordt gebruikt

door toeleveranciers om de conformiteit van hun product met het protocol van de afnemende partij aan te tonen. Anderzijds maakt de toepassing van TTCN-3 het voor de deelnemers mogelijk om onderling testgevallen uit te wisselen.Een andere indicatie voor de toename van de interesse in en/of het gebruik van TTCN-3 is de toenemende belangstelling voor de TTCN-3 User Conference. Uit een analyse van de onderwerpen van de TTCN-3 User Conference van 2004 tot en met 2009 (ETSI CTI, 2010a) blijkt dat de speci-fieke aandacht voor het domein telecommunicatie afneemt en men zich meer richt op onderwerpen

Samenvatting

TTCN-3 is een taal om testgevallen te beschrijven en beschrijft een architectuur

waarbinnen deze testgevallen uitgevoerd dienen te worden. Om de taal bij

het grote testpubliek bekend te maken moet duidelijk worden gemaakt wat de

voordelen zijn voor de organisatie als geheel en moet een ‘gemakkelijk’ te gebruiken

presentatieformaat worden aangeboden. Integrale toepassing van TTCN-3 leidt

uiteindelijk tot kostenbesparingen.

De standaard opgenomen taalconcepten omvatten ingebouwde datacontrole (verwachte waarde versus gevonden resultaat), testen starten en stoppen op verschillende machines en gelijktijdige uitvoering van meerdere testcomponenten. Verder bevat de taal veel standaard ingebouwde variabele- en berichttypen, waaronder lists, testoordelen en testsysteemcompo-nenten. TTCN-3 biedt ondersteuning voor zowel com-municatie op basis van berichten als het aanroepen van functies, dus zowel message-based als procedure-based communication (Willcock et al., 2005).De taal kan op verschillende manieren aan de gebrui-ker/tester worden gepresenteerd. Er is een tekstueel formaat op basis van coderegels. Het tabulaire for-maat is er voornamelijk om backwards compatibel te zijn met TTCN en TTCN-2. Verder is er een visueel formaat op basis van message sequence diagrams. De

standaard kan naar behoefte worden uitgebreid met andere presentatieformaten.Naast de testtaal bevat TTCN-3 richtlijnen voor een gestandaardiseerde architectuur. Deze architectuur schrijft voor hoe de inrichting van het testsysteem met de interfaces naar het te testen systeem en het systeem dat de testen start, logt en bestuurt eruitziet (Van de Pol & Van Solingen, 2006). Door middel van adapters worden de gestandaardiseerde handelingen die in de testtaal zijn beschreven, vertaald naar de uitvoering op de specifieke interfaces van het te testen systeem en vice versa.Voor uitvoering moet de testtaal TTCN-3 omgezet wor-den in een echte ontwikkeltaal (bijvoorbeeld C of Java). Hierbij worden de standaardonderdelen van de commer-ciële of open-source testtools en de benodigde adapters meegecompileerd tot een uitvoerbaar testsysteem.

domein marktaandeel

telecomautomotiveembeddedoverig

70%15%10%

5%

••••

Figuur 1. Verdeling marktaandeel van TTCN-3 per industrieel domein

info

rmat

ie /

juli|

augu

stus

20

11

itest

en

58

die niet domeinspecifiek zijn (zie figuur 2). De teruggang in telecomspe-cifieke presentaties en de opkomst van niet-domeinspecifieke presentaties is duidelijk zichtbaar.

Voordelen: waarom zou TTCN-3 wel aan moeten slaan?TTCN-3 is geen modefenomeen. De eerste versies zijn medio jaren tachtig van de vorige eeuw ontwikkeld. De taal is geadopteerd door het European Telecommunication Standardization Institute (ETSI) en is in de loop der jaren ontwikkeld tot een bewezen en volwassen testtaal. Omdat de taal is ondergebracht bij een onafhankelijk instituut, is de ontwikkeling minder afhankelijk van de gril-len van de toolleverancier. Vanuit universiteiten en onderzoeksinstituten vindt continu innovatie plaats op het gebied van TTCN-3. Dit levert veel gratis extra’s op voor bedrijven die de taal gebrui-ken.TTCN-3 is volledig toegesneden op testen en is erg flexibel. Zo kunnen tests uitgevoerd worden over meerdere platformen, door meerdere test-objecten tegelijkertijd aangeboden en dit vrijwel realtime. TTCN-3 is zelfs geschikt voor het beschrijven van performancetests. Dit is mogelijk doordat meerdere instanties van hetzelfde testob-ject opgestart kunnen worden vanuit één toolsuite. Er kunnen dus meerdere systemen worden aange-stuurd en gecontroleerd terwijl ze op verschillende wijzen communiceren. Het ene systeem heeft bijvoorbeeld een CORBA-interface, het andere een HTML-gebaseerde interface en nog weer een ander wordt aangestuurd door middel van de GUI. Met TTCN-3 is het dus mogelijk alle tests te beschrijven in één specificatietaal en uit te voeren met één toolsuite.Er zijn meerdere leveranciers van TTCN-3-tools-uites. Vendor lock-in komt dus veel minder voor. De vele verschillende tools die een organisatie op dit moment gebruikt en de daarbij behorende licenties zouden teruggebracht kunnen worden tot één. Daardoor ontstaat er minder shelfware en zijn er minder toeleveranciers en minder beheerkos-

ten. In tijden van recessie zijn dit sterke argumen-ten in een businesscase. Een bijkomend voordeel is dat de testautomatiseerders echt deskundigheid opbouwen in testautomatisering vanuit één taal in plaats van globale kennis of nichekennis van specifieke tools.Door de sterk gestandaardiseerde taal is een hoog hergebruik van testgevallen mogelijk, zeker bij het testen van complexe bedrijfsketens. Dat brengt met zich mee dat de doorlooptijd van de testvoor-bereiding sterk zal teruglopen, zodat sneller met de testuitvoer gestart kan worden. De kwaliteit van de applicatie die wordt getest kan hierdoor snel-ler worden aangetoond, wat de businesscase voor TTCN-3 gunstiger maakt. In het eerdergenoemde TT-Medal-project is dat via een aantal casestudies aangetoond (TT-Medal Project Team, 2005).Dat TTCN-3 voordelen heeft blijkt wel duidelijk uit de aantallen gebruikers bij Ericsson en Hua-wei. In 2007 had Ericsson 1837 actieve licenties in gebruik (Berglund, 2007) en had Huawei 1500 gebruikers van TTCN-3 (Wang, 2007). Motorola geeft aan dat de productiviteit met TTCN-3 ver-dubbelt (Bhaskar Rao & Timmaraju, 2005). Als je deze voordelen nog eens rustig bekijkt, dan is het verwonderlijk dat TTCN-3 niet veel meer wordt gebruikt. Wat is de oorzaak?

Waarom slaat TTCN3 niet aan bij het grote publiek?ETSI stelt dat TTCN-3 eenvoudig te leren valt (ETSI CTI, 2010b). De flexibiliteit van de taal kent echter haar prijs. Theoretisch en technisch is de taal behoorlijk complex. De TTCN-3-tools

non-specific

other

embedded

automotive

telecoms

jaar

2004

0

10

20

30

40

50

60

70

80

90

100

verdeling[%]

2005 2006 2007 2008 2009

Figuur 2. Verdeling van onderwerpen per industrieel domein tijdens TTCN-3 User Conferences

info

rmat

ie /

juli|

augu

stus

20

11

59

tot een kostenbesparing op middellange termijn moeten leiden.Vragen aan leveranciers voor het toepassen van testautomatisering komen vaak vanuit de pro-jecten. De toolselectie ligt daarmee binnen de projecten, terwijl de echte businesscase op orga-nisatieniveau ligt. Dus vaak is de nieuwe licentie (of de open source) voor de zoveelste tool alweer aangeschaft voordat TTCN-3 een optie wordt. Wil het slagen, dan zal een besluit op beleidsniveau genomen moeten worden.Zoals gezegd is TTCN-3 sterk gericht op het tes-ten van berichtenverkeer via de interfaces. Door-dat het hier zo op toegesneden is, is het moeilijk om andere testaspecten in TTCN-3 te beschrijven en hier vervolgens een kostenefficiënte implemen-tatie (codex) voor te ontwikkelen. Dit geldt bijvoor-beeld voor het testen via de GUI en van databases. Andere tools in de markt zijn dan snel een meer voor de hand liggende keuze dan TTCN-3.

Positionering van TTCN-3Na we bij de status, de voordelen en het waarom van het niet breed aanslaan van TTCN-3 heb-ben stilgestaan, dringt zich de vraag op wanneer TTCN-3 een goede keuze zou zijn en wanneer niet. Op basis van de ervaring van de auteurs en de voorgaande analyse zijn de volgende toepas-singsmogelijkheden te onderkennen:

testen van verschillende systemen over meer-•dere platformen;

testen van veel verschillende protocollen binnen •één organisatie;

testen van één specifiek protocol door meerdere •organisaties (‘value chain optimization’);

beschrijven van testgevallen voor certificering •van toeleveranciers (‘conformance testing’).

In figuur 3 is een korte opsomming gegeven hoe TTCN-3 zich verhoudt tegenover de concurrenten op het gebied van taal en tooling.

komen voor de minder technisch geschoolde tester over als een complete developmentstudio. Andere tools in de markt zijn laagdrempeliger in het gebruik. Buiten het telecomdomein zijn de testers meer functioneel en minder technisch georiënteerd. De testautomatiseringsscripts wor-den hier vaak opgesteld door een testautomati-seerder. Deze heeft echter niet de technische skillset die nodig is om TTCN-3 in te zetten. Dit technische kennisniveau heeft meestal alleen een software-engineer. Van oorsprong is TTCN-3 ontstaan in de technische hoek, nu is de overstap naar de niet-technische wereld moeilijk.TTCN-3 heeft geen eigen compiler. Dit is bewust gedaan omdat ETSI zich niet wilde verbinden aan één programmeertaal of implementatiewijze (ETSI CTI, 2010b). De keuze voor een onafhankelijke specificatietaal zonder keuze voor een compileer-bare programmeertaal ondermijnt echter de gene-rieke implementatiegedachte. De mogelijkheid om van toolleverancier te wisselen wordt hierdoor bemoeilijkt. De reden hiervoor is dat adapters geschreven moeten worden in de programmeertaal van de compiler om het geheel te laten werken. Deze specifieke adapters kunnen niet eenvoudig meeverhuisd worden naar de nieuwe toolleve-rancier die een andere programmeertaal voor de compiler hanteert. Door de taal op een hoog niveau te beschrijven zonder deze implementeer-baar te maken (want dat is onafhankelijk), hebben de auteurs ervaren dat de uitwisselbaarheid van TTCN-3 tussen toolleveranciers ingewikkelder is dan gesteld wordt.TTCN-3 blijkt een sterke businesscase te hebben bij het testen van meerdere systemen binnen één organisatie. Echter, binnen organisaties wordt dit nog niet onderkend. Experts en/of beslissers zijn vaak niet op de hoogte van het bestaan van de taal. Het gevolg is dat de klant niet vraagt om TTCN-3. TTCN-3 zou als verbeterinitiatief vanuit het ont-wikkelbedrijf zelf opgepakt moeten worden. Zoals bij vele andere mogelijke verbeteringen blijkt het voor het ontwikkelbedrijf erg moeilijk om zichzelf te automatiseren. De toepassing van TTCN-3 lost meestal geen acute problemen op. Veel organisaties hebben eigen oplossingen ontwikkeld, gebaseerd op diverse typen tools, en testen op die manier een keten over diverse platformen heen. Dit is minder efficiënt, maar het werkt voor nu wel. Wellicht kan er een vergelijking worden gemaakt met de implementatie van een service-oriented architec-tuur. Voor de business levert die in eerste instantie geen toegevoegde waarde op. Uiteindelijk zou het

»Integrale toepassing van TTCN-3 leidt uiteindelijk tot kostenbesparingen«

info

rmat

ie /

juli|

augu

stus

20

11

itest

en

60

Wat is nodig om TTCN-3 te laten doorgroeien?TTCN-3 heeft diverse mogelijkheden om door te groeien. Enerzijds is de huidige markt waarin de taal toepasbaar is zeker nog niet uitgenut. Er zijn sterke businesscases te definiëren binnen grote organisaties en rondom de organisatieoverstijgende toepassing van gestandaardiseerde protocollen, zeker nu het ketentesten over meerdere orga-nisaties heen steeds meer belangstelling krijgt. Hiervoor moet meer gedaan worden aan de pr en marketing van TTCN-3. Daarbij moet de focus niet langer liggen op de technische mogelijkheden van TTCN-3, maar op het feit dat het problemen kan oplossen vanuit organisatorisch en business-oogpunt.De toepasbaarheid van TTCN-3 kan vergroot wor-den door de standaard te verbreden naar toepas-singen buiten het traditionele berichtenverkeer. Hierbij valt te denken aan testen via de GUI of van databases. Tevens moet worden gewerkt aan een complexiteitsreductie voor de tester die met TTCN-3 werkt. Een presentatieformaat dat veel van de niet-gebruikte features verbergt of automa-tisch invult, zal de slagingskans voor een bredere inzet aanzienlijk doen vergroten. In het eerder-genoemde TT-Medal-project hebben de auteurs al aangetoond dat dit mogelijk is via TestFrame (TT-Medal Project Team, 2005).

Wat houdt het gebruik van TTCN-3 in?Voor de gebruikers (hier gedefinieerd als software-engineers, businessanalisten en testers) van TTCN-3 betekent het gebruik van de taal een aantal zaken.Veel eerder in de software life cycle kan begonnen worden met het programmeren van de tests. In eerste instantie op hoog niveau; later, als de implementatiedetails beschikbaar zijn, kan de test uitgewerkt worden. Je hoeft dus niet te wachten tot het eind van het ontwikkeltraject. De testontwikkeling kan parallel plaatsvinden aan de ontwikkeling van het systeem. In de traditionele testautomatisering kan pas begonnen worden als het systeem dat moet worden getest een redelijke mate van stabiliteit heeft bereikt.Met TTCN-3 is het gemakkelijker en sneller om complexe testcases te ontwerpen, waardoor de kwaliteit van het werk toeneemt. Voor de tester is het samenstellen van tests stukken gemakke-lijker dan in de traditionele vorm. Dit komt door het hergebruik van eerder ontwikkelde testware dankzij de gestandaardiseerde werkwijze. Dat verkort de doorlooptijd, waardoor sneller resultaat geboekt wordt. Aangezien de taal en de architec-tuur echter complexer zijn dan die van reguliere tools, moet rekening worden gehouden met een langere inleertijd.De gebruiker hoeft maar één tool te leren waar-mee alle typen systemen op welk platform dan ook getest kunnen worden. Voor businessanalisten wordt de wijze van werken vergemakkelijkt omdat zij zich alleen nog hoeven te richten op de ontwik-keling van testgevallen op hoog niveau. De tools zorgen voor de vertaling met behulp van de adap-ters naar de diverse platforms.

zelfgebouwde tool o.b.v. programmeer-taal

taalveelzijdigheidtestspecifiekinleertijdtool/architectuuraanpasbaarheidonafhankelijkheid leverancierhorizontale integreerbaarheidverticale integreerbaarheidplug & play

*) vaak sterk afhankelijk van de ontwikkelaar van de zelfgebouwde tool

+ +– –– –

+ + + – *

+ +–

– –

++ ++ –

++ ++

+ –+ –

– –+

+ +

–– –– –+

+ –

•••

•••••

TTCN-3-taal en -tool

proprietary tool met eigentaal

Figuur 3. Vergelijking van sterke en zwakke punten van 1) zelfgebouwde tools op basis van een algemeen toepasbare programmeertaal, zoals Java of C++, 2) TTCN-3-testtaal en -tooling en 3) in de markt gekochte proprietary tools/toolsuites

info

rmat

ie /

juli|

augu

stus

20

11

61

ConclusieOndanks een lange historie van ontwikkeling en gebruik is TTCN-3 nog steeds niet echt bekend bij het grote testpubliek. Enkele oorzaken zijn benoemd. Wil TTCN-3 de veelbelovende testtaal blijven en vooral worden, dan zal fors geïnvesteerd moeten worden om de taal bij het grote testpu-bliek bekend te krijgen. Enerzijds door de voor-delen te laten zien voor de organisatie als geheel, anderzijds door een ‘gemakkelijk’ te gebruiken presentatieformaat aan te bieden voor gebruik in nieuwe domeinen. Desondanks zien de auteurs voldoende inhoudelijke mogelijkheden voor een succesvol gebruik van TTCN-3 in de praktijk. Integrale toepassing van TTCN-3 leidt uiteindelijk tot kostenbesparingen. Er zijn minder licenties nodig, minder beheerkosten en minder aanschaf-kosten van tools. Daarnaast zal de kwaliteit van de informatieketen toenemen door het geautomati-seerd kunnen testen van de gehele keten met één taal.

Reviewer Manu De Backer

LiteratuurAltena, E. (2009). Things to Consider Before Applying TTCN-

3, www.testdag.nl/images/2009/docs/altena.pdf (geraadpleegd op 30 juli 2010).

Berglund, M. (2007). TTCN-3 @ Ericsson, www.ttcn-3.org/TTCN3UC2007/Presentations/Wed/1500_ttcn_users_at_ericsson_a.pdf (geraadpleegd op 30 juli 2010).

Bhaskar Rao, G. & K. Timmaraju (2005). Load Testing of MDA based HA Communication Network Elements with TTCN-3, www.ttcn-3.org/TTCN3UC2005/program/Wednesday%208th%20June/04-%20Session%20V-%20Relation%20with%20other%20languages%20and%20methods/[T3UC%20S5-3]%20Load%20testing%20of%20MDA%20based%20HA%20communication%20network%20elements%20with%20TTCN-3.pdf (geraadpleegd op 30 juli 2010).

ETSI CTI (2010a). TTCN-3 User Conference Archives, www.ttcn-3.org/UCArchives.htm (geraadpleegd op 30 juli 2010).

ETSI CTI (2010b). Why use TTCN-3? www.ttcn-3.org/Benefits.htm (geraadpleegd op 30 juli 2010).

Pol, J. van de & R. van Solingen (2006). TTCN-3: de testtaal van de toekomst. Informatie 48/6 (juli/augustus), pp. 20-24.

TT-Medal Project Team (2005). Test & Testing Methodologies for Advanced Languages, www.tt-medal.org (geraadpleegd op 30 juli 2010).

Wang, G. (2007). TTCN-3 Development and Application in Huawei, www.ttcn-3.org/TTCN3UCAsia2007/Presentations/Session%201/TTCN-3%20Development%20and%20Application%20in%20Huawei.pdf (geraadpleegd op 30 juli 2010).

Willcock, C. et al. (2005). An Introduction to TTCN-3. Chichester: John Wiley & Sons.

Linkswww.bartosz.nlwww.tt-medal.orgwww.ttcn-3.org

Jos van Rooyenis principal consultant bij Bartosz ICT. E-mail: jos.van.rooyen@bartosz.nl.

Ir. Erik Altenais senior consultant bij Bartosz ICT. E-mail: erik.altena@bartosz.nl.