webmate Release 40

Noch bevor das Jahr zur Neige geht, stellen wir das Release 40 von webmate bereit, das viele neue Features und Verbesserungen mit sich bringt.

Der Fokus dieses Release liegt auf Erweiterungen im neuen Test Lab, das seit wenigen Monaten zur Verfügung steht, sowie der Bereitstellung eines Public Mobile Device Lab mit einer Vielzahl von Mobilgeräten. Zusätzlich haben wir die Benutzbarkeit des Systems an zentralen Stellen verbessert und auch die Testautomatisierer können von neuen Funktionen und Vereinfachungen im Java SDK profitieren.

Die Highlights in diesem Release sind:

• Im Test Lab gab es eine große Menge an Anpassungen, insbesondere wurde die Darstellung von Selenium bzw. Story-Checks komplett überarbeitet.
• Es steht ein Public Mobile Device Lab mit einer Vielzahl von Endgeräten bereit.
• Die Mobile-App-Verwaltung wurde überarbeitet.
• Mobile Apps können per Microsoft AppCenter integriert werden.
• Die webmate API ist jetzt per OpenAPI / Swagger dokumentiert.
• Im Java-SDK sind neue Funktionen zur Strukturierung von Tests durch Story-Actions und Story-Checks verfügbar.

Vielen Dank an alle Anwender, die mit Ihrem Feedback und Verbesserungsvorschlägen an diesem Release mitgewirkt haben.

Verbesserungen im Test Lab

Das webmate Test Lab rückt als zentrale Stelle zur Verwaltung, Analyse und Dokumentation von manuellen und automatisierten Tests immer stärker in den Vordergrund. Unsere Vision ist, dass dieser Bereich Test-Automatisierer, manuelle Tester und Test-Manager zusammenbringt und die gemeinsame, effiziente Arbeit im Testprozess fördert. Die Test Run-Übersicht im Test Lab zeigt alle Tests eines Projeks in übersichtlicher Form und gibt so einen Überblick über laufende und vergangene Testaktivitäten.

Verbesserte Darstellung von Appium bzw. Selenium Tests und Story Checks Bei Start einer Selenium- oder Appium-Session wird in webmate automatisch ein Test Runs vom Typ “Selenium” erstellt, in dem Testergebnisse einzelner Aktionen oder das Resultat des Gesamt-Tests dokumentiert werden können. Die Darstellung des Selenium-Tests in webmate wurde um wichtige Informationen angereichert.

In der Action-Leiste am linken Bildrand sind alle “Actions” der Selenium-Session in ihrer zeitlicher Abfolge dargestellt. Story-Actions, die im Skript frei benannt werden können, z.B. “Click on button” im dargestellten Test Run, werden als geschachtelte Elemente dargestellt und enthalten die Selenium-Kommandos, die innerhalb von ihnen ausgeführt wurden. States, die im Script durch “createState”-Aufrufe im SDK erzeugt werden können, sind ebenfalls Teil dieser Liste. Falls im Rahmen des Tests ein Video oder Screenshots (Selenium oder Full-Page) erstellt wurde, führt ein Klick auf eine Action dazu, dass im rechten Bildbereich der entsprechende Screenshot oder der zu diesem Zeitpunkt passende Videoauschnitt angezeigt wird.

Die Artefakt-Übersicht im unteren rechten Bereich der Ansicht zeigt, gruppiert nach Artefakt-Typen, die gesammelten Artefakte in ihrer zeitlichen Abfolge. Durch Klick auf ein Artefakt springt die Darstellung zu diesem Zeitpunkt. Bei verschiedenen Artefakt-Typen werden nach einem Klick weitere Informationen angezeigt, z.B. eine Layout-Analyse bei Klick auf ein Artefakt vom Typ “DOM.DomLayoutTee”.

Darstellung von Action-Fehlern Wenn eine Action per SDK als Fehler klassifiziert wird, erscheint sie entsprechend visualisiert in der Action-Liste. Zusätzlich wird die im Test vergebene Fehlermeldung angezeigt.

Darstellung von Test-Fehlern Bei einem Test Run, z.B. Selenium, der in einem Fehlerzustand endet, wird die Fehlermeldung in der UI dargestellt.

Kommentarfunktion zur kollaborativen Arbeit an Tests Um bei der Arbeit mit Tests die Kommunikation zwischen den Projektteilnehmern zu vereinfachen, können Test Runs nun mit Kommentaren versehen werden.

Integration externer Bug-Tracking Tools: Microfocus ALM und Atlassian Jira Fehler-Reports aus webmate können ab diesem Release bequem in externe Issue- bzw. Bug-Tracking-Tools exportiert werden. Initial stehen Issue-Reporter-Integrationen für Microfocus ALM (vormals HP ALM) und Atlassian Jira zur Verfügung. Die Report-Funktion wird für alle Test-Typen bereitgestellt. Bei der Erstellung eines TestRun-Report können neben allgemeinen textuellen Informationen, z.B. Titel und Beschreibung des Issues, ebenfalls administrativ konfigurierbare Felder ausgefüllt werden. Zusätzlich können TestRun-Artefakte, z.B. Screenshots oder Emails, sowie Test Results, z.B. die Beschreibung manueller Fehler, an den zu exportierenden Report angehängt werden.

Public Mobile Device Lab

In den letzten Monaten haben wir die webmate Mobile Device Cloud um ein geteiltes Public Lab erweitert, das eine Vielzahl von Mobilgeräten zur zeitweisen Nutzung bereithält. Das Public Lab kann unabhängig von gebuchten dedizierten Geräten von allen Kunden genutzt werden, die einen oder mehrere Public Mobile Slots gebucht haben (falls Sie hieran interessiert sind, melden Sie sich einfach bei Ihrem Testfabrik Ansprechpartner). Das Public Lab ist bereits heute mit einer vielfältigen Auswahl an Endgeräten ausgestattet und in wird in der Zukunft sukzessive erweitert. Die Geräte des Public Lab werden nach jeder Nutzung einem automatisierten Rücksetzprozess unterzogen, um möglicherweise vertrauliche Informationen zu schützen und bei allen Tests identische Startbedingungen herzustellen.

Weitere Änderungen im Device Bereich

Anzeige von Selenium/Appium Capabilities in der Device-Ansicht Zusätzlich zur bekannten Funktion “Show Capabilities” in der Selenium-App können die Selenium bzw. Appium-Capabilities für ein Gerät nun direkt im Device-Bereich abgerufen werden.

Verbesserte App- bzw. Package-Verwaltung Die Verwaltung der Mobile Apps wurde überarbeitet und bietet folgende zusätzliche Funktionen:

• Möglichkeit des Downloads der hochgeladenen Apps sowie der von webmate automatisch mit Simulationsfunktionen instrumentierten Apps
• mehr Informationen über die verfügbaren Apps
• Verknüpfung von Microsoft AppCenter als Datenquelle (siehe unten)

Verbesserte Installation von Mobile Apps Die Installation der Mobile Apps auf Geräten wurde überarbeitet.

Integration von Microsoft AppCenter

Mobile Apps, die im Microsoft AppCenter (vormals Hockey App) verwaltet werden, können automatisch mit webmate verknüpft und synchronisiert werden. Für die Synchronisation können Webhooks in webmate generiert und im AppCenter konfiguriert werden. Die Anbindung weiterer Repository-Typen ist in Planung.

Verbesserungen im Automatisierungs-Bereich

Im Bereich Automatisierung wurden weitreichende Anpassungen am SDK und der API vorgenommen. Diese betreffen sowohl die Nutzung der Selenium / Appium-Schnittstellen als auch das bereitgestellte Java SDK.

Dokumentation der API mit OpenAPI 3 / Swagger Die bisherige API Dokumentation wurde durch eine Dokumentation basierend auf dem aktuellen OpenAPI-Standard ersetzt. Dies ermöglicht den explorativen Zugriff per Swagger UI, um einen leichteren Zugang zur API zu erlangen. (Hinweis: bei der Authentikation müssen sowohl Email als auch API-Key spezifiziert werden). Die OpenAPI-Dokumentation ist unter https://app.webmate.io/api/swagger zu erreichen.

Neue Selenium-Capabilities Es stehen mehrere neue webmate-spezifische Selenium-Capabilities zur Verfügung, mit denen die Testerstellung konfiguriert werden kann:

• wm:name: Name des Test Run (wird z.B. in der Test Run-Übersicht angezeigt)
• wm:tags: Menge von Tags, die mit dem Test Run verknüpft werden. Können z.B. zur Filterung in der Übersicht verwendet werden. Mehrere Tags können mit Komma getrennt angegeben werden. Es sind auch Key-Value-Tags möglich, z.B. Sprint=34.
• wm:autoScreenshots: Wenn diese Capability auf true gesetzt wird, werden bei den Selenium-Operationen NavigateTo, Click, SendKeys und TakeScreenshot automatisch Screenshots erzeugt und mit dem Test verknüpft.
• wm:video: (aktuell nur für mobile Tests verfügbar) Wenn diese Capability auf true gesetzt wird, wird automatisch ein Video des Tests erstellt und mit dem Test verknüpft.

Die vollständige Liste der verfügbaren Capabilities finden Sie unter Selenium Capabilities.

Story-Actions in Automatisierten Tests Die Programmierschnittstelle, die Selenium WebDriver bzw. Appium bereitstellt, ist auf einer sehr technischen Abstraktionsebene angesiedelt. Viele

• Test-Frameworks wie Cucumber,
• Automatisierungs-Patterns, wie Page-Objects
• oder übliche Programmier-Idiome wie die Strukturierung von Testfällen in jUnit-Tests

bieten Möglichkeiten, die niedrigen Primitiven der Selenium-Schnittstelle auf einer höheren bzw. fachlicheren Abstraktionsebene anzusiedeln. Das webmate-SDK bietet nun ein zusätzliches Hilfsmittel, um Test-Schritte sinnvoll zu verknüpfen. Hierzu können mehrere Selenium-Operationen in eine logische “Story-Action” zusammengefasst werden. Das Java-SDK bietet entsprechende Helper (Klassen und Funktionen) an, die den Aufwand hierfür reduzieren. Hier beispielhaft zwei Alternativen, mit denen eine Story-Action erzeugt werden kann, die einen einzelnen WebDriver-Klick umfasst.

Story-Actions werden in der webmate Test Run-Ansicht zusammen mit den enthaltenen Selenium-Actions angezeigt:

Weitere Beispiele finden Sie unter GitHub webmate-sdk-samples

Eine entsprechende Erweiterung des Typescript-SDK folgt in Kürze.

Neuer Test-Typ: Story-Check Die Motivation des Test-Typs “Story-Check” ist der Umstand, dass lange andauernde Selenium-Tests aus Effizienzgründen häufig mehr als ein Test-Objekt überprüfen. So wird nach dem Start eines Browsers mit Selenium häufig der Login-Mechanismus überprüft und nach dem Einloggen eine Reihe von Systemfunktionen getestet, die aufgrund von Datenabhängigkeiten nicht unabhängig voneinander sind. In einer “idealen Welt” würde man diese Tests voneinander isoliert und jeweils von einem definierten Startzustand ausgehend ausführen. Da bei langen User-Journeys der Aufbau des Test-Szenarios jedoch eine lange Zeit beansprucht, werden häufig mehrere Tests innerhalb einer Selenium-Session durchgeführt.

Ein “Story-Check” ist, analog zu “Selenium”, einem manuellen “Ad-Hoc” Test oder dem vollautomatisierten “Expedition-Check” ein Test-Typ in webmate. Er ermöglicht es, innerhalb einer Selenium-Session “virtuelle” Tests zu starten und jeweils mit einem individuellen Testergebnis zu beenden.

Ein Test-Run vom Typ Story-Check kann mit dem Java-SDK erzeugt werden. Ein vollständiges Beispiel, das die Verknüpfung von Story-Checks und jUnit-Rules zeigt, finden Sie im SDK-Samples-Projekt unter

examples

Neue webmate Connect Features: iOS- und Android Debugging

Mit webmate Connect können ab sofort auch lokale Werkzeuge zur App-Entwicklung wie Android Studio oder Apple Xcode sowie Browser zum Debuggen von mobilen Webanwendungen und Web-Views angebunden werden. Die Integration steht aus Sicherheitsgründen für Geräte aus der jeweiligen Dedicated Device Cloud (d.h. nicht Public Cloud) zur Verfügung.

webmate Connect ist immer noch im Beta-Stadium. Wenn Sie webmate Connect testen oder auch produktiv nutzen möchten, schalten wir das Feature gerne für Sie frei.