Die 5 besten Beta-Test-Tools für Ihre App

Bereits 2014 musste der Spieleentwickler Red Winter die Fortsetzung seines Hit-Spiels Dungelot wenige Tage nach seiner ersten Veröffentlichung aus dem App Store holen. Der Grund? Das Spiel war voller Fehler und hatte von einem Pay-Once-Play-Forever-Modell zu einem Freemium-Modell gewechselt. 

Viele dieser Probleme hätten vermieden werden können, wenn Red Winter eine gründlichere Beta-Teststrategie verfolgt hätte. Dies gilt nicht nur für mobile Spiele, sondern für alle mobilen Apps.

Wenn Sie eine App starten, die zu fehlerhaft ist oder Funktionen enthält, die bei vielen Benutzern unbeliebt sind, besteht die Gefahr, dass Sie den Ruf Ihrer App dauerhaft schädigen. Red Winter konnte Dungelot 2 reparieren und drei Monate später erfolgreicher neu starten. Es gibt jedoch keine Garantie dafür, dass Ihre App so einfach wiederhergestellt werden kann.

Das Beta-Testen Ihrer App ist ein sehr wichtiger Schritt in der Pre-Launch-Phase Ihrer App-Entwicklung, da hier folgende Probleme auftreten können:

  • Qualität: Sie können sicher sein, dass Sie eine Qualitäts-App erstellt haben, aber nur mit einem ordnungsgemäßen Betatest können Sie feststellen, dass alle Funktionen so funktionieren, wie sie sollen. Qualität ist eng mit dem nächsten Punkt verbunden:

  • Benutzerfreundlichkeit: Von der Benutzeroberfläche bis zur Benutzeroberfläche. Bei einer verwendbaren App handelt es sich um eine App mit einer intuitiven Benutzeroberfläche, mit der Benutzer problemlos durch Ihre App navigieren, ihre Wünsche finden und mit Ihrer App das tun können, was sie erwarten. Sie sehen sich an, wie sie bestimmte Funktionen ausführen, und prüfen, ob es Möglichkeiten gibt, den Fluss zu verbessern.

  • Fehler: Natürlich hätten Sie gründlich sichergestellt, dass Ihre App keine Fehler enthält, aber bis sie in einem realen Szenario verwendet wird, können Sie nicht sicher sein. Von schwerwiegenden Fehlern, die zum Absturz der App führen, bis hin zu kleineren Fehlern, die sich nur unter bestimmten Bedingungen zeigen.

  • Leistung: Das Gerät, das Betriebssystem und sogar andere Apps können die Geschwindigkeit und die Gesamtleistung Ihrer App beeinflussen. Beta-Tests bieten Ihnen die Möglichkeit, dies authentischer zu analysieren als Ihre eigenen Labortests.

  • Marketing: Vom Mund-zu-Mund-Marketing zwischen Ihren Testern und ihren Freunden bis hin zu Einblicken in das ideale Publikum, wie sie von Ihren Testern enthüllt wurden, können Betatests dazu beitragen, Ihre Marketingstrategie vor dem Start zu gestalten. 

Wenn Sie diese Punkte berücksichtigt haben, fällt es Ihnen schwer zu leugnen, dass Betatests Ihrer App und ihrem Start enorm helfen können. Das Einrichten von Betatests ist kein komplizierter Prozess, da eine Vielzahl von Tools zur Verfügung steht. Einige dieser Tools konzentrieren sich nur auf einen Aspekt des Betatests, während andere versuchen, umfassendere Funktionen anzubieten. Hier ein Überblick über einige der besten.

UXCam

Diskussionen über UI und UX wurden Ende der 90er Jahre zum Mainstream, als das Internet zugänglicher und beliebter wurde. Und während die ersten mobilen Apps UI und UX möglicherweise nicht gut genutzt haben - schließlich war es ein brandneues Feld -, haben die meisten großen App-Entwickler jetzt separate Abteilungen, die sich nur auf UI und UX konzentrieren.

Genau genommen ist UXCam kein Beta-Test-Tool. Es lässt sich durch Hinzufügen von zwei Codezeilen in Ihre App (iOS oder Android) integrieren, sodass Sie die Verwendung entweder auf Ihre tatsächlichen Betatests oder kontinuierlich in der endgültigen Version Ihrer App beschränken können.

Wie der Name schon sagt, hilft Ihnen das Tool bei der Beurteilung der Benutzeroberfläche Ihrer App, indem es eine Bildschirmaufzeichnung aller Benutzeraktionen in der App erstellt, einschließlich Berührungspunkten und Gesten. Der Grund, warum Sie dies wünschen würden, ist, dass es viel aufschlussreicher ist, zu sehen, wie Benutzer Ihre App verwenden, als reguläres Benutzerfeedback und Standard-App-Analysen. 

Zu den zusätzlichen Funktionen gehört eine Heatmap, mit der hervorgehoben wird, mit welchen Bereichen des Bildschirms Benutzer häufig interagieren und welche Bereiche sie ignorieren. Die Benutzerflussfunktion ähnelt der in Google Analytics und zeigt, wie Benutzer durch Ihre App navigieren und wo sie abgesetzt werden. Mit der intelligenten Filterung können Sie Aufzeichnungen auf einfache Weise nach den Kriterien filtern, auf die Sie sich konzentrieren möchten, z. B. nach Benutzern, die Ihre App seit einem bestimmten Datum verwenden, oder sogar nach der Anzahl der verwendeten Gesten.

UXCam ist unauffällig und Ihre Benutzer werden es nicht einmal bemerken. Zusammen mit der Tatsache, dass keine Benutzerberechtigung erforderlich ist, kann dies zu Bedenken hinsichtlich des Datenschutzes führen. UXCam hat jedoch eine strikte Richtlinie, nach der alle vertraulichen Informationen blockiert werden müssen.

Die Pläne für UXCam beinhalten einen begrenzten kostenlosen Plan, wobei der Pro-Plan (ideal für kleine Unternehmen) bei 199 USD / Monat beginnt.

UserTesting

UserTesting ist auf den ersten Blick UXCam sehr ähnlich. Sie erhalten Zugriff auf Videos (und Audio) von realen Benutzern, die mit Ihrer App interagieren. Im Gegensatz zu UXCam scheint UserTesting jedoch eher ein Beta-Test-Tool zu sein, da es zu jedem Zeitpunkt in Ihrem Entwicklungszyklus verwendet werden kann und Sie angeben, welche Aufgaben Sie testen möchten. Anstatt zu sehen, wie Benutzer mit Ihrer App als Ganzes interagieren, können Sie sich enger auf bestimmte Abschnitte Ihrer App und bestimmte Aufgaben konzentrieren.

Mit UserTesting erhalten Sie nicht nur eine Videoaufzeichnung der durchgeführten Aktionen, sondern auch Audio von Benutzern, die Ihre App diskutieren. Darüber hinaus können Sie Benutzern eine Reihe von Fragen stellen und sie dazu bringen, bestimmte Funktionen zu bewerten. Die Ergebnisse liegen innerhalb einer Stunde nach jedem Test vor.

Obwohl Sie Tester aus dem Benutzerpool von UserTesting verwenden, können Sie den Benutzertyp angeben, auf den Sie abzielen - von der Region über Web-Know-how bis hin zu anderen wichtigen demografischen Merkmalen. Das Ausführen neuer Tests ist so einfach wie das Hochladen Ihrer App auf die UserTesting-Plattform - keine SDK-Integration erforderlich - und das anschließende Erstellen der Testparameter. 

Und wenn Sie mit Betatests noch nicht vertraut sind, enthält die UserTesting-Website umfangreiche Ressourcen, einschließlich praktischer Checklisten, denen Sie folgen können. Der Einzelplan ist für unabhängige Entwickler und kleine Unternehmen völlig ausreichend. Ein Unternehmensplan bietet erweiterte Funktionen.

99tests

99tests wird als Crowdsourcing-Testplattform beworben. Dies bedeutet, dass Sie wie bei UserTesting den Zielgruppentyp angeben - Schlüsseldemografie, Gerätetyp, Standort usw. - und 99tests die perfekten Tester für Sie finden.

Wie bei anderen Testtools werden Usability-Tests angeboten, 99tests bietet jedoch auch Lokalisierungstests, Erkundungstests und Sicherheitstests an. Beim Lokalisierungstest wird Ihre App unter Benutzern an den Orten getestet, an denen Ihre App verfügbar sein wird. Dabei wird berücksichtigt, wie lokale Benutzer auf das Design reagieren usw. In den meisten Testfällen müssen Benutzer bestimmte Aktionen ausführen und einem vordefinierten Pfad durch Ihre App folgen Durch explorative Tests können Tester Ihre App jedoch ohne Einschränkungen erkunden. Sie haben eine vorgefasste Vorstellung davon, wie Benutzer mit Ihrer App interagieren sollen, wissen jedoch nicht, ob dies der Fall ist. Mithilfe von Erkundungstests können Sie Probleme identifizieren, die nur auftreten, wenn Sie die App nicht so verwenden, wie Sie sie entworfen haben.

Sicherheitstests sind natürlich von entscheidender Bedeutung, wenn für Ihre App eine Registrierung erforderlich ist oder Benutzer vertrauliche Informationen eingeben können. Datenlecks sind selbst für große Unternehmen ein Albtraum.

Ein weiteres Merkmal, das 99tests auszeichnet, ist, dass das Testen ein Element der Automatisierung enthält. Es wird erwartet, dass Sie für jede Testrunde einen Testplan erstellen. Die 99-Test-Tester können jedoch ihre eigenen Testfälle erstellen. Mit automatisierten Skripten können sie in sehr kurzer Zeit Dutzende verschiedener Szenarien testen. Und da 99tests in viele beliebte Tools zur Fehlerverfolgung integriert ist, wird die Verfolgung der gemeldeten Fehler über ein einziges Dashboard verwaltet. Mithilfe eines App-Grader-Scores können Sie die wahrgenommene Qualität der Apps nach jedem Test verfolgen.

Preise für Automatisierung, Risikodeckung und Unternehmenstests sind auf Anfrage erhältlich. Ein schneller Bug-Bash-Plan beginnt bei 500 US-Dollar. Die meisten Tests werden über einen Monat durchgeführt, wobei komplexe Apps 2-3 Monate benötigen.

TestFairy

TestFairy ist ein weiteres Beta-Test-Tool, das eine Videoaufzeichnung darüber bereitstellt, was Benutzer mit Ihrer App tun. TestFairy bietet Ihnen jedoch keinen einfachen Zugriff auf einen Pool von Testern, und es wird erwartet, dass Sie Ihre eigenen Tester beschaffen. Dies sollte kein Deal Breaker sein, wenn Sie Beta-Test-Tools in Betracht ziehen. Es bedeutet jedoch, dass Sie vor der Anmeldung bei TestFairy einen Plan zur Einstellung von Testern haben sollten, wenn Sie noch keinen eigenen Pool von Testern haben. Die Verwendung von Familie und Freunden ist ein guter Anfang, aber nur, wenn sie der Demografie Ihres Zielpublikums entsprechen. Sie möchten einen vielfältigen Pool von Testern, die Ihre App auf verschiedenen Geräten und in verschiedenen realen Situationen testen können - beispielsweise mit WiFi im Vergleich zu mobilen Daten.

TestFairy unterstützt das Testen sowohl nativer Apps als auch von Apps, die mit Plattformen wie Adobe Air, Unity usw. entwickelt wurden. Wenn sich Ihr Testplan darauf konzentriert, Fehler zu finden und zu beseitigen, sind Sie froh zu wissen, dass TestFairy in diese integriert ist Mehrere Top-Bug-Tracking-Dienste. Und Ihre Benutzer müssen nur ihr Gerät schütteln, um das Formular zur Fehlerberichterstattung aufzurufen!

TestFairy ist sich auch sehr bewusst, wie fragmentiert die mobile Welt ist, sodass Sie sehen können, wie Ihre App auf mehr als 10.000 Geräten aussieht. Es klingt anstrengend, aber wenn Sie sicherstellen möchten, dass Ihre App für das größtmögliche Publikum perfekt funktioniert, muss ein kleines Opfer gebracht werden. 

Die Pläne für TestFairy beginnen kostenlos (wie zu 100% kostenlos) und sind daher eine ideale Lösung für KMUs mit einem begrenzten Budget. Wenn ein großes Team an Ihrer App arbeitet, sollten Sie deren Start- und Unternehmenspläne berücksichtigen.

HockeyApp

Das letzte Tool in dieser Zusammenfassung der Top-Beta-Testtools für Ihre App bietet mehr als nur ein Testtool. HockeyApp bietet die Standardfunktionen, die Sie von einem Beta-Test-Tool erwarten würden, enthält jedoch auch Benutzermetriken. Die Benutzerkennzahlen in HockeyApp umfassen alles von der Anzahl der aktiven Benutzer und dem Engagement bis hin zu Informationen zu Geräten, auf denen Ihre App in den letzten 30 Tagen abgestürzt ist. Diese letzte Metrik kann sehr hilfreich sein, um zwischen Fehlern, die alle Benutzer betreffen, und Fehlern, die Benutzer auf bestimmten Geräten betreffen, zu unterscheiden.

Wie TestFairy kann HockeyApp sowohl für native Apps als auch für Apps verwendet werden, die auf anderen Plattformen entwickelt wurden. Während Absturzberichte standardmäßig direkt an die HockeyApp-Plattform gesendet werden, können Sie diese auch direkt in Ihre bevorzugte Bug-Tracking-Plattform integrieren. Die Kommunikation zwischen Teammitgliedern kann auf das HockeyApp-Dashboard beschränkt oder in Slack und HipChat integriert werden.

HockeyApp wurde 2014 von Microsoft übernommen. Dies hat jedoch keine Auswirkungen auf Ihre Fähigkeit, sowohl iOS- als auch Android-Apps zu testen, während die gesamte Plattform auf ein Visual Studio Mobile Center migriert, auf das sich neue Benutzer bereits jetzt für den Zugriff anmelden können . Wie bei den anderen hier beschriebenen Tools ist die Integration von HockeyApp in Ihre App recht einfach. Das SDK kann entweder manuell oder mithilfe einer der von HockeyApp bereitgestellten Client-Apps integriert werden.

Die Preisgestaltung für HockeyApp ist ebenfalls recht einfach. Entwickler mit weniger als 10 Apps können den Service kostenlos nutzen, mit einer unbegrenzten Anzahl von Testern für jede App. Die Preisgestaltung danach richtet sich nach der Anzahl der Apps, die Sie haben. Die Pläne beginnen bei 30 US-Dollar pro Monat für bis zu 15 Apps.

Beide Seiten des mobilen Zauns spielen

Es gibt viele Tools zum Betatest Ihrer mobilen App, aber ich habe diese ausgewählt, da sie alle das Testen von iOS- und Android-Apps unterstützen. In den frühen Tagen des mobilen Ökosystems war es möglich, nur auf iOS oder Android abzuzielen, aber dies ist nicht mehr praktikabel. Und obwohl Android einen bedeutenden Vorsprung gegenüber iOS hat, schränkt die Konzentration auf ein Betriebssystem Ihre Reichweite immer noch ein. Darüber hinaus enthält diese Auswahl an Tools Optionen für Entwickler, die sich nur auf das Testen ihrer UX konzentrieren möchten, und für diejenigen, die eine umfassendere Testsuite suchen. 

Unabhängig von der potenziellen Größe Ihres Publikums sollten Sie nicht über das Öffnen Ihrer App für Betatests nachdenken. Ihre Kunden werden ein polierteres Produkt genießen, und Sie werden mehr treue Benutzer genießen.