Wie werden NavShip-Updates getestet?

Veröffentlicht von NavShip Team am 10. Mai 202110. Mai 2021

Im Monat erscheinen für Android und iOS jeweils zwischen zwei und vier Updates. Natürlich ist es nicht möglich, bei jeder Änderung alle Funktionen von Anfang an auf Herz und Nieren zu prüfen. Wie kann jedoch sichergestellt werden, dass es bei den neu ausgelieferten Updates nicht zu Abstürzen kommt?

Automatisierte Tests

Vor jedem Release muss die NavShip-App einige automatisierte Tests durchlaufen. Wir haben ein festes Set an Features, das immer gleich funktionieren muss. So muss z.B. bei einer 10km Route und 10km/h Geschwindigkeit eine Fahrzeit von einer Stunde angezeigt werden oder bei der Auswahl eines Motorboots entsprechende Bereiche, wo Motorboote nicht gestattet sind, von der Routenplanung ausgenommen werden.

Manuelle Tests

Bei neuen Features werden diese von uns separat, wenn möglich im Liveversuch, getestet. Hierzu fahren wir fest definierte Strecken auf dem Main ab oder machen Versuche auf Feldwegen und simulierten Flussverläufen (man kann ja nicht immer zwischen Office und Boot hin- und her wechseln, wenn es schnell gehen muss). Viele Dinge lassen sich direkt aus dem Büro erledigen. Wir testen hierzu alle möglichen Displaygrößen auf unterschiedlichen Geräten durch. In unserer Testumgebung befinden sich ein Honor 6X, Xiaomi Rednote 9, Samsung A52, Samsung Galaxy Tab 10.1, iPhone 4S, iPhone 7, iPhone XR, iPad Pro 2020 und ein MacBook Pro. Insbesondere Designänderungen oder Darstellungen in unterschiedlichen Sprachen können nur manuell getestet werden.

Veröffentlichung Stück für Stück

Weil wir nur eine begrenzte Zahl an Geräten haben, um alle Features zu testen, es aber weit mehr als 20.000 unterschiedliche Geräte gibt, wird nicht jede neue Version sofort für alle User zur Verfügung gestellt. In der Regel dauert es bis zu 24 Stunden, bis das Update von Apple oder Google im Store freigegeben wird. Ab dann erhalten 10% der User das Update. Absturzmeldungen, die bei Google oder Apple eingehen, werden am Folgetag ausgewertet, wenn alles passt und es zu keinen Häufungen kommt, wird die Version auf 30-50% Auslieferung aktualisiert, nach weiteren 24 Stunden erhalten dann alle User die neuste Version.

Wenn wir ein neues Feature für einen Tag ankündigen, kann es daher sein, dass es noch ein paar Tage dauert, bis es auch alle User erhalten. Dies ist Teil unseres Prozesses, die Programmqualität maximal zu halten.