Health Score – Nicht zu sehen, aber da!?

Im April 2016 tauchte eine Meldung in einem GC Blog auf, die allerdings kaum Beachtung fand. JR849 hatte einen Hinweis erhalten und berichtete darin über den sogenannten „Health Score“. Dann geriet das Thema wieder schnell in Vergessenheit.

Im August 2016 wurden dann die neuen 4000 Virtual Caches verlost verliehen, was für einige Aufregung in der Cacherschaft führte a la „Warum der/die und nicht ich?“. In der offiziellen Erklärung dazu tauchte dann plötzlich „cache quality and cache health“ mit einer Verlinkung zu den Hilfeseiten, in denen der Health Score beschrieben wird. Nachdem der Aufschrei (immerhin in der Original Blogankündigung 138 Kommentare!) vorbei war wurde es an der Oberfläche wieder ruhig. Doch scheinbar brodelte es noch darunter, denn Ende November wurde in einer Meldung über eine Änderung im Dashboard (das ist vereinfacht ausgedrückt die grafische Benutzeroberfläche, die man auf geocaching.com sieht, wenn man sich angemeldet hat) nochmal kommuniziert, dass es den Health Score gibt und er im Hintergrund arbeitet.

Doch was ist nun dieser Health Score eigentlich? Im Grunde genommen soll es ein Algorithmus sein, der jeden Cache nach gewissen Kriterien einmal täglich bewertet und dieses Ergebnis, sollte es entsprechend negativ ausfallen, entweder mit einer Mail an den Cacheowner oder einem Eintrag in dessen Dashboard quittiert. Warum ich das so zweifelnd schreibe, werde ich im Fazit am Ende dieses Blogartikels erklären.

Groundspeak beschreibt ihn so, dass jeder Cache anhand einer Kombination „von Logs und Umständen, inklusive DNF´s (Did Not Find – Nicht gefunden), NM (Need Maintenance – braucht Wartung), NA (Need Archived – sollte archiviert werden), der Zeitdauer seit dem letzten Fund und der Schwierigkeits- und Terrainwertung klassifiziert wird. Der Health Score eines Caches kann sinken. Sollte er einen gewissen Punkt unterschreiten, wird eine automatisierte Email an den Cacheowner verschickt. Diese Email soll den Cacheowner unterstützen und er kann eine von 5 Entscheidungen treffen:

1. Gar nichts tun.
2. Wartung durchführen mit anschliessendem Log einer Owner Maintenance (Owner Wartung).
3. Anpassung der D/T Wertung
4. Den Cache solange disablen bis die Wartung durchgeführt werden konnte und dann loggen einer Owner Maintenance.
5. Den Cache archivieren.

Das Loggen der Owner Maintenance soll den Health Score des Caches wieder „in den positiven Bereich“ bringen.

Wenn der Health Score des Caches nach der automatischen Email sich nicht verbessert, soll ein Reviewer auf den Plan treten und für geeignete Massnahmen sorgen.

Ein deutschsprachiger Reviewer nahm das Thema Anfang Dezember zum Anlass einen Post zum Thema Health Score bei Facebook zu schreiben, nachdem es bei Twitter einen kleinen Sturm im Wasserglas gab (Wenn ich mich richtig erinnere war ein Cacheowner der Meinung, sein Cache wäre zu unrecht und schnell durch eben jenen Reviewer archiviert worden):

„Nein mir ist nicht langweilig und es liegt nicht an mir das ich manchmal schon einen Geocache nach z. B. 4 DNFs innerhalb kürzester Zeit deaktiviere und anmahne.
Möchte weder Euch als Cache Owner noch mir unnötige Arbeit machen!

Dieses Vorgehen liegt einzig und alleine am Health Score, hast Du schon einmal was davon gehört? Nein?

Das Geocaching HQ hat den Health Score entwickelt. 
Dieses ist ein Algorithmus welcher DNFs, NM, NA, Zeit der Logs und D/T-Wertung berücksichtigt um den Health Score (Gesundheitszustand) eines Geocaches zu ermitteln.
Dieser wurde entwickelt um die Qualität des jeweiligen Geocaches zu steigern.
Wenn ein Geocache gesund ist hat dieser 100%, sobald dieser unter 60% fällt wird dieser Cache bei mir als Reaper zum anmahnen aufgelistet. Auch wenn dieser vielleicht erst 1 Woche nicht mehr gefunden wurde. 
Bitte entwickelt auch Ihr ein wenig Verständnis für dieses Vorgehen, letztendlich profitieren wir alle als suchende Geocacher von einer höheren Cachequalität wenn jeder der CO mithilft. 
Danke für Eurer Verständnis und Eure Mithilfe!!!

Liebe Cache Owner,
denkt bitte unbedingt daran das Ihr nach einer erfolgen Wartung eine OM (Owner Maintenance) logt. Erst dann wird der Gesundheitszustand (Health Score) wieder auf 100% gesetzt.

Mehr Informationen zu Health Score findet Ihr im Geocaching Help Center unter: https://www.geocaching.com/help/index.php?pg=kb.chapter&id=38&pgid=713 „

Interessant ist, dass er von prozentualen Angaben bezüglich der „Cachegesundheit“ spricht. Und der vorherige Schritt, die automatische Email, gar keine Erwähnung findet. Und überhaupt, so eine Email kam mir persönlich auch noch nicht zu Gesicht. Auch eine Anfrage in der regionalen Cacherschaft blieb erfolglos.

Da sich da ein paar Fragen stellten, auf die so richtig keine Antwort gefunden werden konnte, dachte ich mir, schreib ich doch mal dem HQ und frage einfach direkt. Hier nun meine Fragen und die Antworten (ich habe sie der Einfachheit halber ins Deutsche übersetzt):

1) Wie lange existiert der Health Score Algorithmus? Gab es eine „Test-Zeit“ vor der Nutzung?

Antwort: Ja, der Health Score wurde vor der aktiven Verwendung ausgiebig getestet. Außerdem optimieren wir den Algorithmus weiter, sodass er hilfreicher für Cacheowner sein kann, die potentiell “ungesunde” Caches auf ihrem Owner-Dashboard sehen. Wir haben den Health Score erstmals im September 2014 der Community vorgestellt. Ein Jahr später, im September 2015, führten wir Wartungs-E-Mails für Low-Health-Caches ein. Im November 2017 wurde das Tool für die Eigentümerverwaltung zum Dashboard hinzugefügt.

Anmerkung: Schön, dass ausgiebige Tests stattgefunden haben und der Algorithmus weiterhin in ständiger Anpassung ist. Was ich nicht nachvollziehen kann ist der zweite Teil der Antwort. So kann ich in den Ankündigungen von GS im Sep2014 nur etwas mit Geocachenden Hunden und 3 Ideen für kreative Geocaches finden. Auch das offizielle „Release Note“ Forum verzeichnet zwar 2 Einträge in der Zeit, aber dort wird nichts von Health Score erwähnt (allerdings wird nebulös von „behind-the-scenes improvements“ gesprochen.)

Im Sep2015 gab es zwar keine Ankündigung im Blog (nur was mit Geotour, GIFF, „berühmten“ Cachern, was mit Schuhen, Earthcacheday Souvenir, nochmal ne Geotour und 15 tolle Fotos), dafür findet sich etwas in den Release Notes. Und wenn das Kind da auch noch nicht „Health Score“ genannt wird gibt es doch einen Link zur entsprechenden Hilfe Seite. Interessanterweise spricht man da auch von “occasional”, also von “gelegentlichen” Emails. Also ein Kann, kein Muss?

2) Der Health Score basiert auf 5 Faktoren, DNFs, NMs, NAs, Zeit des letztens Fundes und D/T Wertung. Sind auch andere Faktoren wichtig? Warum, zum Beispiel, ist die Dauer, die ein Cache disabled ist, nicht relevant?

Antwort: Der Health Score wird derzeit nicht zur Identifizierung deaktivierter Caches verwendet.

Anmerkung: Ich glaube hier wurde die Frage nicht richtig verstanden.

3) Wie sieht der Health Score aus? Die Webseite des Slowenischen Geocaching Clubs spricht von „wenn der Score unter 60% fällt“. Wird der Health Score prozentual angegeben?

Antwort: Das können wir zur Zeit nicht zeigen.

Anmerkung: Schade. Aber fragen kann man ja mal. Auf jeden Fall deckt sich die Angabe der Slowenen mit denen des Reviewers, unter 60% wird vom Reviewer gehandelt.

4) Gibt es irgendwelche Pläne den Health Score mehr transparent zu machen, vielleicht sichtbar für den Owner bei seinem eigenen Caches? So, dass sie reagieren können, bevor die 60% Warnung kommt?

Antwort: Dafür haben wir keine Pläne. Wir halten Needs Maintenance, DNF und Needs Archived für ausreichende Indikatoren, damit die Cacheowner ihre Caches überprüfen.

Anmerkung: Schade. Mich persönlich hätte als Owner ja schon interessiert wo meine Caches gerade so stehen, damit ich vielleicht längerfristig Wartungen planen kann. Klar, kann ich ja auch die DNF/NM/NA Logs sehen, aber der wirkliche Zwang zum Handeln durch den Health Score wird dadurch wohl nicht ausgelöst.

5) Das Help-Center spricht von einer „automatischen Mail“. Ich habe viele Owner, speziell auch mit „kaputten“ Caches gefragt, aber niemand hat bisher so eine Mail bekommen. Die Reviewer handeln so wie all die Jahre zuvor und schreiben ihre „Standard Logs“. Ich habe im GC Forum einen Thread gefunden, wo jemand ein Screenshot der automatischen Email angehangen hat. Ist dies ein echter Screenshot solch einer automatischen Mail?

Antwort: Screenshot im Anhang.

6) Wenn die Warnung mit dem schlechten Health Score ausgelöst wird, wie lange ist die Reaktionszeit für den Owner? Im Help Center ist beschrieben, dass nach Ignoranz der automatischen Email ein Reviewer eingeschalten wird.In unser Region gibt es scheinbar keine automatischen Emails, die Reviewer reagieren wie immer auf vernachlässigte Caches.

Antwort: Der Health Score ist nicht die einzige Möglichkeit für Reviewer, Caches zu identifizieren, die Aufmerksamkeit benötigen. Viele Regionen verlassen sich auf zusätzliche Methoden, die vor der Implementierung des Health Scores implementiert wurden.

Anmerkung: Heisst jetzt im Klartext, man hat ein einheitliches System geschaffen, an das sich aber nicht gehalten werden muss, jeder Reviewer kann das halten wie er will, die alten Arbeitsabläufe haben Bestandsschutz!?

7) Wenn der Cacheowner auf die Health Score Warnung reagiert und eine Wartung vornimmt, wird der Health Score dann wieder auf 100% gesetzt oder gibt es eine Schrittweise Erhöhung? Wird der Score einmal am Tag berechnet?

Antwort. Der Health Score wird einmal pro Tag berechnet. Daher kann es bis zu 24 Stunden dauern, bis das Dashboard-Ownermaintenance-Tool die Änderungen anzeigt.

Anmerkung: Schade. Auf den ersten und interessanteren Teil meiner Frage gab es leider keine Antwort.

8) Gibt es seit der Einführung des Health Scores nachweisbare positive Veränderungen betreffs der Cachequalität?

Anwort: Wir haben den Algorithmus im Laufe der Zeit optimiert, also warten wir darauf, dass sich der Algorithmus stabilisiert, bevor Daten abgerufen werden. Wir haben jedoch positives Feedback erhalten, dass die E-Mails und der Health Score das Bewusstsein für CO-Wartungserwartungen erhöhen und dass sich der allgemeine Zustand von Caches dadurch verbessert hat.

Anmerkung: Na dann kann man ja nur sagen: Läuft bei GS… Oder auch nicht.

Mein Fazit:

Ich halte einen automatisierten Prozess zur Überprüfung von Caches, soweit dies „online“, also nicht „im Feld/vor Ort“ möglich ist, für sinnvoll und sicherlich auch für die Reviewer entlastend. Was mir nicht gefällt ist nach wie vor die Intransparenz. Da brodelt irgendwo etwas im Hintergrund und der Cacheowner ist den Entscheidungen ausgeliefert bzw falls das System anschlägt, in der Bringepflicht. Heisst er muss Gewehr bei Fuss stehen, wenn der Computer sagt „60%“. Abgesehen davon, dass der Computer momentan, aufgrund der alten „workflows“ der Reviewer, scheinbar selten bis gar nicht dazu kommt, „60%“ zu sagen.

Mit dem Health Score übertritt Groundspeak erstmals eine Grenze, die bisher immer heilig war: Wenn ein Cache schlecht/doof/unpassend war wurde er nur aufgrund der Gesetzeslage oder durch das „Verpetzen“ anderer Cacher angreifbar. Irgendjemand musste aktiv werden und sagen „Geocache scheisse, mach weg“. Dies ändert sich nun grundlegend. Plötzlich könnte man Dosen ins Archiv schicken, ohne das jemand etwas zu beanstanden hatte, einfach nur mit der Begründung “Health Score ist schlecht”. Nehmen wir zum Beispiel eine vorhandene, aber seit mehreren Jahren ungefundene Dose. Diese müsste aufgrund Punkt 4 der Health Score Ermittlung, der Dauer des Nichtfindens, irgendwann auf die Abschussliste kommen. Also droht das Ende der alten Dosen, die bis heute noch keinen FTF haben? Bisher wurde scheinbar jede Dose, solange es irgendwie zu rechtfertigen ging, aktiv gehalten. Jetzt wird im Namen der Qualität selektiert? Vielleicht sogar ein hehres Ziel.
Bei mir als Cacheowner „an der Basis“ ist von dieser Qualitätsausdünnung allerdings noch nichts angekommen. Hier arbeitet der Reviewer noch „business as usual“, also wie immer.

Wird der Health Score nun konsequent umgesetzt?
Die Geheimiskrämerei um ihn, warum? Möchte man Missbrauch verhindern? Fürchtet man bei Bekanntwerden des Algorithmus, das Cacheowner ihn manipulieren bzw unterwandern?

Ist die (Fremd)Nutzung des Health Scores für die Verteilung der neuen Virtual Caches zum Beispiel, gut überlegt? Schnell könnte man zum Schluss kommen, dass dieses intransparente und irgendwie meiner persönlichen Erfahrung nach nicht funktionierende System (ich habe selber momentan etliche Caches mit Wartungsproblemen und Meldungen aller Art, selbst einen, bei dem mir der Reviewer schon mit der „3 Wochen bis Archiv“-Frist droht, mein Emaileingang und das Dashboard sind was Health Score betrifft allerdings blütenrein) dazu genutzt wird, die Cacherwelt in „gut“ und „böse“ zu unterteilen.

Ich würde mir einen grossen, offensiven Rundumschlag von Groundspeak wünschen. Offenlegung des Algorithmus, Transparenz des Health Scores für jeden einzelnen Cache des entsprechenden Owners als Anzeige im Listing (oder meinetwegen in einer Extraübersicht) und konsequente Einhaltung und Umsetzung des Ablaufes, bei Verschlechterung des Cachezustandes… Dann wird dieses Werkzeug auch wirklich nützlich. Bis dahin ist es mehr „magische“ Makulatur im Bestreben nach Qualität.