Gesundheits-Apps gehören inzwischen für viele Menschen zum Alltag.

Sie werden genutzt, um den Menstruationszyklus zu verfolgen, die Fitness zu überwachen, psychische Beschwerden einzuschätzen und körperliche Veränderungen besser zu verstehen.

Immer mehr dieser Anwendungen setzen auf künstliche Intelligenz und vermitteln dadurch den Eindruck, ihre Empfehlungen seien objektiv.

Forschende weisen jedoch darauf hin, dass Vorurteile und Verzerrungen bereits lange vor dem Training eines Algorithmus in ein digitales Gesundheitsprodukt einfließen können. Das eigentliche Problem beginnt möglicherweise schon bei den Annahmen der Entwickler darüber, was Gesundheit bedeutet, welche Beschwerden Aufmerksamkeit verdienen und wessen Erfahrungen bei der Entwicklung berücksichtigt werden.

Verzerrungen können bereits bei den Daten beginnen

Digitale Gesundheitssysteme sind in hohem Maße auf die Informationen angewiesen, mit denen sie entwickelt und trainiert werden. Wenn diese Datensätze nur einen kleinen Teil der Bevölkerung abbilden, kann die Technologie für andere Bevölkerungsgruppen deutlich unzuverlässiger funktionieren.

Ein bekanntes Beispiel sind Anwendungen zur Erkennung von Hauterkrankungen. Werden solche Systeme überwiegend mit Bildern heller Haut trainiert, können sie Veränderungen bei dunkleren Hauttypen möglicherweise weniger genau beurteilen.

Dasselbe Problem kann auch weniger offensichtlich auftreten. Ein häufig diskutierter Gesundheitsalgorithmus verwendete einst die Ausgaben für medizinische Versorgung als Maßstab dafür, wie krank Patientinnen und Patienten waren. Da bestimmte Bevölkerungsgruppen trotz erheblicher gesundheitlicher Bedürfnisse in der Vergangenheit weniger Geld für ihre Versorgung ausgaben, unterschätzte das System ihren tatsächlichen Krankheitszustand.

Dabei handelte es sich nicht nur um einen technischen Fehler. Eine scheinbar neutrale Kennzahl spiegelte bestehende Ungleichheiten beim Zugang zur Gesundheitsversorgung, beim Vertrauen in das System und bei der Inanspruchnahme medizinischer Leistungen wider.

Das Problem entsteht schon vor der Programmierung

Die Forscherinnen Mahima Kalla und Noushin Nazarian vertreten die Ansicht, dass Entwickler ihre eigenen Annahmen hinterfragen sollten, bevor sie überhaupt mit der Entwicklung einer digitalen Gesundheitsanwendung beginnen.

Sie empfehlen, zunächst zu klären, wessen Verständnis von Gesundheit zugrunde gelegt wird, welche Wissensformen als maßgeblich gelten und wer tatsächlich Einfluss auf den Entwicklungsprozess hat.

Das ist wichtig, weil Gesundheit nicht überall gleich verstanden wird. In manchen Gemeinschaften spielen beispielsweise die Zusammenhänge zwischen körperlicher Gesundheit, seelischem Wohlbefinden, Familie, Kultur und Umwelt eine besonders große Rolle.

Orientiert sich eine Technologie ausschließlich an einem einzigen Gesundheitsverständnis, kann sie wichtige Informationen übersehen, die für die Menschen, denen sie helfen soll, von großer Bedeutung sind.

Betroffene werden häufig zu spät einbezogen

Ein weiteres Problem besteht darin, dass Gemeinschaften, die von einer Technologie betroffen sind, oft erst dann angehört werden, wenn die wichtigsten Entscheidungen bereits gefallen sind.

Zu diesem Zeitpunkt haben Entwickler möglicherweise schon festgelegt, welches Problem gelöst werden soll, welche Daten verwendet werden, woran der Erfolg gemessen wird und welche Technologie zum Einsatz kommt.

Nach Ansicht der Forschenden sollte eine sinnvolle Beteiligung deshalb viel früher beginnen. Gemeinschaften sollten bereits zu Beginn die Möglichkeit erhalten, zu hinterfragen, ob eine bestimmte App überhaupt notwendig ist. Außerdem sollten sie mitentscheiden können, wie die Anwendung Informationen sammelt und Unterstützung anbietet.

Auch vorgefasste Meinungen können zu Hindernissen werden. Entwickler gehen möglicherweise schon im Vorfeld davon aus, dass bestimmte Bevölkerungsgruppen nur über geringe digitale Kenntnisse verfügen oder neue Technologien kaum nutzen werden. Dadurch werden diese Menschen unter Umständen von wichtigen Gesprächen über die Gestaltung der Anwendungen ausgeschlossen.

Gesundheitstechnologie spiegelt bestimmte Werte wider

Jedes digitale Werkzeug wird auf Grundlage bestimmter Prioritäten entwickelt.

Für Entwickler können beispielsweise Geschwindigkeit, Automatisierung und persönliche Unabhängigkeit im Vordergrund stehen. Nutzerinnen und Nutzer legen möglicherweise mehr Wert auf die Einbindung ihrer Familien, kulturelle Relevanz oder eine bessere Kommunikation mit medizinischem Fachpersonal.

Untersuchungen in indigenen Gemeinschaften verschiedener Länder haben gezeigt, dass manche Menschen unterstützende Technologien eher annehmen, wenn diese die Beziehungen zu Familienmitgliedern und Gesundheitsdienstleistern stärken, anstatt sie zu ersetzen.

Das verdeutlicht, warum eine technisch anspruchsvolle Entwicklung nicht automatisch auch eine wirklich hilfreiche Lösung darstellt.

Auch der Umgang mit Daten ist entscheidend

Gesundheitsdaten werden häufig als Informationen betrachtet, die einfach gesammelt und ausgewertet werden können. Für manche Gemeinschaften sind solche Daten jedoch auch eng mit Identität, kollektiven Rechten und kulturellem Wissen verbunden.

Deshalb betonen die Forschenden das Prinzip der Datensouveränität. Gemeinschaften sollten mitbestimmen können, wie ihre Informationen erhoben, interpretiert, miteinander verknüpft, gespeichert und weitergegeben werden.

Das gewinnt zunehmend an Bedeutung, da KI-Systeme immer größere Mengen an Gesundheitsdaten benötigen.

Gerechtere Apps brauchen einen anderen Ausgangspunkt

Verzerrungen lassen sich nicht allein dadurch beseitigen, dass ein Algorithmus nach Abschluss der Entwicklung verbessert wird.

Ein inklusiverer Ansatz muss deutlich früher ansetzen. Dabei geht es um Fragen des Wissens, der Repräsentation, der Machtverteilung und der zugrunde liegenden Werte. Entwickler benötigen nicht nur vielfältige Datensätze, sondern müssen auch unterschiedliche Stimmen in die Entscheidung darüber einbeziehen, welche Aufgaben eine Technologie erfüllen soll.

Da digitale Anwendungen immer stärker in die Gesundheitsversorgung integriert werden, betreffen diese Entscheidungen weit mehr als nur den Bedienkomfort. Sie können beeinflussen, wer verlässliche Informationen erhält, wessen Symptome erkannt werden und wer von zukünftigen medizinischen Technologien profitiert.

Die Entwicklung gerechterer Gesundheits-Apps beginnt daher nicht mit besserem Programmcode, sondern mit besseren Entscheidungen darüber, welchen Menschen diese Technologie tatsächlich dienen soll.