1. Objektive Hörsystemanpassung auf Basis ohrnaher kortikaler Signale
Das Projekt zielt darauf ab, eine objektive Methode zur Anpassung und zukünftig auch zur automatisierten Anpassung von Hörgeräten zu entwickeln, indem kortikale Reaktionen auf Sprache analysiert werden. Eingehende Sprachsignale rufen messbare kortikale Repräsentationen hervor, die für das Verständnis notwendig, aber allein nicht ausreichend sind. In diesem Projekt werden die kortikalen Reaktionen auf Sprache mittels Elektroenzephalographie (EEG) erfasst. Es werden zwei alternative Repräsentationen von Sprache – die Spracheinhüllende und ein Mel-skaliertes Spektrogramm – hinsichtlich ihrer Wirksamkeit zur Vorhersage der individuellen Sprachverständlichkeit verglichen. Das Mel-Spektrogramm, das Merkmale wie Grundfrequenz und Formanten erfasst, hat sich bei der Unterscheidung von Sprachreizen als vorteilhaft erwiesen. Die Studie umfasst sowohl Personen mit normalem Hörvermögen als auch Hörgerätnutzer*innen und korreliert das subjektive Sprachverständnis unter verschiedenen Anpassungsbedingungen mit objektiven EEG-Messungen. Entscheidend ist, dass herkömmliche EEG-Kappen mit 32 bis 64 Elektroden mit einem reduzierten, ohrnahen Elektrodenarray (z. B. cEEGrid) verglichen werden, um die Machbarkeit eines praktikablen, tragbaren Systems zu prüfen.
2. Vom Signal zur Kommunikation: VLA-basierte Kommunikation mit einem humanoiden Roboter unter simulierten Hörbeeinträchtigungen
Dieses Projekt adressiert die Herausforderung, medizinisches Personal und Pflegekräfte effektiv darauf vorzubereiten, mit Menschen mit Hörbeeinträchtigungen zu kommunizieren. Derzeit ist systematische Schulung nur mit tatsächlich hörbeeinträchtigten Personen möglich. Dieses Projekt entwickelt einen Simulator, der den humanoiden Roboter Ameca und ein virtuelles Avatar-Modell nutzt, um eine Person mit unterschiedlich stark ausgeprägter Hörbeeinträchtigung darzustellen. Dazu sollen das über Mikrofone aufgenommene Sprachsignal (1) mittels parametrisierbarer hörverlustspezifischer Filterungen transformiert, (2) über unterschiedliche Automatic-Speech-Recognition-(ASR)-Modelle in Text umgewandelt und (3) dieser als Input für ein Large Language Model (LLM) und zur Generierung einer Antwort genutzt werden. Ein innovativer Aspekt ist die Integration des visuellen Kanals (Lippenbewegungen, Gesten) über Vision-Language-Action (VLA)-Modelle, um die eingeschränkte akustische Bandbreite auszugleichen. Das Projekt liefert wertvolle Erkenntnisse für die Entwicklung inklusiver und empathischer Kommunikationssysteme bzw. um visuelle Sensoren ergänzter Hörsysteme. Der Demonstrator kann zudem als Ausbildungssystem für verschiedene Zielgruppen eingesetzt werden, beispielsweise für Berufsgruppen aus den Bereichen Pflege und Medizin, Sonderpädagogik sowie Hörakustik, aber auch für die breite Öffentlichkeit, um über Höreinschränkungen aufzuklären. Durch die Übertragung der Konzepte auf Avatare ist zudem eine Skalierbarkeit möglich.
3. Hearable-Tracking des kommunikativen Alltags: Ein Hearable-System zur Erfassung von Kommunikationsaufwand (Sprechen und Zuhören) im realen Lebenskontext
Dieses Projekt zielt darauf ab, ein auf Hearables basierendes System zu entwickeln, das die tägliche Kommunikation kontinuierlich erfasst und analysiert und sowohl Sprech- als auch Höranstrengung in realen Alltagssituationen quantifiziert. Mit Hilfe von Biosensoren erfasst das System die akustische Umgebung, um Sprache, Geräusche und Stille zu segmentieren, und identifiziert wiederkehrende Gesprächspartner, um die Vielfalt sozialer Netzwerke abzuschätzen. Um die Höranstrengung zu bewerten, wird neuronale Sensing-Technologie (z. B. mobile EEG) eingesetzt, um vorherzusagen, wann eine Person aktiv einem Sprecher zuhört. Wesentliche methodische Fragen betreffen die Sensorwahl, die Nutzung von Kontextinformationen zur Verbesserung der Genauigkeit, die Verarbeitung von Daten direkt am Gerät zur Wahrung der Privatsphäre sowie die Entwicklung von Metriken zur Erkennung von „Kommunikationsentzug“ (d. h. sozialer Isolation oder Rückzug). Das System integriert multimodale Biosignal- und Kontextdaten (Audio, Bewegung, Umgebungsgeräusche) mittels maschinellen Lernens, um individuelle Kommunikationsmodelle und Profile zu erstellen.
4. Wertesensible Gestaltung von Hearables
Dieses Projekt befasst sich mit den ethischen Aspekten zunehmend multifunktionaler Hearables, die über die reine Hörhilfe hinaus Gesundheitsmonitoring, Pflegekoordination und Kommunikation ermöglichen. Obwohl diese Funktionen Vorteile bieten, werfen sie auch Bedenken hinsichtlich Datenschutz, Versorgung und Gerechtigkeit auf. Mit einem wertesensiblen Design-Ansatz werden ethische Werte systematisch identifiziert und in den Entwicklungsprozess der Technologie integriert. Die Arbeit gliedert sich in drei Schritte: (1) eine systematische Literaturanalyse ethischer Überlegungen in der Forschung zu Hearables zur Erstellung eines theoretischen Rahmens; (2) qualitative Interviews und Ethnographie mit Stakeholdern (Nutzer*innen, pflegende Angehörige und professionell Pflegende), um deren Werte und Bedenken zu verstehen; und (3) wertorientierte Co-Design- und Prototyping-Workshops, um Erkenntnisse in konkrete Gestaltungsempfehlungen umzusetzen. Besonderer Fokus liegt auf den relationalen Aspekten der Pflege in ambulanten Kontexten.
5. Monitoring der Höranstrengung und physiologischer Stressreaktionen von Hearables im Alltag
Dieses Projekt zielt darauf ab, den Gesamtstresslevel von Nutzer*innen von Hearables zu überwachen, wobei besonderes Augenmerk auf Stress durch Höranstrengung im Alltag liegt. Ziel ist es, zwischen veränderbarem Stress durch schlechte Klangwahrnehmung (der durch Anpassung der Algorithmen des Hearables reduziert werden kann) und nicht veränderbarem allgemeinen Stress durch andere Faktoren zu unterscheiden. Das Projekt kombiniert physiologische Sensing-Technologien auf Basis von Hearables (z. B. EEG-Biomarker für Stress) mit Echtzeit-Modellen zur Vorhersage der Höranstrengung. Die Studien werden von kontrollierten virtuellen Realitätsbedingungen über überwachte Soundwalks hin zu unüberwachten Alltagsnutzungen fortschreiten. Das System protokolliert akustische Merkmale (z. B. Anzahl der Sprecher, Art des Geräusches), ohne Audio aufzuzeichnen, während das Modell zur Höranstrengung validiert und weiter verfeinert wird.