Aktuelle Projekte

Die Vielfältigkeit der Aufgaben, damit verbundenen Spannung und Mengen von Informationen mit denen medizinischen Personal in der OP konfrontiert ist, ist enorm und diese Faktoren beeinflussen maßgeblich die Leistungsfähigkeit der OP-Teams. Moderne KI-Ansätze können eine Antwort zu der Herausforderung darstellen. Um die Ermüdung und die kognitive Last von OP-Teams zu reduzieren und die Qualität medizinischer Eingriffe signifikant zu verbessern, wurde das Projekt DIGITAL SCRUBS gegründet. Das interdisziplinäre Konsortium aus semvox GmbH, abat+ GmbH, ZeMA GmbH und nexus Institut für Kooperationsmanagement und interdisziplinäre Forschung GmbH, will mit einem neuroergonomischen Aufmerksamkeitsassistenzsystem die Mensch-Technik-Interaktion in OP-Sälen erforschen, entwickeln und evaluieren.

Auf Basis von semvox‘ geni:OS-Plattform, wird DIGITAL SCRUBS als Technologie-Demonstrator mit neuroergonomischer Evaluationsplattform in einem dezidierten, vernetzen OP-Saal dauerhaft installiert. Die Forschungshypothese ist, dass sich in 2 OP Use-Cases aus der Gefäß- und Neurochirurgie eine Reduktion des Cognitive Load/Fatigue durch das Aufmerksamkeitsassistenzsystem anhand von objektiven, psychophysiologischen sowie psychometrischen Messdaten des OP-Teams nachweisen lässt und dies mit einer Reduktion von OP-Fehlern/Dauer bzw. einer Verbesserung der OP-Qualität einhergeht.

Dieses personalisierte, interaktive KI-Assistenzsystem nutzt hierbei die erweiterte Realität von drei Sinnesmodalitäten (Sehen, Hören und Fühlen) aller Mitglieder des OP-Teams. Durch eine generische Schnittstelle bietet es dem:der Nutzer:in eine vertraute Mensch-Maschine-Schnittstelle für eine Vielzahl von vernetzten OP-Systemen. Abhängig von der jeweiligen Aufgabe/Tätigkeit sowie der individuellen kognitiven und emotionalen Verfassung werden relevante Informationen zur Optimierung des operativen Eingriffs selbstständig und kontextsensitiv über am Körper getragene Systeme zum multi- und kreuzmodalen Informationstransfer bereitgestellt.

Mit dem KI-Assistenzsystem selbst kann, neben der indirekten Steuerung über medizintechnische Systeme im OP-Saal, direkt über Sprache und Gestensteuerung mit haptischem Feedback interagiert werden. Die Einführung interpersoneller KI-Assistenz wird zu einer veränderten Dynamik innerhalb des OP-Teams führen. Um diesen Aspekt schon während der Entwicklung zu berücksichtigen bzw. zu optimieren, wird DIGITAL SCRUBS durch sozialwissenschaftliche, partizipative Technikforschung begleitet.

Die Forschungsabteilung von semvox wird im Konsortium Kompetenzen im Bereich Dialogmanagement und affektive Interaktion, mit Verwendung von regel- und statistisch basierten Methoden auf der Basis der eigenen geni:OS-Interaktionsplattform und der Sprachtechnologien (ASR, TTS) des semvox-Partners Cerence zum Einsatz bringen. Durch den Einsatz der geni:OS-Plattform, wird die dialogische Verarbeitungslogik für die affektive Interaktion in Operationsaal realisiert, die in dieser spezialisierten Ausprägung hierbei als geni:OS for Operation Room (geni:OS4OP) resultiert. semvox wird außerdem seine Kompetenz im Bereich der Intentionserkennung für MMI-Systeme und der nutzer- und situationsadaptiven Dialogsysteme einbringen.

Weitere Informationen: https://www.interaktive-technologien.de/projekte/digital_scrubs

Das Ziel des KARLI-Projekts ist die Entwicklung einer adaptiven, responsiven und levelkonformen Interaktion im Fahrzeug der Zukunft. Dafür werden in KARLI kundenrelevante KI-Funktionen entwickelt, die für unterschiedliche Stufen auf dem Weg zum automatisierten Fahrzeug (Automationslevel) Fahrerzustände erfassen und Interaktionen gestalten.

Diese KI-Funktionen werden in KARLI aus empirischen und synthetisch erzeugten Daten entwickelt. Die Daten werden in KARLI so erhoben und verwendet, dass die Projektergebnisse skalierbar auf zukünftig verfügbare Big Data aus Serienfahrzeugen sind.

Im Projekt KARLI wird die Forschungsabteilung von semvox auf Basis der eigenen Interaktionsplattform geni:OS und Sprachtechnologie-Kompetenzen (ASR, TTS) im Bereich Dialogmanagement und affektive Interaktion, unter Einsatz von regelbasierten und statistischen Methoden einbringen.

Zur Webseite des KARLI – Projektes

Das Verbundprojekt "MITHOS" (Mixed-Reality Interaktives Training zum Umgang mit Heterogenität und Konfliktsituationen in der Schule) erforscht und entwickelt ein Mixed-Reality-System für den Erwerb sozio-emotionaler Kompetenzen. Das Training basiert auf einer neuartigen Kombination von VR- und Sensortechnologien und Methoden zur Simulation interaktiver virtueller Agenten. Es hat das Ziel, Lehrpersonal an Schulen für den Umgang mit herausfordernden sozialen Situationen zu rüsten.

In einem beispielhaften Szenario steht eine Lehrperson in einer virtuellen Umgebung Schülern gegenüber, die vom System simuliert und als virtuelle Agenten dargestellt werden. Sie verfügen etwa über unterschiedliche sprachliche und kulturelle Voraussetzungen, oder Förderschwerpunkte im Bereich Sprache und/oder emotionale Entwicklung. Die Lehrperson übt, mit verschiedenen (simulierten) Herausforderungen umzugehen, wie etwa Aggressionen gegenüber Mitschülern, Rückzug aus dem Unterrichtsgeschehen, Ablehnung des Arbeitsauftrags oder Aufmerksamkeitssuche. Das System evaluiert die Konfliktbewältigung durch die Lehrperson anhand der Sprache und anderer Signale und ist in der Lage, über einen virtuellen Agenten (Tutor) Hinweise zur Bewältigung der Situation zu geben.

Technisch soll der Demonstrator mehrere kommunikative Modalitäten vereinen: Die virtuellen Charaktere (Schüler und Tutor) zeigen non-verbales Verhalten (Gestik, Mimik) und sprechen zur Lehrperson, die sich ihrerseits sprachlich äußern kann und deren körperliches Verhalten mit geeigneter Sensorik verfolgt wird. Die verwendbare Sprache soll dabei möglichst frei sein – ohne Verwendung rigider Grammatiken.

Zur MITHOS-Projekt-Webeseite: MITHOS

Vergangene Projekte

Auf Initiative des Bundesministeriums für Bildung und Forschung ist semvox als Projektpartner an der Verbesserung von Montagearbeiten, Qualitätssicherung und Gesundheitsförderung im Bereich Industrie 4.0 beteiligt.

Das Projekt zur Synchronisierung von Digitalisierung, Qualitätssicherung und Assistenzsystemen (SynDiQuAss) soll insbesondere mittelständischen Unternehmen dienen, welche aufgrund der Konkurrenz mit der Großindustrie oftmals auf eine stärkere Flexibilisierung der Produktion angewiesen sind, denen jedoch die finanziellen Mittel für den Erwerb des Know-Hows und die Umsetzung von Automatisierungsmaßnahmen fehlen.

Ziel des Forschungsprojektes SynDiQuAss ist es, ein standardisiertes Vorgehen zur Gestaltung von Arbeitsplätzen zu entwickeln und Arbeitsgänge mit geringem Automatisierungsgrad effizienter durchzuführen.

Gemeinsam mit Partnern aus Industrie und Forschung ist semvox an der Entwicklung eines multimodalen Assistenzsystems für Arbeits- und Montageanweisungen beteiligt. Dieses soll es ermöglichen, individuelle und kontextbasierte Benutzerprofile zu erstellen und auf den Monteur zugeschnittene Unterstützungsleistungen anzubieten. Um Best-Practice-Lösungen zu gewährleisten steht SemVox in enger Zusammenarbeit mit den beteiligten Industrieunternehmen und sorgt gemeinsam mit seinen Partnern für eine durchgehende Evaluation des Forschungsvorhabens.

Kennen Sie schon Paul, den aufmerksamkeitssensitiven Roboter? In Kooperation mit der Universität Bremen, dem Fraunhofer Institut und Mojin Robotics ist das Projekt ASARob entstanden. Ziel des Projektes ist es, einen Assistenzroboter zu entwickeln, der insbesondere im Rahmen der häuslichen Pflege eingesetzt wird. Neben kinematischen Fähigkeiten ist Paul, der Care-O-Bot®, mit Fähigkeiten zur Erfassung und Lenkung der Aufmerksamkeit von Nutzern ausgestattet. So soll er das Verhalten, Handeln sowie den sprachlichen Kontext der Nutzer erfassen und interpretieren, um eine Interaktion zwischen Mensch und Roboter zu ermöglichen. Auf Basis der semvox ODP S3-Plattform unterstützt semvox das Projekt mit der Verarbeitungslogik der Sprachdialoge und entwickelt neue Strategien für Interaktionen zwischen Mensch und Maschine. Bei der Realisierung des Systems kommen auch Lernverfahren aus der künstlichen Intelligenz (Machine Learning) zum Einsatz. Um die Aufmerksamkeit der Nutzer zu wecken und Reaktionen auf Verhaltensweisen auszulösen, ist der Roboter mit einem adaptiven Verhalten ausgestattet, welches im Laufe des Projektes einer kontinuierlichen Weiterentwicklung unterliegt.

Zum ASARob-Projekt: ASARob

Im Forschungsprojekt EmmA (Emotionaler mobiler Assistent) entsteht ein mobiles Assistenzsystem für Smartphones, das in der Lage ist, die Gefahr einer psychischen Erkrankung von Arbeitnehmern zu erkennen und fallspezifische präventive Ratschläge zum Umgang mit der Situation (z.B. am Arbeitsplatz oder im Privatleben) auszusprechen.
Ausgangspunkt ist eine multimodale Echtzeit-Sensoranalyse mit Hilfe von Smartphones, die physiologische und soziale Signale interpretiert. Darauf aufbauend wird ein sozio-emotionales Verhaltensmodell entwickelt und an einen virtuellen Avatar gekoppelt, der die Situation der Betroffenen analysiert und sie durch individuelle Empfehlungen unterstützt.

semvox ist im Projekt für die Abbildung der kompletten Interaktionsdialoge, die Untersuchung der emotionalen Zustände sowie eines entsprechenden adaptiven Verhaltens verantwortlich. Gemeinsam mit den Projektpartnern Charamel GmbH, WIPS GmbH, dem Deutschen Forschungszentrum für Künstliche Intelligenz sowie der Universität Augsburg setzt sich semvox dafür ein, der Gefahr psychischer Erkrankungen durch einen intelligenten Assistenten entgegen zu wirken. Dieser soll auch ohne den Einsatz geschulten Fachpersonals zur Gefährdungsbeurteilung für psychische Erkrankungen sowie zur Vermittlung entsprechender Gegenmaßnahmen eingesetzt werden.

Zur Projekt-Webseite

Im Verbundprojekt PDExergames befassen sich die beteiligten Forschungspartner mit den kognitiven und physischen Einschränkungen, die durch Morbus Parkinson (engl. PD - Parkinson’s Disease), eine der häufigsten neurologischen Erkrankungen, entstehen. Durch PDExergames leisten die Partner einen wichtigen Forschungsbeitrag im Rahmen der nicht-pharmakologischen Therapiekonzepte. So sollen neue sprach- und gestenbasierte Interaktionskonzepte, sensorbasierte Steuerungscontroller als auch Datenanalysekonzepte entstehen.

Die PDExergames lassen sich als spielerische, nicht-medizinische Trainingskonzepte beschreiben, die die geistige und motorische Aktivität von Parkinson-Patienten erhalten sollen. Auf diese Weise werden Bewegungs- und Kognitionsaspekte im Rahmen von Spielen miteinander vereint.

Mit semvox ODP S3 bringt semvox das langjährige Know-How in sprachbasierten Dialogverfahren ein und trägt zur multimodalen Unterstützung der Betroffenen bei. Durch das Projekt sollen darüber hinaus neue Erkenntnisse für sprachbasierte Health-IT-Lösungen gewonnen werden.

Zum Projekt: PDExergames

Kontakt