KI macht wissenschaftliche Exzellenz einfacher messbar und unterstützt die Kandidatenauswahl in Forschung und Lehre im Industrie 4.0-Umfeld

Berlin, 22. September 2022

Im Projekt Evalitech untersuchten das Deutsche Forschungszentrum für Künstliche Intelligenz (DFKI) und das Fraunhofer-Institut für Materialfluss und Logistik (IML), wie man mit Hilfe von Künstlicher Intelligenz Berufungsverfahren für Führungspositionen (Lehrstühle und Institutsleitungen) optimieren kann. Dabei wurde die bisherige Indikatorik für die Technikwissenschaften und speziell für Industrie 4.0 angepasst und ergänzt. Diese Ergebnisse liegen nun als Bericht vor, der vom Forschungsbeirat der Plattform Industrie 4.0 und acatech – Deutsche Akademie der Technikwissenschaften herausgegeben wurde.

Die Kandidatenauswahl für Führungspositionen in den Technikwissenschaften, speziell im Umfeld von Industrie 4.0, ist komplex. Herkömmliche publikationsbasierte Metriken in Berufungsverfahren an Universitäten und Forschungsinstituten werden der Komplexität nicht gerecht: Noch immer stützt sich die Bemessung wissenschaftlicher Leistungen überwiegend auf die weltweite Wahrnehmung von Wissenschaftlerinnen und Wissenschaftlern in Fachkreisen mit Hilfe von bibliometrischen Indizes. Dazu gehört der h-Index, der lediglich die Anzahl von Zitationen von Publikationen der Wissenschaftlerin oder des Wissenschaftlers in anderen Veröffentlichungen berücksichtigt.

Deswegen legte das Projekt Evalitech im Frühjahr eine Machbarkeitsstudie vor, die neben einer neuen Indikatorik für Industrie 4.0, auch eine Abschätzung der Automatisierbarkeit durch aktuelle KI-Methoden (Web Scraping, Text Mining, etc.) sowie eine pilotartige Implementation in Form einer funktionalen Webapplikation, mit verschiedenen innovativen Interaktionskonzepten enthält.

Mit Evalitech präsentieren wir erstmals eine differenzierte
und speziell an den Bedarfen für Führungspositionen im Forschungsumfeld von Industrie 4.0 ausgerichtete
Indikatorik. Sie beruht auf 7 Oberkategorien, 21 Kriterien
und 41 Teilkriterien. Diese haben wir zusammen mit
erfahrenen Technikwissenschaftlern erarbeitet. Meine
ersten praktischen Erfahrungen mit Evalitech sind positiv.
Ein darauf aufbauendes Softwarewerkzeug könnte die
Arbeit von Auswahlkommissionen systematisch
unterstützen.

Wolfgang Wahlster (DFKI), Mitglied des Forschungsbeirats der Plattform Industrie 4.0

Unser Ziel war es, wissenschaftliche Exzellenz einfacher messbar zu machen – und zwar mit einem speziellen
Fokus auf Technikwissenschaften und den hier
stattfindenden Transfer von Forschungsergebnissen
in Unternehmen und ihre Umsetzung in Form von
Innovationen. Verbreitete Ansätze wie g- und h-Index
sind dazu nicht in der Lage. Durch das Evalitech-Projekt
und die hier entwickelte flexible Metrik sind wir
unserem Ziel einen bedeutenden Schritt nähergekommen.

Michael ten Hompel (Fraunhofer IML), Mitglied vom Forschungsbeirat der Plattform Industrie 4.0

Im Projekt Evalitech konnte exemplarisch der Mehrwert der neuen Indikatorik sowie einer multidimensionalen Darstellung und einer an die jeweilige Stellenausschreibung angepassten Gewichtung der Kriterien aufgezeigt werden. Aufbauend auf den Ergebnissen soll im nächsten Schritt ein transparentes und öffentliches Portal aufgebaut werden, in dem Bewerber-Profile manuell ergänzt und automatisiert durchsucht werden können. Bei Kriterien, die nicht automatisiert ermittelt werden können, sollte das Evalitech-Portal durch die Option zur Selbstauskunft eine Kontrolle und Nachvollziehbarkeit der Daten ermöglichen. Die Datengrundlage soll durch das System auf diese Weise transparent gemacht werden, so dass das Entscheidungsgremium die Vertrauenswürdigkeit der extrahierten Information prüfen und einschätzen kann. Bei vielen Berufungsverfahren sind in der Vorauswahl Kandidatinnen und Kandidaten bisher aufgrund fehlender Information zu relevanten Kriterien nicht berücksichtigt worden. Hier kann eine automatisierte Informationsextraktion aus öffentlich zugänglichen digitalen Quellen, wie bei Evalitech vorgesehen, eine zusätzliche Hilfe darstellen.

Im Projekt arbeiteten das Deutsche Forschungszentrum für Künstliche Intelligenz (DFKI) und das Fraunhofer-Institut für Materialfluss und Logistik (IML) zusammen, unterstützt durch die Ubermetrics Technologies GmbH als industriellen Verbundpartner und Dienstleister. Wolfgang Wahlster, Gründungsdirektor des Deutschen Forschungszentrums für Künstliche Intelligenz (DFKI), und Michael ten Hompel, geschäftsführender Institutsleiter des Fraunhofer IML, die das Evalitech-Projekt mit Unterstützung des wissenschaftlichen Beirats der Plattform Industrie 4.0 und acatech, der Deutschen Akademie der Technikwissenschaften, initiiert haben, betonen den herausragenden Stellenwert von Evalitech für die Technikwissenschaften.

Das Projekt wurde vom Bundesministerium für Bildung und Forschung (BMBF) gefördert (Förderkennzeichen 02P17D262).