Feasibility Analysis for Automation and Assistance Systems of Trams

Application of Assistance Systems to Trams

The automation of trams is a comparably young field of development but becomes more and more important regarding safety and efficiency.

Since the end of 2017, automated and teleoperated driving of tramways has been researched at the Institute of Automotive Engineering (FZD) of Technische Universität Darmstadt in cooperation with the local transport company HEAG mobilo GmbH as well as other industry partners.

In the course of the MAAS project, it is investigated which technologies from other domains, such as the automotive sector, can be transferred to tramway operation. The focus hereby lies on machine environment perception using the system-inherent lane guidance and on the identification of the teleoperation.

This directly motivates the following key questions:

Which functions can be realized with the current technologies of machine perception?

Are these sufficient for a high degree of driving automation?

What can be adopted for future assistance systems?

To answer these questions and to explore the technological limits, a prototype for automated and teleoperated driving is built within this feasibility study. To begin with, the prototype will only collect sensor data and experience values. Based on these, the existing technologies are evaluated in a virtual environment. Automated or teleoperated drives are not conducted as part of the normal line operation. At a later stage, special test drives on the aspect of teleoperation are planned.

The MAAS project should take the first steps towards the automation and teleoperation of tramways. Its goal is to scientifically identify the possibilities and limitations of automating tramways. MAAS does not aim to develop a series product for automated tramways. As it is foreseeable that the complete automation of the driving task is a long-term project, possible functions that can assist the tram driver in the short term should be derived towards the end of the project.

The abbreviation MAAS stands for: Feasibility Study for the Automation and Assistance Systems of Tramways (from the German phrase: Machbarkeitsstudie zur Automatisierung und Assistenzsystemen der Straßenbahnen).

The Institute of Automotive Engineering of the Technische Universität Darmstadt and the HEAG mobilo GmbH jointly research possibilities for automated and teleoperated driving in the course of a research cooperation. Additionally, the project is supported by industry partners.

An automation of tramways could benefit passengers through an improved transport offer, especially in peripheral areas and at peripheral times. Furthermore, derived assistance systems such as an emergency braking system should improve traffic safety.

The original project duration from 01.11.2017 to 30.04.2021 was extended to 31.12.22.

No. All sensors are tested and are already being deployed in traffic for series or prototype applications.

A completely driverless operation of tramways in all situations is not yet in sight. Besides the open question regarding the safety approval, which is relevant for all fields of automated driving, the partially high complexity of urban traffic conditions requires further research and development effort.

Teleoperation describes the possibility of operating a machine from afar. As an addition to automation, teleoperation is also scientifically investigated in the course of this project. There are many reasons for teleoperation as an extension to automation: An automation will always drive particularly defensive and will not be able to handle every situation on its own, especially at the beginning of its introduction. The help of a human will still be required. If the system cannot predict the driving trajectory to be free of obstacles with great certainty, an automatic stop is triggered. If for example an empty shopping bag lying on the tracks were detected as an obstacle, the tramway would come to a stop. In this case, a specially trained employee of the transport company could take over control of the tramway for a short time via teleoperation.

The MAAS project does not develop a series product for the automation of tramways but with it the basic questions and limitations of the automation are revealed. Furthermore, due to the complexity and the required approval, there is still a long way to go before automating tramway operation. Also, operation would not be switched in a revolutionary manner, but gradually. Should in a few years the first tramways be operated automatedly, this would require new employees especially in the control center and for teleoperation. Due to additional mobility services that have then become economically feasible, the number of workplaces in local public transport companies could even increase, they will only offer different tasks than today.

eleoperation holds a special place in the automation process of road vehicles. It is applied when an automated vehicle reaches its capability limits. The teleoperation system, consisting of the vehicle, a communication technology and an operator workstation, has to be designed under a variety of aspects. In order to be able to make a statement about the quality of the overall system, metrics are required. Based on a requirements and system analysis, quality criteria are determined and metrics and associated test methods are derived. Within the research project MAAS this process is applied to a teleoperation system with the vehicle of a tram. However, the aim of the research work is to make the metrics and test methods transferable to other road vehicles. With the developed method, different teleoperation systems can be compared in the future and respective deficits can be identified.

This topic is researched by Patrick Pintscher.

For the development of automated trams, knowledge of the requirements for the environment perception is necessary in order to design them in a demand-oriented and functionally sufficient way. However, due to the movement in an open world, these requirements are complex and therefore cannot be determined directly. In this research plan, the requirements for the environment perception are therefore first identified from boundary conditions such as legal and normative requirements as well as generally valid rules. These initially abstract requirements will then be concretized in empirical field tests. In addition, further requirements are identified by a machine evaluation of the environment in regular traffic. Based on this, a methodology is developed that enables the verification of the fulfillment of the perception requirements. The metrics developed in the methodology can thus be used to evaluate a concrete product or prototype for automated driving of trams with regard to the degree of fulfillment of the identified requirements. Thus, the maturity level of the environment perception can be determined and possible weaknesses of a sensor design or of perception algorithms can be identified.

This topic is researched by Timm Ruppert.

The following frequently asked questions concern data protection of the MAAS Project. As the project is hosted in Germany, all relevant questions are answered in German language.

Die Erhebung der Daten erfolgt durch das Fachgebiet Fahrzeugtechnik der Technischen Universität Darmstadt.

Verantwortliche im Sinne des Art. 13 DSGVO ist:

Technische Universität Darmstadt, vertreten durch die Präsidentin

Professor Dr. Tanja Brühl

Karolinenplatz 5

64289 Darmstadt


Datenschutzbeauftragter der Technischen Universität Darmstadt

Karolinenplatz 5

64289 Darmstadt


Den Datenschutzbeauftragten der Technischen Universität Darmstadt erreichen Sie außerdem unter www.tu-darmstadt.de/datenschutz

Die Daten werden zur Grundlagenforschung im Bereich des automatisierten und teleoperierten Fahrens von Straßenbahnen erhoben. Die Forschung erfolgt nach § 24 HDSIG und Art. 6 Abs. 1 e DSGVO. Weitere Rechtsgrundlagen sind: §§ 3 | 4 | Nr. 1 HDSIG.

Es werden keine personenbezogenen Daten an Dritte weitergegeben. Ausgewählte Datensätze werden in anonymisierter Form mit am Projekt beteiligten Partnern aus Industrie und Wissenschaft, die an vergleichbaren Themenstellungen arbeiten, geteilt. Auch im Falle eines Unfalls/Straftat werden die Daten aufgrund des Datenschutzes nur auf richterliche Anordnung mit den zuständigen Behörden geteilt.

Die Daten werden so lange gespeichert, wie diese in Forschung und Entwicklung der Umfeldwahrnehmung für Straßenbahnen zu Trainings- und Validierungszwecken erforderlich sind und verwendet werden. Spätestens zum Ende des Projektes werden alle personenbezogenen Daten gelöscht.

Recht auf Auskunft, Berichtigung, Einschränkung, Datenübertragbarkeit, Widerspruch: Da wir innerhalb der personenbezogenen Daten keine Identifikation, Erkennung oder Zuweisung von erfassten Personen vornehmen, können wir Ihnen auch nicht mitteilen, ob Sie gefilmt worden sind oder nicht. Daher sind auch keine Änderungen an den Daten oder deren Verwendung möglich.

Recht auf Löschung: Aus den oben angeführten Gründen ist auch keine vorzeitige Löschung möglich. Die Löschung ganzer Datensätze erfolgt in jedem Fall nach der Zweckerfüllung der Forschung, weshalb das „Recht auf Vergessenwerden“ nach DSGVO Artikel 17 Abs. 3 lit. d für die Dauer der Forschung zur Verwirklichung der Ziele eingeschränkt ist. Vergleichen Sie auch den Abschnitt „Kann ich mich aus den Daten löschen lassen?“

Nein: Das Projekt MAAS erhebt und nutzt die Daten ausschließlich zur Erforschung und Unterstützung von (teil-)automatisierten Fahrfunktionen. Daten werden nicht genutzt, um Personen, Kennzeichnen o.ä. zuzuordnen oder gar zu identifizieren. Es liegt weder in unserem Interesse, Merkmale auszuwerten, die zu einer Identifikation genutzt werden könnten, noch die Daten mit Datenbanken oder Personenbeschreibungen abzugleichen.

Ein Mitarbeiter des Fachgebietes Fahrzeugtechnik oder ein das Projekt unterstützender Studierender kann bei Bedarf vereinzelte Abschnitte der Daten zu Forschungszwecken einsehen – der größte Anteil der Daten wird jedoch nur vom Computer, ohne menschliches Betrachten der Daten, verarbeitet. Die entsprechenden Mitarbeiter und Studierenden sind zur Verschwiegenheit und Geheimhaltung des Gesehenen verpflichtet.

Nein: Das heutige Verkehrskonzept ist vollständig auf die visuelle Wahrnehmung (z. B. Lichtsignalanlagen, Verkehrszeichen) durch den Menschen ausgelegt. Um diese Informationsquellen auch von automatisierten Systemen zu erfassen und zu verarbeiten sind Kameras unersetzlich.

Im Rahmen des Projektes werden zur Erforschung und dem Nachweis der Funktion die Daten von Radar-, Lidar-, Ultraschallsensoren, GNSS-Positionsdaten sowie Videodaten von Kameras erhoben.

Nein: Das Projekt MAAS fokussiert sich auf die Erfüllung bzw. die Unterstützung bei der Bewältigung der Fahraufgabe. Aus diesem Grund werden nur Kameras eingesetzt, die das fahrrelevante Umfeld der Straßenbahn erfassen. Eine Erfassung des Innenraums erfolgt nicht. Die von der HEAG mobilo GmbH im Innenraum eingesetzten Kameras dienender Fahrgastsicherheit und sind nicht Teil des Projektes MAAS und somit auch nicht an das Messsystem angeschlossen.

Die Daten werden entsprechend dem Stand der Technik bereits bei der Aufnahme digital verschlüsselt und zusätzlich mechanisch vor unbefugten Zugriffen in der Straßenbahn geschützt. Innerhalb von wenigen Tagen werden die verschlüsselten Daten durch den Ausbau der Datenträger von Mitarbeitern des Fachgebietes auf den fachgebietsinternen Speicher übertragen. Dort werden sie im Rahmen der Funktionsentwicklung und Funktionsprüfung zu Forschungszwecken hinsichtlich des automatisierten und assistierten Fahrens genutzt. Dabei werden verschiedene Methoden wie beispielweise das datengetriebene maschinelle Lernen eingesetzt. Dabei kann ein Mitarbeiter des Fachgebietes Fahrzeugtechnik oder ein das Projekt unterstützender Studierender bei Bedarf vereinzelte Abschnitte der Daten zu Forschungszwecken einsehen – der größte Anteil der Daten wird jedoch nur vom Computer, ohne menschliches Betrachten der Daten, verarbeitet. Die entsprechenden Mitarbeiter und Studierenden sind zur Verschwiegenheit und Geheimhaltung des Gesehenen verpflichtet.

Es werden keine personenbezogenen Daten veröffentlicht. Sollen zur Anschauung in wissenschaftlichen Beiträgen auf geeigneten Plattformen einzelne Ausschnitte oder Standbilder gezeigt werden, so werden die Daten im Vorfeld anonymisiert (bspw. Verpixelung von Kennzeichen und Gesichtern).

Personenbezogene Daten werden während den Aufnahmen für wenige Tage in der Straßenbahn gesichert. Dort werden Sie bereits beim Speichervorgang verschlüsselt und sind auch mechanisch vor unbefugtem Zugriff geschützt. Im Anschluss an die Datenerhebung werden die Daten von Mitarbeitern des Fachgebietes Fahrzeugtechnik durch den Ausbau der Datenträger aus der Straßenbahn auf den internen Datenspeicher des Fachgebietes Fahrzeugtechnik übertragen. Auch dort sind die Daten weiterhin verschlüsselt. Es erfolgen keine weiteren Kopien von personenbezogenen Daten auf externen Speichermedien, USB-Sticks oder ähnlichen Datenträgern.

Ja: Sowohl in der Straßenbahn wie auch auf dem Server des Fachgebietes werden die Daten verschlüsselt gesichert.

Nein: Sowohl aus wissenschaftlicher Sicht als auch datenschutzrechtlicher Sicht nehmen wir keinerlei Identifizierung oder Zuordnung von Personen vor. Wir gleichen die Daten nicht mit Datenbanken, Gesichtserkennungssoftware, Personenbeschreibungen oder ähnlichem ab. Daher bitten wir Sie auch um Verständnis, dass wir Sie nicht zuordnen und somit eine gezielte Löschung unmöglich ist. Eine pauschalisierte Löschung ganzer Datenabschnitte kann nicht vorgenommen werden, da diese unweigerlich dazu führen würde, dass das Forschungsvorhaben entsprechend DSGVO Artikel 17 Abs. 3 lit. d nicht umgesetzt werden könnte. Die untersuchten Algorithmen und Funktionen wären bei gelernten Verfahren nicht gleichwertig und zusätzlich nicht wissenschaftlich eindeutig vergleichbar, wenn sie immer mit anderen oder reduzierten Datenabschnitten getestet werden müssten.

Nein: Die personenbezogenen Daten werden ausschließlich zu den oben genannten wissenschaftlichen Forschungszwecken verwendet. Die HEAG mobilo GmbH hat als Betreibergesellschaft der Straßenbahn ebenfalls keinen Zugriff auf die Daten. Darüber hinaus werden personenbezogene Daten nur auf richterlichen Beschluss an Dritte weitergegeben.

Sollten Sie noch Fragen haben, so können Sie sich gerne, bevorzugt per E-Mail, an die projektbeteiligten Mitarbeiter des Fachgebietes Fahrzeugtechnik wenden.

Timm Ruppert maas@fzd.tu-darmstadt.de Tel: 06151-1624232

Patrick Pintscher maas@fzd.tu-darmstadt.de Tel: 06151-1624231