Universität Bonn: Autonomous Intelligent Systems Group   Computer Science Institute VI: Autonomous Intelligent Systems

Verbundprojekt: Unterstützendes Monitoring bei Drehleitereinsätzen zur Brandbekämpfung mittels IR-Bildern (UMDenken)
Teilvorhaben: Autonomer Flugroboter zur Löschunterstützung

UMDenken Logo      Gefördert vom Bundesministerium für Bildung und Forschung (BMBF)Förderkennzeichen: 13N16811

Im BMBF-geförderten Projekt UMDenken arbeiten wir an der Realisierung eines autonomen Flugroboters zur Löschunterstützung. Ein Flugroboter soll GNSS-gestützt die Umgebung erkunden und Hitzequellen verorten, um damit die Grundlage für das teilautonome Löschen mit dem Löschmonitor der Drehleiter zu schaffen und einen effektiveren Löschangriff zu ermöglichen. Der Multikopter wird über eine Funkschnittstelle mit einem Steuercomputer verbunden. Für diesen sollen Methoden zur visuell-inertialen simultanen Lokalisierung und Kartierung (SLAM) für Thermalkameras erforscht und GNSS-gestützt durch Geoinformationen initialisiert werden. Des Weiteren sollen Verfahren zur Planung von Beobachtungsposen und Navigation erarbeitet werden, um die erfolgreiche Verortung der ausgewählten Hitzequelle und die Sichtbarkeit des Wasserstrahls während des Löschens zu gewährleisten und das Umgebungsmodell beim autonomen Wechsel zwischen den Posen stetig zu aktualisieren. Die realisierten Funktionen sollen in relevanten Szenarien integriert, demonstriert und unter realistischen Bedingungen mit der Feuerwehr Dortmund evaluiert werden.

UMDenken Szenario

[Projektsteckbrief]


Kompetenzzentrum: Etablierung des Deutschen Rettungsrobotik-Zentrums
Teilvorhaben: Autonome Flugroboter-Schwärme zur Echtzeit-Lageerfassung

Autonome FlugroboterGefördert vom Bundesministerium für Bildung und Forschung (BMBF)  Förderkennzeichen: 13N16477

Im BMBF-geförderten Verbundprojekt "Kompetenzzentrum: Etablierung des Deutschen Rettungsrobotik-Zentrums" bearbeitet die Arbeitsgruppe Autonome Intelligente Systeme der Universität Bonn das Teilvorhaben "Autonome Flugroboter-Schwärme zur Echtzeit-Lageerfassung".
Mehrere heterogene Flugroboter sollen von einer kleinen Anzahl von Bedienern konfiguriert und überwacht werden können, um schnell ein detailliertes und aussagekräftiges Lagebild von Einsatzumgebungen zu erzeugen und live aufrechtzuerhalten und dadurch die Einsatzsteuerung zu verbessern. Kleine, leichte, preiswerte kommerzielle Multikopter sollen über eine Funkschnittstelle mit einem Steuercomputer verbunden werden. Für diesen sollen Methoden zur visuell-inertialen simultanen Lokalisierung und Kartierung (SLAM) und zur Planung dynamischer 3D-Trajektorien weiterentwickelt und effizient implementiert werden. Durch Zusammenführung der lokalen Umgebungsmodelle der einzelnen Flugroboter soll ein detailliertes und aussagekräftiges Lagebild erzeugt werden, dass nicht nur 3D-Geometrie und Farben modelliert, sondern auch Oberflächen kategorisiert, sowie detektierte Objekte, Personen und
Roboter mit deren Posen- und Geschwindigkeitsschätzungen und weitere einsatzrelevante Modalitäten wie Thermalbilder, Lebenszeichen-, Gas- oder Strahlungssensoren beinhaltet. Mehrere Flugroboter sollen so koordiniert werden, dass Explorations- und Beobachtungsaufgaben schnell und effizient umgesetzt werden. Weiterhin soll ein paarweises direktes Zusammenwirken von Flugrobotern sowie eine Kooperation mit Bodenrobotern realisiert werden. Für die intuitive Konfiguration und Überwachung des heterogenen Kopterschwarms sollen flexible und leistungsfähige Visualisierungswerkzeuge sowie Eingabeschnittstellen entwickelt werden. Weiterhin soll die bidirektionale Schnittstelle zum Einsatzleitwagen ausgebaut werden. Die entwickelten Funktionen sollen in relevanten Szenarien integriert, demonstriert und unter realistischen Bedingungen evaluiert, sowie über den DRZ e.V. an Anwender und Firmen transferiert werden.

Projektpartner:

Pressemitteilung zum Projektauftakt: Flugroboter-Schwärme unterstützen Einsatzkräfte


Publikationen

Hartmut Surmann, Kevin Daun, Marius Schnaubelt, Oskar von Stryk, Manuel Patchou, Stefan Böcker, Christian Wietfeld, Jan Quenzel, Daniel Schleich, Sven Behnke, Robert Grafe, Nils Heidemann, Dominik Slomma, and Ivana Kruijff-Korbayová:
Lessons from Robot-Assisted Disaster Response Deployments by the German Rescue Robotics Center Task Force
Journal of Field Robotics (JFR), Wiley, published online December 2023.
[arXiv:2212.09354]

Simon Bultmann, Jan Quenzel, and Sven Behnke:
Real-Time Multi-Modal Semantic Fusion on Unmanned Aerial Vehicles with Label Propagation for Cross-Domain Adaptation 
Robotics and Autonomous Systems, 159:104286, Elsevier, January 2023.


Aufbau Deutsches Rettungsrobotik-Zentrum (A-DRZ) (10/2018-09/2022)

Teilprojekt: Autonome Assistenzfunktionen für Flugroboter

Eröffnung des DRZ Living Lab Eröffnung des DRZ Living Lab 3D Lidar Point Cloud of the DRZ Living Lab

Im BMBF-geförderten Verbundprojekt Kompetenzzentrum: Aufbau des Deutschen Rettungsrobotik-Zentrums (A-DRZ) bearbeitet die Arbeitsgruppe Autonome Intelligente Systeme der Universität Bonn das Teilprojekt "Autonome Assistenzfunktionen für Flugroboter".
Ziel ist die Entwicklung von teilautonomen Flugrobotern für die schnelle Lageerkundung in Bereichen, die für Menschen unzugänglich oder gefährlich sind, wie beispielsweise nach einem Brand in einem einsturzgefährdeten Gebäude. Flugroboterplattformen sollen mit leistungsfähiger multimodaler Sensorik zur 3D-Umgebungserfassung und starken Bordrechnern zur Sensordatenverarbeitung und Navigationsplanung ausgestattet werden. Es sollen Methoden zur Registrierung und Aggregation der Messungen von 3D-Laserscannern weiter entwickelt und effizient implementiert werden. Auf der Grundlage der so erzeugten egozentrischen und allozentrischen 3D-Umgebungsrepräsentationen sollen Methoden zur lokalen Navigationsplanung und zur 3D-Trajektorienplanung in der Einsatzumgebung weiter entwickelt und implementiert werden. Die erzeugten Repräsentationen sollen bewegliche Objekte getrennt von der statischen Umgebung modellieren. Durch Kategorisierung von Oberflächen und Detektion anwendungsrelevanter Objekte sollen die 3D-Modelle mit semantischen Aspekten angereichert werden. Die entwickelten Methoden sollen auf mehreren Flugrobotern eines Herstellers in zwei verschiedenen Größen integriert und mit übergeordneten Softwarekomponenten verbunden werden, die einem oder mehreren Operatoren die Missionskonfiguration, -überwachung und -kontrolle von einem Leitstand aus erlauben. Das entwickelte Lageerkundungssystem soll in praxisnahen Szenarien erprobt werden.

Aerial Robot Sensors Person Detection and Semantic Segmentation

Projektpartner: 

Publikationen

Daniel Schleich and Sven Behnke:
Predictive Angular Potential Field-based Obstacle Avoidance for Dynamic UAV Flights
In Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Kyoto, Japan, October 2022.
[Videos]

Sebastian Schräder, Daniel Schleich, and Sven Behnke:
Two-step Planning of Dynamic UAV Trajectories using Iterative δ-Spaces
In Proceedings of 17th International Conference on Intelligent Autonomous Systems (IAS), Zagreb, Croatia, June 2022.

Marius Beul, Max Schwarz, Jan Quenzel, Malte Splietker, Simon Bultmann, Daniel Schleich, Andre Rochow, Dmytro Pavlichenko, Radu Alexandru Rosu, Patrick Lowin, Bruno Scheider, Michael Schreiber, Finn Süberkrüb, and Sven Behnke:
Target Chase, Wall Building, and Fire Fighting: Autonomous UAVs of Team NimbRo at MBZIRC 2020
Field Robotics, vol. 2, pp. 807-842, May 2022.

Ivana Kruijff-Korbayova, Robert Grafe, Nils Heidemann, Alexander Berrang, Cai Hussung, Christian Willms, Peter Fettke, Marius Beul, Jan Quenzel, Daniel Schleich, Sven Behnke, Janis Tiemann, Johannes Güldenring, Manuel Patchou, Christian Arendt, Christian Wietfeld, Kevin Daun, Marius Schnaubelt, Oskar von Stryk, Alexander Lel, Alexander Miller, Christof Roehrig, Thomas Straßmann, Thomas Barz, Stefan Soltau, Felix Kremer, Stefan Rilling, Rohan Haseloff, Stefan Grobelny, Artur Leinweber, Gerhard Senkowski, Marc Thurow, Dominik Slomma, and Hartmut Surmann:
German Rescue Robotics Center (DRZ): A Holistic Approach for Robotic Systems Assisting in Emergency Response
In Proceedings of 2021 IEEE International Symposium on Safety, Security, and Rescue Robotics (SSRR), New York, USA, October 2021.

Jan Quenzel and Sven Behnke:
Real-time Multi-Adaptive-Resolution-Surfel 6D LiDAR Odometry using Continuous-time Trajectory Optimization
In Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Prague, Czech Republic, September 2021.
[Video] [Source]

Daniel Schleich, Marius Beul, Jan Quenzel, and Sven Behnke:
Autonomous Flight in Unknown GNSS-denied Environments for Disaster Examination
In Proceedings of International Conference on Unmanned Aircraft Systems (ICUAS), Athens, Greece, June 2021.
[Videos]

Jan Quenzel, Malte Splietker, Dmytro Pavlichenko, Daniel Schleich, Christian Lenz, Max Schwarz, Michael Schreiber, Marius Beul, and Sven Behnke:
Autonomous Fire Fighting with a UAV-UGV team at MBZIRC 2020
In Proceedings of International Conference on Unmanned Aircraft Systems (ICUAS), Athens, Greece, June 2021.
[Videos]

Daniel Schleich and Sven Behnke:
Search-based Planning of Dynamic MAV Trajectories Using Local Multiresolution State Lattices
In Proceedings of IEEE International Conference on Robotics and Automation (ICRA), Xi'an, China, June 2021.
[Video]

Jens Behley, Martin Garbade, Andres Milioto, Jan Quenzel, Sven Behnke, Jürgen Gall, and Cyrill Stachniss:
Towards 3D LiDAR-based Semantic Scene Understanding of 3D Point Cloud Sequences – The SemanticKITTI Dataset
The International Journal of Robotics Research (IJRR), SAGE Publications, April 2021.

Radu Alexandru Rosu and Sven Behnke:
EasyPBR: A Lightweight Physically-Based Renderer
Accepted for 16th International Conference on Computer Graphics Theory and Applications (GRAPP), February 2021.
[Video] [Source] [Poster]

Marius Beul and Sven Behnke:
Trajectory Generation with Fast Lidar-based 3D Collision Avoidance for Agile MAVs
In Proceedings of IEEE International Symposium on Safety, Security, and Rescue Robotics (SSRR), Abu Dhabi, UAE, November 2020.
[Videos]

Christian Lenz, Max Schwarz, Andre Rochow, Jan Razlaw, Arul Selvam Periyasamy, Michael Schreiber, and Sven Behnke:
Autonomous Wall Building with a UGV-UAV Team at MBZIRC 2020
In Proceedings of IEEE International Symposium on Safety, Security, and Rescue Robotics (SSRR), Abu Dhabi, UAE, November 2020.
[Videos]

Marius Beul, Simon Bultmann, Andre Rochow, Radu Alexandru Rosu, Daniel Schleich, Malte Splietker, and Sven Behnke:
Visually Guided Balloon Popping with an Autonomous MAV at MBZIRC 2020
In Proceedings of IEEE International Symposium on Safety, Security, and Rescue Robotics (SSRR), Abu Dhabi, UAE, November 2020.
Best Paper Award.
[Videos]

David Marcel Droeschel:
Efficient Methods for Lidar-based Mapping and Localization
Dissertation, Mathematisch-Naturwissenschaftliche Fakultät, Universität Bonn, Oktober 2020.

Radu Alexandru Rosu, Peer Schütt, Jan Quenzel, and Sven Behnke:
LatticeNet: Fast Point Cloud Segmentation Using Permutohedral Lattices
In Proceedings of Robotics: Science and Systems (RSS), Oregon, USA, July 2020.
[Videos]

Jan Quenzel, Radu Alexandru Rosu, Thomas Läbe, Cyrill Stachniss, and Sven Behnke:
Beyond Photometric Consistency: Gradient-based Dissimilarity for Improving Visual Odometry and Stereo Matching
In Proceedings of IEEE International Conference on Robotics and Automation (ICRA), Paris, France, May 2020.
[Videos]

Radu Alexandru Rosu, Jan Quenzel, and Sven Behnke:
Semi-Supervised Semantic Mapping through Label Propagation with Semantic Texture Meshes
International Journal of Computer Vision (IJCV) 128(5):1220-1238, Springer, May 2020.

Jan Quenzel, Matthias Nieuwenhuisen, David Droeschel, Marius Beul, Sebastian Houben, and Sven Behnke:
Autonomous MAV-based Indoor Chimney Inspection with 3D Laser Localization and Textured Surface Reconstruction
Journal of Intelligent & Robotic Systems (JINT) 93(1): 317-335, Springer, February 2019.
[Video]

Nicola Krombach, David Droeschel, Sebastian Houben, and Sven Behnke:
Feature-based Visual Odometry Prior for Real-time Semi-dense Stereo SLAM
Robotics and Autonomous Systems (RAS), Elsevier, available online 2018.

Marius Beul, David Droeschel, Matthias Nieuwenhuisen, Jan Quenzel, Sebastian Houben, and Sven Behnke:
Fast Autonomous Flight in Warehouses for Inventory Applications
IEEE Robotics and Automation Letters (RA-L), 2018.
[Video]

David Droeschel and Sven Behnke:
Efficient Continuous-time SLAM for 3D Lidar-based Online Mapping
In Proceedings of IEEE International Conference on Robotics and Automation (ICRA), Brisbane, Australia, May 2018.
[Video]

Jan Quenzel, Radu Alexandru Rosu, Sebastian Houben, and Sven Behnke:
Online Depth Calibration for RGB-D Cameras using Visual SLAM
In Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Vancouver, Canada, September 2017.
[Video]

Marius Beul, Sebastian Houben, Matthias Nieuwenhuisen, and Sven Behnke:
Fast Autonomous Landing on a Moving Target at MBZIRC
In Proceedings of European Conference on Mobile Robotics (ECMR), Paris, France, September 2017.
[Video]

Matthias Nieuwenhuisen, Marius Beul, Radu Alexandru Rosu, Jan Quenzel, Dmytro Pavlichenko, Sebastian Houben, and Sven Behnke:
Collaborative Object Picking and Delivery with a Team of Micro Aerial Vehicles at MBZIRC
In Proceedings of European Conference on Mobile Robotics (ECMR), Paris, France, September 2017.
[Video]

Matthias Nieuwenhuisen, Jan Quenzel, Marius Beul, David Droeschel, Sebastian Houben, and Sven Behnke:
ChimneySpector: Autonomous MAV-based Indoor Chimney Inspection Employing 3D Laser Localization and Textured Surface Reconstruction
In Proceedings of International Conference on Unmanned Aircraft Systems (ICUAS), Miami, FL, USA, June 2017.
[Video]

Marius Beul and Sven Behnke:
Fast Full State Trajectory Generation for Multirotors
In Proceedings of International Conference on Unmanned Aircraft Systems (ICUAS), Miami, FL, USA, June 2017.
[Video]

Marius Beul, Nicola Krombach, Matthias Nieuwenhuisen, David Droeschel, and Sven Behnke:
Autonomous Navigation in a Warehouse with a Cognitive Micro Aerial Vehicle
In Robot Operating System (ROS), The Complete Reference (Volume 2), pp. 487-524, Springer 2017.

Sebastian Houben, Jan Quenzel, Nicola Krombach, and Sven Behnke:
Efficient Multi-camera Visual-Inertial SLAM for Micro Aerial Vehicles
In Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Deajeon, Korea, October 2016.
[Video] [YouTube]

Matthias Nieuwenhuisen and Sven Behnke:
Local Multiresolution Trajectory Optimization for Micro Aerial Vehicles Employing Continuous Curvature Transitions
In Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Deajeon, Korea, October 2016.
[Video] [YouTube]

Sebastian Houben, David Droeschel, and Sven Behnke:
Joint 3D Laser and Visual Fiducial based SLAM for a Micro Aerial Vehicle
In Proceedings of IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems (MFI), Baden-Baden, Germany, September 2016.

Nicola Krombach, David Droeschel, and Sven Behnke:
Combining Feature-based and Direct Methods for Semi-dense Real-time Stereo Visual Odometry
In Proceedings of 14th International Conference on Intelligent Autonomous Systems (IAS), Shanghai, China, July 2016.
Best Paper Award. [KITTY video] [EuRoC video]

Marius Beul and Sven Behnke:
Analytical Time-optimal Trajectory Generation and Control for Multirotors
In Proceedings of International Conference on Unmanned Aircraft Systems (ICUAS), Arlington, VA, USA, June 2016.
[Video]

David Droeschel, Matthias Nieuwenhuisen, Marius Beul, Dirk Holz, Jörg Stückler, and Sven Behnke:
Multi-Layered Mapping and Navigation for Autonomous Micro Aerial Vehicles
Journal of Field Robotics, 33(4):451-475, Wiley, 2016.

Dirk Holz, Alexandru-Eugen Ichim, Federico Tombari, Radu B. Rusu, and Sven Behnke:
Registration with the Point Cloud Library - A Modular Framework for Aligning in 3-D
IEEE Robotics and Automation Magazine, 22(4):110-124, December 2015.

Matthias Nieuwenhuisen, David Droeschel, Marius Beul, and Sven Behnke:
Autonomous Navigation for Micro Aerial Vehicles in Complex GNSS-denied Environments
Journal of Intelligent and Robotic Systems, Springer, available online, 2015.

Flugroboter mit 3D-Laserscanner Gebäude mit 3D-Lasermessungen Semantische Oberflächenkategorisierung

Verwandte Projekte

     University of Bonn, Institute for Computer Science, Computer Science VI - Intelligent Systems and Robotics    Impress    Data Privacy Statement ; Robotics