3D-LivingLab - Roboter-Aktor

Die Allianz 3Dsensation bildet eine interdisziplinäre Zusammenarbeit in den Technologiefeldern 3D-Datenaufnahme, -verarbeitung und -wiedergabe in den transsektoriellen Handlungsfeldern Produktion, Mobilität, Gesundheit und Sicherheit ab. Um die hier stattfindenden breitbandigen Forschungs- und Entwicklungsarbeiten gesamtheitlich darstellen und vermarkten zu können, sind gemeinsame Demonstrator Systeme zur Außendarstellung notwendig und wichtig.

Ziel dieser strategischen Einzelmaßnahme 3D-LivingLab war es, beispielhaft ein Demonstrator System aufzubauen, welche eine intuitive Interaktion zwischen Mensch und Technik repräsentativ ermöglicht.

Im Teildemonstrator Roboter-Aktor des Forschungsvorhabens 3D-LivingLab soll der Mensch Handlungsabläufe vorgeben, die von einem Roboter in Echtzeit kopiert bzw. nachgemacht werden und so 3D-Technologien und deren Anwendung dem Publikum anschaulich mit zugleich technischen Bezug präsentiert werden. Konkret soll der Mensch Spielzüge des Spiels „Türme von Hanoi“ vorführen, die von einem Roboter nachgeahmt werden. Die Erfassung der Spielzüge erfolgt dabei mittels 3D-Sensorik in Echtzeit. Ausgehend aus den 3D-Informationen werden Steuerbefehle für den Roboter abgeleitet und der Robotersteuerung übermittelt, wobei das Hauptaugenmerk auf einer möglichst robusten Umsetzung mit möglichst geringer Latenz liegt. 

Zentraler Kern des Roboter-Aktors ist das vom Fraunhofer IWU entwickelte Datenanalyseprogramm Xeidana®. Innerhalb der Software findet die komplette Datenverarbeitung für den Roboter-Aktor statt und bildet zugleich die Schnittstelle zwischen 3D-Sensorik und NC-Steuerung (Roboter).

Im ersten Schritt erfolgt die die 3D-Datenaufnahme basierend auf 3D-Sensoren. Aus den 3D-Daten werden anschließend die Spielobjekte des Menschen und des Roboters extrahiert und deren Bewegungsprofile abgeleitet. Aus den Bewegungsprofilen werden im Anschluss Gesten extrahiert und Bewegungen für die Roboter abgeleitet. Aus den Bewegungen werden im nächsten Schritt NC-Programme generiert, die die Bahnen der abgeleiteten Bewegungen für die Roboter beschreiben. Eine zusätzliche Kollisionsbetrachtung dient zur Vermeidung von Kollision des Roboters mit dem Messeaufbau. Nach erfolgter Prüfung werden die NC-Programme an die NC-Steuerung transferiert, ausgeführt und damit die Bewegung der Roboter gestartet. Damit die Reaktion der Roboter auf die Gesten der spielführenden Person oder die Bewegung der Spielobjekte möglichst ohne große Latenz erfolgt, wird der beschriebene Ablauf in kurzen, zyklischen Intervallen ausgeführt. 

Key-Facts:

• Interaktive Bewegungsvorgabe des Roboters
• Echtzeiterfassung der Szene mittels 3D-Sensorik
• NC-Bahnplanung basierend auf 3D-Punktdaten
• Latenzarme Reaktion des Roboters

Die Ansteuerung des Roboters erfolgt mittels einer industriellen CNC-Steuerung. Die Ansteuerung der Roboter erfolgt dabei nicht, wie zum Teil am Markt verfügbar, über eine Echtzeit-Kommunikation zwischen der CNC-Steuerung und der Robotersteuerung. Stattdessen ist die Roboterkinematik direkt an die CNC-Steuerung angeschlossen, sodass keine zusätzliche Robotersteuerung mehr benötigt wird. Ein Vorteil ergibt sich in der Offenheit von CNC-Steuerungen, die neben der großen Freiheit der Schnittstellenanbindung zudem eine möglichst flexible und dynamische Ansteuerung und Anpassung der Bewegungen der Roboter erlaubt. Darüber hinaus kann durch die Verwendung von CNC-Steuerungen ein erweiterter Kundenkreis (Bereich Werkzeugmaschinen) mit dem Demonstrator angesprochen werden. 

Key-Facts:

• Direkter Anschluss der Roboterkinematik  an eine NC-Steuerung
• Achs- / Antriebsregelung direkt durch NC
• Einbindung als separater NC-Kanal

Vorteile:

• Höchste Flexibilität
• Wegfall herstellerspezifischer Robotersteuerungen
• Einheitliches Steuerungssystem (Inbetriebnahme, Bedienung, Visualisierung)
• flexible Schnittstellenanbindung
• Bahngenaue Bewegungen
• Standardisierter G-Code
• Einsatz von CAD/CAM Systemen

Voraussetzung für die dreidimensionale Erfassung von Objekten im Raum sind geeignete 3D-Sensoren. Dafür stellt das Xeidana-System verschiedene Schnittstellen und Module zur Verfügung. Neben der Anbindung von 3D-Sensoren werden auch Verfahren der passiven Triangulation unterstützt, die mittels eines Stereo-Kamera-Systems 3D-Punktdaten ableiten lassen.

Eingangsdaten zur Steuerung des kompletten Spielablaufs sind die 3D-Punktwolken vom Spielobjekt des Roboters und dem Spielobjekt des Spielers liefern. Mit Hilfe der Objekterkennungsalgorithmen können aus den 3D Informationen die Zustände der beiden Spielfelder erkannt werden (Anordnung der Spielstäbe und darauf befindlichen Spielobjekte).

Die Erkennung von Objekten aus den 3D-Punktwolken erfolgt auf Basis einer Segmentierung von 3D-Punkten. Ein wichtiger Aspekt ist dabei die Einbeziehung von Vorwissen zum zu erwartenden Objekt, im Falle der Türme von Hanoi zum Beispiel die einzelnen Spielobjekte. Anhand der Information, dass die Spielobjekte zwei übereinanderliegende Hohlzylinder darstellen, können die 3D-Punktwolken entsprechend in einzelne Unterobjekte segmentiert und daraus Regelgeometrien abgeleitet werden. Verbessert werden kann die Segmentierung zusätzlich durch den Einsatz von Vorverarbeitungsalgorithmen wie zum Beispiel einer zusätzlichen Glättung der 3D-Punktwolken. Mittels Klassifikation, Flächenrückführung und verschiedener Messalgorithmen können daraus Merkmale wie der Durchmesser der Spielobjekte errechnet und als Eigenschaft dem Objekt hinterlegt werden. Die Zuordnung und Wiedererkennung der Spielobjekte kann dann anhand dieser Eigenschaften durchgeführt werden. 

Zentraler Kern des Roboter-Aktors ist das vom Fraunhofer IWU entwickelte Datenanalyseprogramm Xeidana®. Die Software Xeidana wurde als Tool für Datenanalyseaufgaben entwickelt und wird derzeit vorrangig für Qualitätssicherung eingesetzt. Ein Vorteil der Software ist der modulare Aufbau und die damit einhergehende Möglichkeit, schnell und effektiv neue Sensoren, Bildverarbeitungs- und Auswertealgorithmen oder Datenschnittstellen entwickeln oder einzubinden zu können.

Für den Roboter-Aktor ermöglicht Xeidana das schnelle Einbinden und Austauschen von 3D-Sensorik, ohne dass die nachgelagerten Schritte, wie die Bahngenerierung und Kommunikation zur NC-Steuerung angepasst werden müssen. So können schnell und effektiv verschiedenste 3D-Sensoren erprobt und eingesetzt werden. Die durchgängig parallele Datenverarbeitung und die Automatisierbarkeit der Abläufe in Xeidana sollen die Reaktionszeiten des Roboters auf ein Minimum beschränken und dem Bediener ein bestmögliches Erlebnis bieten.

Mit Hilfe eines digitalen Zwillings konnten nahezu alle Bereiche bei der Entwicklung des Roboter-Aktors effizienter gestaltet werden. Das beginnt direkt bei der Planung, indem Designideen schnell virtuell realisiert und bewertet bzw. optimiert werden konnten. Ebenfalls konnte die Entwicklung und Inbetriebnahme der Steuerung und des Gesamtablaufs anhand des digitalen Zwillings schon vor Fertigstellung des realen Demonstrators begonnen werden. Die Kopplung des digitalen Modells mit der Steuerung ermöglicht eine virtuelle Repräsentation des Roboterverhaltens mitsamt der Bewegungen und Spielzüge und kann so zum Beispiel den Betrieb an verschiedensten Umgebungsszenarien verdeutlichen.

Das Spiel besteht aus drei gleich großen Stäben auf die mehrere verschieden große Scheiben gelegt werden. Zu Beginn liegen alle Scheiben der Größe nach geordnet auf einem Stab, wobei die größte Scheibe unten liegt. Ziel des Spiels ist es, den kompletten Scheiben-Stapel auf einen anderen Stab zu versetzen. Dabei darf bei jedem Zug die oberste Scheibe eines beliebigen Stabes auf einen der beiden anderen Stäbe gelegt werden, wobei immer nur kleinere Scheiben auf Größere gelegt werden dürfen.