SpiceBOT: Robotische Handhabung von Kräutersäcken
Projektbeschreibung
Ziel dieses Projekts ist die Entwicklung einer robotergestützten Handhabungslösung für verformbare Gewürzsäcke mit einem Gewicht von bis zu 30 kg. Das System wird bei unserem Partnerunternehmen Kräuter Mix GmbH zum Depalettieren im Wareneingang eingesetzt.
Wir adressieren zwei zentrale Herausforderungen: 1) die Manipulation verformbarer Säcke und 2) das Lernen eines präzisen und robusten Modells zur Segmentierung und Lokalisierung der Säcke trotz begrenzter Datenverfügbarkeit.
Um die Datenknappheit zu überwinden, haben wir zwei komplementäre Pipelines zur Generierung synthetischer Daten entwickelt. Die erste basiert auf fotorealistischer Simulation mit BlenderProc, während die zweite Generative KI (GenAI) mittels Stable Diffusion und anderer Basismodelle für das automatisierte Labeln nutzt.
Mithilfe eines Text-zu-Datensatz-Ansatzes erzeugt die GenAI-Pipeline vollständig gelabelte Datensätze direkt aus natürlichsprachlichen Eingabeaufforderungen. Unsere Ergebnisse zeigen, dass die Kombination von GenAI-generierten Daten mit fotorealistischen Simulationsdaten einen hochwertigen Trainingsdatensatz liefert. Dieser ermöglicht eine effektive Segmentierung und Greifposenbestimmung, die sich zuverlässig auf reale Anwendungsszenarien übertragen lässt.
