Die Umsetzung des Projektes erfolgte in mehreren Phasen über das Semester hinweg.

Projekt aufsetzen

• Watten lernen
• Lasten- & Pflichtenheft erstellen
• Struktur, Arbeitspakete, Ablauf, Projektplan, Kosten planen
• Synchronisations-Meilensteine festlegen
• git-Repositories initialisieren

Gesamtsystemsimulation durchführen

Ziele:

• Verbindliche Schnittstellendefinition festlegen (hier: MQTT-Topics)
• Gemeinsames Verständnis des Gesamtsystemverhaltens erlangen

Ablauf:

• Jede Gruppe simuliert das Verhalten Ihres Teilsystems.
• Die Kommunikation zwischen den Teilsystemen / Gruppen ist ausschließlich mittels MQTT erlaubt (z.B. über Kommandozeilentools).

System integrieren

• Bei jeder Systemintegration wird versucht, einen vollständigen Spielablauf abzuarbeiten.
• Fehler und Optimierungsmöglichkeiten werden dokumentiert und von den Gruppen anschließend bearbeitet.
• Bei nächsten wöchentlichen Treffen werden die Verbesserungen und Erweiterungen wiederum in Form eines kompletten Spielablaufversuchs getestet.

Projekt abschließen

• Präsentation der Ergebnisse der Teilprojekte
• Dokumentation der Module
• Abnahme / Übergabe

Aufgaben

• Zentrale Steuerung des Spielablaufs
  • Interaktion mit menschlichen Mitspielern, wann immer sinnvoll/nötig
  • Anfordern von Roboteraktionen
  • Anfordern der Kartenerkennung
• Implementierung einer Spielelogik
  • Bestimmen einer auszuspielenden Karte: regelkonform unter Verwendung einer einfachen Spieltaktik

Modulbeschreibung

Es wurde ein Python-Skript entwickelt, welches die Kommunikation unter den Gruppen steuert, den Spielablauf verwaltet und die Taktik implementiert. Ein systemd-Service startet die Skripte beim Systemstart automatisch, so dass kein manueller Eingriff notwendig ist.

Um flexibel hinsichtlich zukünftiger Änderungen zu sein, wurde ein objektorientierter Entwurf umgesetzt, in dem Spielertypen (Mensch/Roboter) ebenso einfach ausgetauscht werden können wie die Art des Spiels (Watten/...) oder die Art der Kommunikation zwischen den Kompontenten.

Die Funktion zur Kartenauswahl weist jeder Karte einen Wert zu, welcher bei der Entscheidungsfindung berücksichtigt wird. Zudem wird bei der Wahl von Spielschlag und Spielfarbe eine einfache Heuristik angewendet, so dass Spiele gewonnen werden konnten.

Zusätzlich wurde ein MQTT-Logger und ein Simulationsprogramm für interne Tests erstellt. Die gesendeten Nachrichten aller Systemkomponenten wurden aufgezeichnet, um die Fehlersuche zu erleichtern. Das Simulationsprogramm ermöglicht Tests der eigenen Software, ohne auf andere Gruppen angewiesen zu sein.

Aufgaben

• Konzeption des Interaktionskonzepts in Absprache mit der zentralen Spielsteuerung
• Implementierung von Spracheingabe, Sprachausgabe, Touch-Interaktion

Anforderungen (Auswahl)

• Die Interaktion sollte für menschliche Spieler selbsterklärend, d.h. ohne Einweisung nutzbar sein.
• Der Systemzustand im Hinblick auf den Spielfortschritt und gewählte Parameter (z.B. Spielschlag, Spielfarbe) sollte für den Menschen sichtbar sein.
• Der Roboter sollte auf spielentscheidende Aktionen menschenähnlich reagieren.

Umsetzung

• Programmiersprache Python3
• Display mit Toucheingaben als Grundbaustein
  Sprachausgabe und Spracheingabe als Ergänzung
• Paho-MQTT Bibliothek für MQTT Nachrichten
• Startup zum Starten/Neustarten aller Programme als einzelne Tasks (Spracheingabe, Sprachausgabe und Display)
• Kivy Bibliothek für die Benutzeroberfläche
• Sprachausgabe mithilfe von eclipse für Text-to-Speech
• Spracheingabe mithilfe von Snips

Verwendung

Nach dem Hochfahren des Raspberry Pi3 muss das Pythonskript für das Startup ausgeführt werden. Dieses wartet dann auf Kommandos, die via MQTT eintreffen.

Sobald vom Spieler eine Eingabe gefordert wird, wird dieser per Sprachausgabe und Bildschirmanweisung dazu aufgefordert.

Neben einer Touch-Eingabe ist dies auch mit einer Spracheingabe möglich.

Aufgabe

• Identifikation von verdeckten und offenen Spielkarten (einzeln und im Stapel)

 Anforderungen

• Die Spielkarten des Roboters müssen hinsichtlich Farbe und Schlag erkannt werden können.
• Die ausgespielten Karten des Spielers müssen hinsichtlich Farbe und Schlag erkannt werden können.
• Eine doppelte Erkennung der gleichen Spielkarte muss vermieden werden

Die Karten wurden optisch mit Hilfe einer Kamera erkannt, welche mit einem Flachbandkabel an den Raspberry Pi angeschlossen wurde. In einer ersten Realisierungsstufe wurden die Spielkarten im Kamerabild basierend auf QR-Codes erkannt. In einer zweiten Stufe wurde ein neuronales Netz zur Erkennung der Karten trainiert.

Umsetzung - Variante 1: QR Codes

Die Spielkarten wurden jeweils mit 2 QR-Codes an der oberen und unteren Kante versehen. Diese Codes beinhalten Informationen über den Schlag und die Trumpffarbe der Spielkarte.

Die Erkennung der QR-Codes erfolgt mittels einer Python-Skripts. Dieses verwendet eine Bibliothek, zur Extraktion der Informationen aus den QR-Codes und übermittelt diese anschließend an die anderen Systemkomponenten.

Umsetzung - Variante 2: Neuronales Netz

In einer zweiten Ausbaustufe wurde ein neuronales Netz mit Kartenbildern trainiert, so dass eine Erkennung der Karten stattfinden kann, ohne diese verändern zu müssen. Diese Variante wird aktuell noch getestet und in das Gesamtsystem integriert.

Aufgabe

• Konzeption und Aufbau des Spielbereichs
• Auswahl und Ansteuerung eines Robotersystems und Greifers

Modulbeschreibung

Gegenstand dieser Systemkomponente ist der Transport von Karten mit Hilfe eines Roboterarms. Zentrale Anforderung ist die flüssige Bewegung des Roboterarms. Mit den 6 Achsen des Roboterarms Niryo One ist ein Spielablauf nahe dem einer realen Hand gut umsetzbar.

Zudem dient der Roboterarm als Kamerahalter für das Teilprojekt "Kartenerkennung". Je nach aktuellem Bedarf wird zwischen dem Tool "Vakuum-Greifer" und dem Tool "Kamera" gewechselt, indem ein eigens konstruierter Halter für Greifer und Kamera gedreht wird.

Bewegungen, die im Rahmen dieses Teilprojekts umgesetzt wurden, sind:

• Aufnahme von Karten von einem verdeckten Stapel und Ablage in eine der fünf Kartenhalterungen
• Ausspielen einer Karte aus einer der fünf Kartenhalterungen auf den Tisch
• Erkennungsfahrt mit Kamera, um Spielkarten in den Kartenhalterungen erkennen zu können
• Positionierung der Kamera über dem Tisch, um ausgespielte Karten erkennen zu können
• Kalibrierungsfahrt

Umsetzung

• Aufnahme der Karten über einen Saugnapf
• Entwurf und 3D-Druck aller nötigen mechanischen Bauteile(Kartenhalterung, Kartenablage, Werkzeughalterung, Schlauch-/Kabelführung)
• Programmierung der Roboterbahnen in Python
• Aufruf der Roboterbahnen infolge Anfoderungen anderer Systemkomponenten über MQTT (zentrale Spielsteuerung, Kartenerkennung)
• Verwendung der Python-Bibliothek Paho für MQTT Interaktionen