TDDD57 Fysisk interaktion och spelprogrammering
VT1
### Teknik
I kursen använder vi TensorFlow-modeller från Mediapipe i Python och kör ett script som broadcastar på localhost (127.0.0.1, port 4242). Sedan har vi kod i ett Godot-script som lyssnar på denna kommunikationen. Så får vi in data från sensorn till Godot-projektet.
I kursen jobbar vi med [Hand-landmarks](https://mediapipe-studio.webapps.google.com/studio/demo/hand_landmarker) för det är dels en väldigt rik interaktion, och komplicerad datakälla där vi vill hitta optimum, hantera att brus skapas, och där data försvinner när handen lämnar skärmen osv....
I labb 1 kommer vi dock testa och utvärdera de olika teknikerna för att se stabilitet, beteenden för denna typ av modeller ... för lite alternativ.
Man får till projektet byta sensor t.ex via andra [mediapip modellera](https://developers.google.com/mediapipe/solutions/examples).
Deltagare i kursen blir inbjudna till ett Gitlab-repo där koden för startupprojekt finns.
Basprojektet innehåller skelett för att detekter och skicka python-kod via UDP till Godot och Godot-projektet har kod för att ta emot. i `hands_2025.py` och `Control.gd`. Det betyder att man måste köra python-programmet och sedan lyssna i Godot.
* [Mediapipe](https://google.github.io/mediapipe/getting_started/python) med ready to use solutions
* [Godot](https://www.godotengine.org/docs/). Vi kör GDScript som är väldigt likt python.
#### Installation
* Installera och kör GodotEngine 4.3.
* Installera python **max-version 3.12** och nödvändiga moduler, se nedan.
### Python-version
Mediapipe fungerar med [följande versioner av python](https://developers.google.com/mediapipe/solutions/setup_python) (3.9-3.12). OBS! **Mediapipe fungerar inte med högre versioner3.13**
### Nödvändiga Pythonmoduler
python -m pip install mediapipe
python -m pip install opencv-python
Mediapipe kommer installera andra nödvändiga moduler som numpy t.ex.
Sidansvarig: Erik Berglund
Senast uppdaterad: 2025-01-23