Göm menyn

TDDD57 Fysisk interaktion och spelprogrammering

VT1



Sidansvarig: Erik Berglund
Senast uppdaterad: 2025-01-23


Vårt huvudsakliga mål är att hantera interaktionen med en operfekt sensor utan haptisk återkoppling. Detta innebär flera viktiga aspekter: 1. Kompensera för sensorns instabilitet genom smarta mekanismer 2. Utveckla robusta regler för kroppsrörelser, t.ex. som kompenserar för att handens rörelse ockås kan flytta på handens koordinater 3. Ge tydlig feedback som skapar medvetenhet om systemets tillstånd 4. Förebygga att användaren hamnar i oönskade positioner med feedback 5. Skapa alternativa sätt att närhets-förflyttning, som att indikera när en klickning är på väg, trots avsaknaden av fysisk haptisk återkoppling Denna approach säkerställer en så smidig och informativ användarupplevelse som möjligt, trots de tekniska begränsningarna. ![](https://mediapipe.dev/images/mobile/hand_landmarks.png) - [https://developers.google.com/mediapipe/solutions/vision/hand_landmarker](https://developers.google.com/mediapipe/solutions/vision/hand_landmarker) Viktigt att komma ihåg att vårt mål är att bygga en interaktion med en inperfekt sensor, utan haptik, vilket innefattar att kompenserar för sensorns instabilitet, skapa stabila regler för interaktion kring kroppsrörelse, ge feedback för att skapa medvetenhet av vad som händer men även att hålla användaren borta från dåliga positioner i t.ex. utterlägen eller vinklar med handen mot kameran samt kompenserar för brist av haptik som förmedlar att man är påväg att klicka t.ex om man fortsätter sin röreles. Datahantering och interaktionsdesign kräver flera sofistikerade strategier: Databearbetning: - Kompensera för dataförlust och osäkerhet genom att använda historisk data, utjämna mellan bildrutor, beräkna medelvärden och begränsa avstånd - Hantera små rörelser genom medveten utjämning för att skapa en stabilare upplevelse Interaktionsregler: - Implementera flertillståndsmodeller för olika interaktionsscenarier (klicka, hålla, släppa) - Skapa flexibla regler som förhindrar ofrivilliga interaktioner - Möjliggöra naturliga rörelser som att greppa och sedan slappna av utan kramp Sensorhantering: - Identifiera och undvika zoner med opålitlig data - Hantera potentiella misstolkningar som förväxling av händer - Ge tydlig feedback för att guida användaren bort från problematiska positioner Gestdesign: - Beakta kroppens och handens bekvämlighet - Skapa marginaler som kompenserar för dataförskjutningar under gester - Förhindra oavsiktliga interaktioner genom tydliga zongränser Visualiseringsstrategier: - Implementera tydliga tillstånd som hanterar dataturbulens och små rörelser - Visa progressiva stadier som: 1. Närmande mot ett objekt 2. Säker placering för interaktion 3. Genomförd grip/klick 4. Förflyttning mot dropzon 5. Slutlig placering i dropzon, med marginal för små rörelser Denna approach säkerställer en robust, användarvänlig och förlåtande interaktionsdesign. ## Lite mer basinformation Laborationernas övergripande strategi handlar om att utveckla robust handrörelsespråk genom noggrant vald datarepresentation och interaktionsdesign. Labb 1: Undersökande - Utvärdera olika modeller i olika omständigheter för att bygga förståelse för datat natur Labb 2: Grundläggande Interaktion - Skapa en punktrepresentation av handen som hjärnan snabbt kan acceptera - Experimentera med olika referenspunkter som fingertoppar eller handledspunkt - Fokusera på stabilitet och igenkänning, där även en stiliserad handmodell kan fungera effektivt - Utforma preventiv feedback baserad på avstånd till objekt Labb 3: Avancerad Handrörelsetolkning - Utveckla mer komplexa interaktionsstadier - Mätstrategier för handrörelser: 1. Analysera fingrarnas stabilitet 2. Undersöka vinklar mellan fingerled 3. Skapa flexibla regler för grepp och släpp 4. Möjliggöra naturliga, avslappnade handrörelser Datahanteringsstrategier: - Välja robusta skelettdatapunkter - Kompensera för sensorns naturliga skakningar - Skapa margins- och feedbackregler - Testa olika representationsmetoder Övergripande mål: - Utforska sensorns möjligheter och begränsningar - Utveckla intuitiva interaktionsmodeller - Skapa flexibla tolkningsalgoritmer - Balansera teknisk precision med användarupplevelse Metodologi: Iterativ testning, där varje labb bygger på föregående erfarenheter, utan förutbestämd "perfekt" lösning.