TDDD92 AI-projekt
Individuell skriftlig rapport (UPG3)
Under första kursperioden genomförs inte bara labbar utan även en självständig och individuell teknisk utredning för att utvärdera en eller flera existerande AI-tekniker inom vissa givna ramar.
Stegen nedan beskriver vad du ska göra i utvärderingsarbetet. Det följs sedan av projektarbetet, där du faktiskt implementerar en lösning – kanske en som du utvärderade, eller kanske en annan om ingen utvärderad teknik verkade bra. Den individuella utvärderingen ger dig alltså en vägledning innan du börjar med implementationen, så att du vet vad som är intressant att gå vidare med. I projektarbetet kommer du också att kunna göra en betydligt mer säker utvärdering av hur bra den implementerade tekniken faktiskt fungerade.
(I verkligheten kan det så klart visa sig att det du implementerade inte fungerade så bra, trots att det passerade de tidigare filtren. Det är helt OK, så länge du faktiskt har implementerat tekniken korrekt och gjort en bra utvärdering!)
Bra att veta: Denna kurs innehåller också ett integrerat moment i rapportskrivning, vilket kommer att granskas separat av personal på IKOS. Därför har vi också en IKOS-föreläsning som just handlar om hur man skriver rapporter. Vänta inte på den föreläsningen innan ni börjar skriva utredningsplanen – den handlar enbart om saker att tänka på i den slutliga rapporten! Ta detta moment på allvar: För att bli godkänd på den individuella utredningen måste man ha godkänt på språk och struktur från IKOS!
Steg 1: Välj ett lämpligt problem att undersöka
Du väljer själv vilka problem(klasser) och vilka tekniker du vill studera, men tänk på att du ska kunna utgå från din utredning när du deltar i det gemensamma projektet. Under projektet kommer varje gruppmedlem att behöva ett eget ansvarsområde, med ett tydligt huvudansvar för någon AI-teknik eller något problemområde. Trots att utredningen i sig är en individuell uppgift kommer varje projektgrupp därför att behöva samordna medlemmarnas val av problem(klass), så att det inte blir onödiga överlapp mellan de problem och tekniker som gruppmedlemmarna utreder (mer om detta längre ner).
Bilda projektgrupper / anpassa ansvarsområden
Efter föreläsning 2 är det dags att bilda projektgrupper om cirka 5-7 personer (kursledningen meddelar antalet beroende på exakt antal kursdeltagare detta år), för att kunna samordna utredningsområden inom gruppen och undvika överlapp.
Obs! Det kan ta tid att bilda grupper som passar ihop med hänsyn till överlapp. Börja därför senast i samband med föreläsning 2, och helst innan!
Som nämndes ovan behöver varje gruppmedlem ett eget ansvarsområde under själva projektet. Även om det går att ha ett projektansvar som skiljer sig från det man gjorde i utredningen, leder det till mycket extraarbete. Vi rekommenderar därför starkt att man redan inför det individuella arbetet samordnar utredningarna inom gruppen. Det betyder att man kan behöva anpassa och förhandla kring sitt val av ansvarsområde och utredningsområde för att det ska passa in i gruppen, eller anpassa grupperna så att de som väldigt gärna vill arbeta med samma område hamnar i olika grupper.
Vad menas med "eget" ansvarsområde? Här är några punkter som kan ge en viss vägledning. Diskutera gärna med handledarna!
Två personer i samma grupp kan inte tilldelas ansvarsområdet hitta en bra byggnadsordning givet vad vi redan har och vad vi vet om fienden. Detta är en problemställning.
Däremot skulle en person kunna ha hand om att uppskatta vilken strategi fienden troligen använder just nu medan en annan person kan ta hand om att hitta en bra byggnadsordning givet vilken strategi vi tror fienden använder just nu. Detta är två tydligt separerade problemställningar, även om lösningen på den ena ger information som behövs för att kunna applicera den andra.
Två personer i samma grupp kan möjligen ha ansvar för olika ansvarsområden där lösningarna överlappar till viss del. De kan t.ex. arbeta med två helt olika problemställningar där det visar sig att båda de valda lösningarna applicerar flow fields, fast på olika sätt. Man kan då samarbeta om implementationen av grundläggande flow fields, men behöver fortfarande ha en signifikant "egen" funktionalitet att implementera och utvärdera ovanpå detta. Den delen av implementationen ska då vara separerad så att det gemensamma, t.ex. "flow fields", är en tydligt avgränsad del av koden.
Detta gäller alltså projektdelen. Den individuella utredningen är alltid individuell: Skriv inte gemensamma avsnitt om t.ex. flow fields, utan gör din egen utredning.
Bra att veta: På föreläsning 2 presenterar vi ett antal exempelproblemområden och AI-tekniker (inklusive referenser) som skulle kunna användas för att lösa problemen. Ni får själv välja om ni använder dem eller om ni hittar egna problem och AI-tekniker.
Steg 2: Bestäm exakt vad du tänker undersöka, och hur
Det räcker inte med att veta vilket problemområde man vill undersöka. Du behöver också fundera på t.ex. vilka potentiella lösningar du vill utvärdera, och var du ska få den information du behöver. För att vi ska kunna ge återkoppling på detta skrivs först en kort utredningsplan.
Planera den egna utredningen
Du funderar, läser på, och skriver en plan för den tänkta utredningen. Dokumentet ska beskriva problemet du tacklar och visa vilka tekniker att utvärdera. Planen är helt enkelt till för att du inte ska komma på fel väg från början: Du behöver dels verifiera att det faktiskt finns material att utgå från, dels konkretisera dina egna tankar så långt att det går att förstå hur detta kan passa in i ett gemensamt projekt – eller upptäcka eventuella problem så tidigt som möjligt.
Under planeringen diskuterar du mål och syfte med övriga gruppmedlemmar för att förankra detta i gruppen och underlätta det senare projektarbetet. Läs också genom hela denna sida redan under planeringen. Informationen om steget innehåller en hel del matnyttig information som du behöver tänka på redan nu!
En riktlinje är att dokumentet blir ungefär en A4-sida. Detta är en fingervisning om hur mycket information som brukar behövas för att du själv ska få bästa möjliga återkoppling från gruppen och handledarna.
Obs! Ni ska använda mallen för utredningsplanen! Mallen talar om vilken information som ska anges.
Att använda artiklar som baseras på StarCraft II
I litteraturen finns redan en hel del artiklar som applicerar olika AI-tekniker på just StarCraft II, och som utvärderar resultatet av detta.
Om en individuell utredning enbart baserar sig på en teknik av denna typ, försvinner mycket av det tänkta utredningsarbetet. Rapporten säger då i princip att:
Jag vill tackla problemet X inom StarCraft II och vill reda ut om teknik Y skulle vara användbar enligt kriterierna Z1, Z2 och Z3. John Doe [7] har applicerat teknik Y på problemet X inom StarCraft II och kommit fram till att kriterierna Z1 och Z2 uppfylls bra medan Z3 uppfylls mindre bra. Slut på utredningen.
Ovanstående är så klart något överdrivet, men det är ändå lätt att hamna i denna fälla och att därmed inte komma fram till något rimligt djup i den egna utredningen. Om du baserar din utredning på existerande vetenskapliga artiklar i StarCraft-miljö behöver du därför:
Utvärdera flera olika tekniker och göra en egen slutlig jämförelse mellan dem (t.ex. använda flera tekniker som redan applicerats på StarCraft, eller en som redan applicerats och en som inte har gjort det), eller
Utvärdera en teknik som redan har applicerats på StarCraft, men komma fram till egna djupare slutsatser som inte framgår i ursprungsartikeln/artiklarna (vilket kan vara svårt att nå upp till). Diskutera i så fall detta med en handledare i förväg, med grund i dina tänkta val av specifika artiklar.
Inlämning av utredningsplaner
Deadline för att lämna in din utredningsplan finns på deadlinesidan. Utredingsplanen lämnas in i PDF-format och ska döpas till Utredningsplan-TDDD92-202X-liuid123.pdf, där du så klart stoppar in året och ditt eget LiU-id.
Inlämning sker via ett ärende i ärendehanterare för just inlämningar. Dessa ärende kommer att vara konfidentiella och kan enbart ses av inlämnaren och kursledningen.
Efter inlämningen tittar vi på din utredningsplan för att se om den förklarar tillräckligt väl vad du tänker göra. Det händer till exempel att vi ser att någon har missförstått uppgiften, att några vill satsa på områden som är alltför komplexa eller alltför simpla, och att vissa egentligen inte har klart för sig vad de vill göra. Vi kommenterar och du får en möjlighet att lämna in en eller ett par nya versioner av planen – för din egen skull.
Alla problem kan inte förutsägas från en kort utredningsplan. Vi kan alltså inte lämna några garantier att din utredning kommer att fungera smidigt, även om vi inte har några allvarliga kommentarer att ge.
Steg 3: Genomför undersökningen och skriv din rapport
NoPlagiat-modulen
När man skriver rapporten är det såklart viktigt att citera rätt, men hur gör man? Utöver IKOS-föreläsningen använder vi NoPlagiat-modulen i Lisam. NoPlagiat är en självstudieguide om plagiering och upphovsrätt som hjälper dig undvika vanliga misstag när man skriver rapporter. Se till att gå igenom modulen tidigt så att du hinner använda modulens lärdomar. Det krävs 100% rätt svar för att bli godkänd på NoPlagiat-modulen, vilket är en förutsättning för förhandsgranskningen. Med andra ord; det blir ingen förhandsgranskning innan NoPlagiat-kravet uppfylls.
Bra att veta: Det finns inga begränsningar på antalet försök i NoPlagiat-modulen.
Rapportskrivning
Genomför undersökningen med stöd av dina inledande undersökningar från skrivandet av utredningsplanen. Du kommer också att få möjlighet att ställa frågor under ett par seminarier enligt nedan.
Här ska du alltså läsa litteratur för att reda ut vad som är mest intressant att implementera och testa i praktiken.
- Läs vetenskapliga artiklar, (kursböcker)
- Utgå från utvärderingar som redan har gjorts (se t.ex. kursens wikisidor)
- Jämför systematiskt vad som sägs om olika tekniker och utvärdera hur de uppfyller utvärderingskriterierna
- Citera dina källor – viktigt!
Sök vidare – leta gärna efter mer information om teknikerna. Använd primärt vetenskapliga artiklar, sekundärt kursböcker. Google Scholar kan hitta relaterade artiklar som citerar det ni läser!
Rapportskrivningen (använd rapportmallen!) är en viktig del av kursen. Vi har därför slagit ihop tips i en rapportskrivningsguide (PDF) som beskriver hur man strukturerar en rapport, samt vanliga misstag och hur man undviker dem.
Seminarier HT1 – Skrivstöd och kamratgranskning
Under HT1 har vi 5 seminarier som är tänkt som stöd för rapportskrivningsarbetet. Ni kommer även hjälpa varandra i grupper, så det är viktigt att alla som kan vara med är med.
Preliminär planering (kan justeras efter behov):
- Seminarium 1: Skrivstöd utredninsplan
- Senast dagen innan: Läs instruktionerna för den individuella skrivuppgiften.
- Introduktion till seminarierna.
- Diskussion: Hur skriver man en utredningsplan?
- Frågestund eller eget arbete.
- Seminarium 2: Skrivstöd problemställning
- Senast dagen innan: Dela din utredningsplan i projektgruppen.
- Diskussion: Att formulera en problemställning.
- Gruppuppgift: Diskutera era planer med varandra; hur påverkar de varandra?
- Frågestund eller eget arbete.
- Seminarium 3: Skrivstöd teknikbeskrivning
- Senast dagen innan: Dela din problemställning i projektgruppen.
- Diskussion: Att beskriva tekniker; algoritmer, ekvationer, och figurer.
- Gruppuppgift: Diskutera varandras problemställningar; kan de förbättras?
- Frågestund eller eget arbete.
- Seminarium 4: Skrivstöd teori och praktik
- Senast dagen innan: Dela din teknikbeskrivning i projektgruppen.
- Diskussion: Teori och praktik med StarCraft II; vad är skillnaden?
- Gruppuppgift: Diskutera varandras teknikbeskrivningar. Är de tydliga? Löser de problemet? Används figurer/ekvationer/algoritmer rätt? Referenser?
- Frågestund eller eget arbete.
- Seminarium 5: Skrivstöd slutsatser
- Senast dagen innan: Dela användningsbeskrivningen i projektgruppen.
- Diskussion: Litteraturutvärderingar; kriterier, mått, och slutsatser.
- Gruppuppgift: Diskutera varandras tänkta användning av AI-tekniker i StarCraft II; hur påverkas integreringsarbetet?
- Frågestund eller eget arbete.
Steg 4: Förhandsgranskning, språkgranskning
Första inlämningen av utredningsrapporten
Senast på deadlinen för första inlämningen lämnar du in din utredningsrapport på (normalt) 4-6 A4-sidor till kursledningen. Rapporten ska vara skriven enligt instruktionerna ovan. Den lämnas in i PDF-format via en issue i ärendehanterare. Dessa issues kommer att vara konfidentiella och kan enbart ses av inlämnaren + kursledningen. Du ska också göra en separat inlämning till språkgranskning enligt nästa punkt!
Döp filen till "Utredning-TDDD92-202X-liuid123.pdf", där 202X är kursåret och liuid123 är ditt LiU-id.
Om du inte är färdig med rapporten går det också att vänta till nästa inlämningsomgång. Då kommer den omgången att bli din förhandsgranskning, och den efterföljande omgången kommer att bli den slutliga granskningen.
Även en inlämning till språkgranskning!
Språk- och strukturgranskning är ett separat moment som hanteras av IKOS. D-programmet har sitt moment i TDDE30 medan U-programmet har detta i TDDD92.
IKOS använder sig inte av Gitlab utan går istället via Lisam:s inlämningssystem. Du måste göra en separat inlämning där!
Som vi har sagt ska du döpa filen till "Utredning-TDDD92-202X-liuid123.pdf", där 202X är kursåret och liuid123 är ditt LiU-id.
Språk- och strukturgranskningen brukar vara noggrann. Det är inte ovanligt att man får komplettering och man kan då inte få poäng i Ladok för den individuella rapporten förrän kompletteringen är genomförd, till nästa inlämningsdeadline. Var noggrann själv om du vill ha poäng och CSN-pengar.
Läs till exempel genom informationen om rapportstruktur en gång till. Kör också rapporten genom en stavningskontroll, och om möjligt en grammatikkontroll. Tänk på tydligheten och undvik syftningsfel, svengelska, med mera.
Bra att veta: Vill du ha hjälp med språket? Kanske Språkverkstaden kan ge några tips. De hjälper dock inte till med korrekturläsning. Se även studentsidan om språkstöd.
Är du dyslektisk eller har andra läs- och skrivsvårigheter? Informationen vi har fått är att din rapport ändå måste nå upp till rätt nivå rent språkligt, eftersom detta är just ett språkmoment i kursen (detta bestämmer vi alltså inte själva över). Däremot kan du kanske få mer hjälp från Språkverkstaden och kan be om utförligare kommentarer från IKOS när du gör din inlämning.
Vår förhandsgranskning
Efter inlämningen kommer vi att förhandsgranska din utredningsrapport och ge kommentarer om förbättringsmöjligheter för att hjälpa dig höja ditt betyg och minska risken för komplettering.
Vi spenderar ungefär samma tid på varje rapport och kommenterar så långt som tiden räcker. Med andra ord, ju mer du har arbetat med din rapport vid första inlämningen, desto större chans att vi har möjlighet att skriva specifika kommentarer som hjälper dig att verkligen finputsa rapporten. Ju mindre genomarbetad rapporten är när vi får den, desto större risk att du bara kan få mer generella kommentarer innan tiden tar slut.
Vid den här första inlämningen ger vi inga betygsindikationer utan påpekar bara vad som kan förbättras. Inlämningen ska ses som ett inlärningstillfälle – vi förväntar oss inte att ni ska kunna allt om rapportskrivning i förväg, utan att det behövs återkoppling innan examination.
Obs! Detta är tillsammans med NoPlagiat-modulen ett obligatoriskt steg! Alla rapporter måste förhandsgranskas i ett någorlunda färdigt format innan den slutliga inlämningen. Om du t.ex. blir färdig med rapporten till nästa inlämningstillfälle, vid nyår, kommer vi att göra förhandsgranskningen vid det tillfället och betygsbedömningen efter att du har kunnat polera rapporten.
Förhandsgranskning tillbaka
Senast efter två veckor hoppas vi att vi kan ge dig din förhandsgranskning tillbaka (i värsta fall kan detta fördröjas av sjukdom eller liknande). Då kan du:
- Arbeta med det vi har kommenterat.
- Skriva vidare på den andra delen av rapporten, som beskriver slutresultatet. Detta kommer att diskuteras på en av projektsidorna.
Resultatet från språkgranskningen bör komma från IKOS inom 2 veckor från det senare inlämningsdatumet men kan ibland dröja. Du får i så fall mer information på e-post.
Steg 5: Utvärdering av integrerade AI-teknik, rapport
Vi forsätter med implementering och integrering av din valda AI-teknik, men vi är även intresserad av hur mycket bättre eller sämre agenten blir.
Utvärdering av den integrerade AI-tekniken
Själva utvärderingen beskrivs i Del 2 av rapporten. Kom ihåg att rapportskrivningsguiden beskriver vad som förväntas under varje rubrik i mallen. Det är viktigt att en utvärdering görs eftersom detta är ett krav för att få godkänd. En utvärdering är dessutom inte samma sak som en reflektion. I en reflektion reflekterar man över sina egna insatser, medan en utvärdering utvärderar den valda AI-tekniken med hjälp av experiment.
Obs! Det är lätt att man glömmer utvärderingen när man sitter med mycket programmeringsarbete. Kom därför ihåg att det är rapporten som blir grunden för ditt slutbetyg (K/3/4/5).
Egen utvärdering av rapport
Del 3 beskriver en bedömningsmatris för UPG3. Här ska du göra en egen bedömning på vilka krav du uppfyller. Baserad på din självbedömning föreslår du ett slutbetyg. Det finns även möjligheten att lägga in kommentar under rübriken Övrigt. Kursledningen kommer att göra en egen bedömning men tar hänsyn till självbedömningen i återkopplingen.
Seminarier HT2
Under HT2 byter vi fokus mot implementations -och integreringsarbetet, och seminarierna kan användas för att ställa frågor om AI-teknikerna eller utvärderingen. Om det inte finns några frågor kvar avsluter vi seminariet och övergår tiden till eget arbete. Det kan vara en bra moment att uppdatera din rapport!Steg 6: Slutlig inlämning, granskning, betygsättning
Slutlig inlämning
I tentamensperioden på slutet av höstterminen lämnas den slutliga rapporten in.
Bra att veta: Om du redan fick godkänd av IKOS behöver du inte skicka in en ny version till dem. Vid komplettering av utredningsdelen till språk- och strukturgranskning (IKOS) är det OK om även information som hör till projektdelen följer med: Granskarna ska i så fall ignorera de avsnitten och enbart kommentera utredningsdelen.
Betygsättning
Betyget (3-4-5 eller komplettering) på detta moment (UPG3, 3 hp) baseras bland annat på hur tydligt och välmotiverat problemet är, hur väl utvärderingen är gjord (inklusive tydliga och motiverade resonemang) och hur väl rapporten är skriven.
Hur tekniskt avancerade tekniker som valts påverkar inte betyget direkt, men i och med att teknikerna behöver mindre komplexa tekniker kan behöva undersökas djupare.
Det som avgör betyget är inte enbart "medelnivån" på rapporten. Det händer också att rapporten har problem som måste rättas till även om nivån i övrigt är hög, vilket då ger en omedelbar komplettering.
Utöver detta måste man även få godkänt från språk- och strukturgranskningen av rapporten (IKOS) för att få ett godkänt betyg på UPG3.
Att skriva en sådan här rapport är inte helt trivialt. Det finns mycket att tänka på och vi har full förståelse för att man kan missa något i rapporten. Därför gör vi vårt bästa för inte bara ge en siffra som bedömning, utan även konkreta kommentarer och förklaringar i de fall rapporten inte når upp till högsta betyg. Detta gör att resultatet i vissa fall kan dröja mer än de vanliga 3 veckorna som gäller för tentor, t.ex. om någon granskare blir sjuk. Alternativet skulle vara en betydligt mindre detaljerad återkoppling till er kursdeltagare!
Sidansvarig: Daniel de Leng
Senast uppdaterad: 2024-09-13