English web site
732G57 Maskininlärning för statistiker
Kursinformation
HT 2025
Senast uppdaterad 2025-09-28
732G57 är en ny kurs som ersätter 732G12 Data-Mining. Denna hemsida är under uppdatering.
Kurslitteratur 2025:
An Introduction to Statistical Learning with Applications in R (ISL) av Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani 2st ed. 2021
Finns gratis online här: länk
Introduction to Data Mining, Global Edition (IDM) av Pang-Ning Tan, Michael Steinbach, Anuj Karpatne och Vipin Kumar Second edition, ISBN: 9780273769224
Denna bok finns inte gratis.
Innehåll
- Kursupplägg
- Kursvecka 1: Introduktion till maskininlärning
- Kursvecka 2: Icke-linjär regression, splines, k-nearest neighbors
- Kursvecka 3: Trädmodeller, Ensemblemetoder
- Kursvecka 4: Neurala nätverk 1
- Kursvecka 5: Neurala nätverk 2
- Kursvecka 6: Klusteranalys
- Kursvecka 7
- Projekt
- Tenta
Undervisnings och kursupplägg
Undervisningen kommer att ske på campus. Föreläsningarna kommer att hållas i sal, och datorlaborationer kommer att ske i datorsal. Josef Wilzén är lärare och examinator på kursen. R och R-Studio används som programvara.
- Föreläsning, F . Föreläsningen introducerar nya koncept och lägger grunden för datorlaborationen. Till varje föreläsning finns läsanvisningar till kursboken och ev. extramaterial.
- Datorlaboration, D.: Partiska och teoretiska övningar
Användbara länkar:
- Schema: timeeidt
- Kursplanen: här.
- En äldre kodmanual finns här. Notera att denna inte är uppdaterad för årets omgång.
- Dataset till vissa uppgifter finns här.
- Information om SU-salar, remote access till dessa mm finns här: länk
- Kursmaterialet till kursen ligger på en github-sida som finns här.
Innehåll
Denna kurs är en introduktion till metoder för att analysera och hitta intressant information från komplexa och/eller stora datamängder. Kursen behandlar olika algoritmer och grundbegrepp inom klassificering, icke-linjär regression samt klustring.
Kursen ger en introduktion till:
- Introduktion maskininlärning, modellval, variabelselektion, regularisering
- Klassificering och regession: Trädmodeller, splines, k-närmaste grannar, neurala nätverk
- Ensemblemetoder
- Klusteranalys
Examination
Kursen examineras genom:
- Projekt: Görs i par, skriftlig och muntlig redovisning, U/G
- Datortenta i SU-sal: Individuell, U/G/VG, glöm inte att anmäla er
Spellistor med videor:
Här finns några spellistor med videor. Notera att dessa täcker fler ämnen än vad kursen gör. Under varje kursvecka finns det mer detaljerade hänvisningar till olika videor.
Kursvecka 1: Introduktion till maskininlärning
Innehåll: Introduktion till maskininlärning, modellering, modellval, generaliseringsfel, variabelselektion, Ridge regression, LASSO regression.
Josef är bortrest måndag och tisdag, så därför kommer det att vara två föreläsningar på onsdagen. För att ni ska kunna utnyttja kurstiden väl så ska ni läsa nedanstående innan föreläsningarna på onsdag:
Läsning i ISL:
- kapitel 1
- Kapitel 2.1 2.2, 4.1, 4.6, 5.1, 6.1, 6.2, 6.4
Repetition
- 4.3 Logistic Regression
Läsning i IDM:
- kapitel 1
- 2.1-2.3 Läs översiktligt, många koncept har ni stött på i tidigare kurser
Se till att läsa i litteraturen innan föreläsningarna, annars kan det bli svårt att hinna med kursmaterialet under veckan!
F1A Slides: pdf (uppdaterad 2025)
F1B Slides: pdf (uppdaterad 2025)
F2 Slides: pdf (uppdaterad 2025)
Anteckningar:
Se dessa videor:
Frivillig fördjupning: Lecture notes on ridge regression: här finns fördjupning och många detaljer, bla hur skattningarna går till för Ridge och LASSO.
Kursvecka 2: Icke-linjär regression, splines, k-nearest neighbors,
Läsning i ISL
- 2.2.3 The Classification Setting (K-Nearest Neighbors)
- 7.1 -7.7
Läsning i IDM
- 2.2.1-2.4.5, 2.4.9-2.4.10 (fokus på fram till och med 2.4.3)
- 6.3
Video:
F3 Slides: pdf (uppdaterad 2025)
Kursvecka 3: Trädmodeller, Ensemblemetoder
F5 Trädmodeller, Slides: pdf kod1 kod2 (uppdaterad 2025)
Läsning i ISL:
- 8.1
Läsning i (IDM)
- 2.4 Tanken är att ni kan komma tillbaka hit vid behov under kursens gång
- 3.1-3.8 Teori om beslutsträd, men även om modellval, korsvalidering mm
- Notera att kaptiel 3 finns som sample chapter
R-paketet: rpart
Videor:
- Decision Trees
- Hunts Algorithm
- Decision Trees (Solved Problem) (räkneexempel)
- Generalization Error
- Gradient Descent, Step-by-Step
F6 Ensemblemetoder, Slides: pdf (uppdaterad 2025)
Läsning i ISL:
- 2.2.3 The Classification Setting (The Bayes Classifier)
- 5.2 The Bootstrap
- 8.2 Bagging, Random Forests, Boosting
Läsning i IDM
- 6.1
- 6.10
Videor:
- Ensemble Methods
- Bagging (Bootstrap Aggregation)
- Random Forest
- Bootstrap Classifier Evaluation
- Hyperparameter
XGBoost
- StatQuest: Videoserie om XGBoost Del 1 till 4.
- XGBoost Documentation: Introduction to Boosted Trees
- xgboosting.com - här finns mycket information om XGBoost, kolla specifikt under background.
Kursvecka 4: Neurala Nätverk 1
Teori
Notera att det inte är någon föreläsning i början av denna kursvecka. Ni ska göra följande innan föreläsningen:
Introduktion till gradient descent: (ca 35 min)
Nedan följer några videor som ger en högnivå introduktion till neurala nätverk: (ca 60 min)
- But what is a Neural Network?
- Gradient descent, how neural networks learn
- What is backpropagation really doing?
- Backpropagation calculus
På tensorflow playground kan ni testa interaktivt hur olika modeller fungerar, testa att ändra olika inställningar och tryck sen på "run".
Läsning i ISL:
- 10 intro, 10.1-10.2
- 10.7 intro, 10.7.1, 10.7.2, 10.7.4
- 10.8 Interpolation and Double Descent
Läsning i IDM
- 6.7 till 6.8.2
Här finns ett enkelt räkneexempel på hur ett neuralt nätverk (MLP) beräknar anpassade värden: länk
På torsdagen den 11/9 kommer jag hålla i en föreläsning, och då kommer jag utgå från att ni har gått igenom ovanstående material.
Labb
Installera keras på egen dator: Vi kommer att använda keras i Rstudio för att skatta olika neurala nätverk. Följ instruktioner här (ISL) och här (posit). Det kan lite tid att få allt att fungera, så börja installera så snart som möjligt.
D4: pdf (uppdaterad 2025)
CHEAT SHEET for Keras Utvärdering vid klassificering kan göras med funktionen class_evaluation_keras().
Kursvecka 5: Neurala Nätverk 2
Denna vecka kommer vi fortsätta med neurala nätverk, och kolla närmare på:
- Optimieringen
- Regularisering
- Faltade nätverk (Convolutional neural network)
- Autoencoders
Se dessa videor om optimering:
Se dessa videor om regularisering:
- Overfitting in a Neural Network explained
- Regularization in a Neural Network explained
- Deep Neural Network Regularization - Part 1
- Why Regularization Reduces Overfitting
- Dropout Regularization
- Other Regularization Methods
Batch normalization:
- Normalizing Activations in a Network
- Fitting Batch Norm Into Neural Networks
- Why Does Batch Norm Work?
Autoencoders:
Läsning i ISL
- 10.3
- 10.7.2, 10.7.4
Läsning i Data Mining and Machine Learning: Fundamental Concepts and Algorithms, länk till kapitel 26
26.4 Regularization
26.3 Convolutional Neural Networks:
- Ni behöver inte ha koll på alla matematiska detaljer här
- Fokusera på koncepten: Kolla på exemplen och figurerna
Faltade nätverk: läs här
F8 Slides: pdf (uppdaterad 2025)
D5: pdf (uppdaterad 2025)
CHEAT SHEET for Keras Utvärdering vid klassificering kan göras med funktionen class_evaluation_keras().
Kursvecka 6: Klusteranalys
Läsning i ISL:
- 12.1 The Challenge of Unsupervised Learning
- 12.4 Clustering Methods
Läsning i IDM
- 5.1
- 5.2
- 5.3
- 2.2.1-2.4.5, 2.4.9-2.4.10
- 5.4
- 5.5
- 8.1
Frivillig fördjupning:
- 12.2 Principal Components Analysis (ISL)
- 12.3 Missing Values and Matrix Completion (ISL)
Kursvecka 7 och framåt: Projekt
Föreläsning 11 kommer att ta upp:
- Modellering och modellval
- Utblickar inom några olika områden inom ML
- Sammanfattning av kursen
F11 Slides: pdf (uppdaterad 2025)
Nu ska ni arbeta med projektet och förbereda er inför datortentan.
Projekt (uppdaterad 2025)
Generella instruktioner finns här.
Här finns råd/rekommendationer för datahatering och modellering: länk
I kursrummet på Lisam under Samarbetsyta finns det en Excel-fil där ni ska skriva in vilket dataset som er grupp har valt.
Utgå från denna mall för er rapport: (Notera att det finns instruktioner i denna mall)
Fler mallar som kan vara till hjälp:
Deadline för projektet finns här Ladda upp er pdf-fil i rätt mapp på Samarbetsytan i kursrummet på Lisam innan dess. Seminariet med presentation och opponering är 2025-10-20. Efter opponeringen på seminariet ska ni komplettera er rapport, och den kompletterade rapporten ska lämnas in i en inlämning på Lisam.
Litteratur som ni kan ha nytta av under projektet:
- IDM: 2, 6.11, 10
- ISL: 13
Tenta
Tentan är en datortenta i SU-sal. Glöm inte att anmäla er!
Datum för tentor:
- Första tentan: 2025-10-24 kl 8 - 13
- Andra tentan: 2025-12-05 kl 8 - 13
- Tredje tentan: troligen april 2026
Internet kommer inte att vara tillgängligt på tentan.
Fysiska hjälpmedel
An Introduction to Statistical Learning with Applications in R av Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani, första eller andra upplagan
Introduction to Data Mining, av Pang-Ning Tan, Michael Steinbach, Anuj Karpatne och Vipin Kumar, första eller andra upplagan
Dessa böcker ska inte ha några anteckningar, får innehålla flärpar med följande begränsningar: max en flärp per sida och max fem ord på varje flärp. Flärpar ska endast användas som bokmärken och inte som anteckningar. Post-It-lappar får inte användas som flärpar. Under- och överstrykningar av text är tillåtet.
Digitala hjälpmedel
Digitala hjälpmedel som kommer att finns i datortentasystemet:
- pdf med ISL
- Samling av koder, guider etc som används under kursen. Exakt lista med filer sätts närmare tentan.
- Dokumentationen som finns i Rstudio
Övrig information
Efter kursen
Mer info kommer.
Sidansvarig: Josef Wilzén
Senast uppdaterad: 2025-08-14
