Statistisk inlärning och maskininlärning

Efter godkänd kurs ska studenten kunna:

1. välja och motivera statistiska modeller och metoder för dataanalys av verkliga problem, särskilt när den underliggande datagenererande mekanismen är okänd.
2. tillämpa ett urval av övervakade och oövervakade statistiska inlärningsalgoritmer på verkliga problem.
3. utvärdera och optimera prestandan hos inlärningsmodeller och algoritmer utifrån teoretisk och empirisk grund, samt presentera och bedöma deras förväntade noggrannhet och osäkerhet.
4. kombinera modeller (t.ex. genom ensemblemetoder) för att uppnå högre prediktiv noggrannhet.
5. genomföra teoretiska och empiriska jämförelser för att bedöma vilket neuralt nätverk som är mest lämpligt för ett givet problem.
6. tillämpa, utvärdera och optimera neurala nätverk för olika typer av problem.
7. utforma och implementera djupinlärningsmodeller för verkliga tillämpningar.

Kursen består av två delar: statistisk inlärning och maskininlärning. Den första delen fokuserar på tillämpade aspekter av statistisk inlärning, men omfattar även de bakomliggande algoritmerna. Övervakade metoder behandlas med särskild betoning på klassificering, inklusive logistisk regression, klassificeringsträd, linjär och kvadratisk diskriminantanalys, K-nearest neighbour och support vector machines. Regressionsmetoder som linjär regression, splines, generaliserade additiva modeller och regressionsträd ingår också. Vidare behandlas oövervakade metoder som principalkomponentanalys, k-means och hierarkisk klustring. Modellvalidering behandlas genom korsvalidering och bootstrapmetoder. Kursen tar också upp regularisering vid modellval, analys av högdimensionella data samt förbättring av prediktionsprestanda genom metoder som model averaging, bagging och boosting.

Den andra delen introducerar maskininlärning med fokus på neurala nätverk och djupinlärning. Perceptronet introduceras som ett grundelement för linjär separabilitet, och dess begränsningar i klassificeringsproblem diskuteras. Därefter behandlas olika aktiveringsfunktioner och användningen av sigmoid perceptron för att hantera icke-linjära problem. Kursen omfattar även olika typer av inlärningsparadigm såsom övervakad, oövervakad och förstärkningsinlärning. Feedforward-neurala nätverk och algoritmen för backpropagation behandlas, liksom återkommande neurala nätverk (RNN). Kursen avslutas med en översikt av djupinlärning där grundläggande principer och olika typer av arkitekturer diskuteras utifrån deras tillämpbarhet i praktiska problem.

• Inlämningsuppgift
• Skriftlig tentamen
• Projektarbete
• Skriftlig reflektion
• Seminarium

Som betygsskala används U–G.

On completion of the course, students will be able to:

1. select and justify statistical models and methods for the data analysis of real-world problems based on reasoned argument, especially when the underlying data-generating mechanism is unknown
2. apply a range of supervised and unsupervised statistical learning algorithms to real-world problems
3. evaluate and optimise the performance of learning models and algorithms using theoretical explanation and empirical evidence, and communicate their expected accuracy and uncertainty
4. combine multiple models (e.g., through ensemble methods) to achieve higher predictive accuracy
5. conduct both theoretical and empirical comparative analyses to decide which neural network is the most suitable for a particular task
6. apply, evaluate, and optimise neural networks across a wide range of problems
7. design and implement deep learning models for real-world applications.