Statistisk inlärning och maskininlärning

Kursen består av två delar: statistisk inlärning och maskininlärning. Den första delen fokuserar på tillämpade aspekter av statistisk inlärning, men omfattar även de bakomliggande algoritmerna. Övervakade metoder behandlas med särskild betoning på klassificering, inklusive logistisk regression, klassificeringsträd, linjär och kvadratisk diskriminantanalys, K-nearest neighbour och support vector machines. Regressionsmetoder som linjär regression, splines, generaliserade additiva modeller och regressionsträd ingår också. Vidare behandlas oövervakade metoder som principalkomponentanalys, k-means och hierarkisk klustring. Modellvalidering behandlas genom korsvalidering och bootstrapmetoder. Kursen tar också upp regularisering vid modellval, analys av högdimensionella data samt förbättring av prediktionsprestanda genom metoder som model averaging, bagging och boosting.

Den andra delen introducerar maskininlärning med fokus på neurala nätverk och djupinlärning. Perceptronet introduceras som ett grundelement för linjär separabilitet, och dess begränsningar i klassificeringsproblem diskuteras. Därefter behandlas olika aktiveringsfunktioner och användningen av sigmoid perceptron för att hantera icke-linjära problem. Kursen omfattar även olika typer av inlärningsparadigm såsom övervakad, oövervakad och förstärkningsinlärning. Feedforward-neurala nätverk och algoritmen för backpropagation behandlas, liksom återkommande neurala nätverk (RNN). Kursen avslutas med en översikt av djupinlärning där grundläggande principer och olika typer av arkitekturer diskuteras utifrån deras tillämpbarhet i praktiska problem.