Skip to ContentSkip to Navigation
Over onsNieuws en agendaNieuwsberichten

Marco Wiering - Deep Extensions of Support Vector Machines

22 januari 2013

Machine learning algorithms are very useful for regression and classification problems. These algorithms learn to extract a predictive model using a dataset of examples containing input vectors and target outputs. Among all machine learning algorithms, currently the most popular method is the Support Vector Machine (SVM). SVMs have been used for many engineering applications such as object recognition, face recognition, fMRI-scan classification and medical diagnosis.

In this presentation we will study two different extensions of the standard SVM. The first method that will be presented is the deep Support Vector Machine (DSVM). The original SVM has a single layer with kernel functions and is therefore a shallow model. The DSVM can use an arbitrary number of layers, in which lower-level layers contain support vector machines that learn to extract relevant features from the outputs of one layer below. The highest level model then performs the actual prediction using the extracted features as inputs. The DSVM is compared to the regular SVM on a large number of regression datasets and the results show that the DSVM significantly outperforms the SVM on most datasets. Another extension which will be presented is the neural SVM (NSVM). The NSVM uses neural networks to extract features that are given to an SVM to finally predict the output. We have used the NSVM to construct an autoencoder, basically a method for doing non-linear principle component analysis (PCA). The autoencoding NSVM is compared to standard PCA and a neural network autoencoder on the task of dimensionality reduction of eye images. The results show very favorable results for the autoencoding NSVM compared to these state-of-the-art methods.

Laatst gewijzigd:04 juli 2014 21:36
printOok beschikbaar in het: English

Meer nieuws

  • 21 februari 2018

    Provincie en RUG maken werk van duurzame landbouw

    De Provincie Groningen en de Rijksuniversiteit Groningen (RUG) slaan de handen ineen om de landbouwsector verder te verduurzamen. Hiertoe wordt een Bijzondere Leerstoel Natuurinclusieve Landbouw opgericht aan de RUG. De Provincie​draagt via haar Programma...

  • 19 februari 2018

    Prinses Beatrix en Prinses Mabel bij uitreiking 4e Prins Friso Ingenieursprijs in Groningen

    Het Koninklijk Instituut Van Ingenieurs (KIVI) reikt op 21 maart 2018 voor de vierde keer de Prins Friso Ingenieursprijs uit aan de Ingenieur van het Jaar. Ook dit jaar zijn Prinses Beatrix en Prinses Mabel hierbij aanwezig. ​De Rijksuniversiteit Groningen,...

  • 15 februari 2018

    Populaire wetenschapsblogger deelt spintronicafilm

    Een filmpje over het onderzoek van RUG-natuurkundige Bart van Wees is opgepikt door de populaire wetenschapsblogger Hashem Al-Ghaili. Via zijn Facebook site is de film in een paar dagen tijd meer dan 260.000 keer bekeken en ruim 2.100 keer gedeeld....