Skip to ContentSkip to Navigation
Over onsNieuws en agendaNieuwsberichten

Extra Colloquium Mathematics - Max Welling

17 maart 2011

Join us for coffee and tea at 15.45 p.m.

 

Date: Thursday, March 17th 2011

Speaker: Max Welling

Room: 5161.0289 (Bernoulliborg),

Time: 16.15

 

 

Title: Herding: Learning with Weakly Chaotic Nonlinear Dynamical Systems



Abstract:

 

We describe a class of deterministic weakly chaotic dynamical systems with infinite memory. These ``herding systems'' combine learning and inference into one algorithm. They convert moments directly into a sequence of pseudo-samples without learning an explicit model. Using the "perceptron cycling theorem" we can easily show that Monte Carlo estimates based on these pseudo-samples converge at an optimal rate of O(1/T), due to infinite range negative auto-correlations. We show that the information content of these sequences, as measured by sub-extensive entropy, can grow as fast as  K log(N), which is faster than the usual 1/2 K log(N) for sequences generated by random posterior sampling from a Bayesian posterior model. In continuous spaces we can control an infinite number of moments
by formulating herding in a Hilbert space. Also in this case sample averages over arbitrary functions in the Hilbert space will converge at an optimal rate of O(1/T).
More generally, we advocate the application of the rich theoretical framework of nonlinear dynamical systems and chaos theory to statistical learning.

 

 

 

 

Colloquium coordinators are Prof.dr. A.C.D. van Enter (e-mail : A.C.D.van.Enter@rug.nl) and

Dr. M. Dür (e-mail: M.E.Dur@rug.nl)

Laatst gewijzigd:04 juli 2014 21:24

Meer nieuws

  • 16 mei 2018

    Het nut van algen boven water

    Tussen de Bahama’s en Ierland goten algenonderzoeksters Maria van Leeuwe en Jacqueline Stefels van de RUG honderden liters oceaanwater door hun filters. Ze voeren op onderzoeksschip de Pelagia een etappe van de NICO-expeditie mee. Het Netherlands Initiative...

  • 09 mei 2018

    Petra Rudolf gekozen tot nieuwe voorzitter European Physical Society

    RUG-hoogleraar Experimentele Vaste Stof Fysica Petra Rudolf is verkozen tot 'president' van de European Physical Society (EPS). Met ingang van april 2019 zal zij deze organisatie, die natuurkundige vakverenigingen in heel Europa (inclusief Turkije en...

  • 08 mei 2018

    Professor Sijbren Otto wint eervolle Royal Society of Chemistry Award

    Aan hoogleraar Systeemchemie Sijbren Otto van de Rijksuniversiteit Groningen (RUG) is de Supramolecular Chemistry Award 2018 van de Britse Royal Society of Chemistry toegekend. Otto ontvangt deze tweejaarlijkse prijs voor zijn bijdrage aan het onderzoek...