Skip to ContentSkip to Navigation
Over onsNieuws en agendaNieuwsberichten

Extra Colloquium Mathematics - Max Welling

17 maart 2011

Join us for coffee and tea at 15.45 p.m.

 

Date: Thursday, March 17th 2011

Speaker: Max Welling

Room: 5161.0289 (Bernoulliborg),

Time: 16.15

 

 

Title: Herding: Learning with Weakly Chaotic Nonlinear Dynamical Systems



Abstract:

 

We describe a class of deterministic weakly chaotic dynamical systems with infinite memory. These ``herding systems'' combine learning and inference into one algorithm. They convert moments directly into a sequence of pseudo-samples without learning an explicit model. Using the "perceptron cycling theorem" we can easily show that Monte Carlo estimates based on these pseudo-samples converge at an optimal rate of O(1/T), due to infinite range negative auto-correlations. We show that the information content of these sequences, as measured by sub-extensive entropy, can grow as fast as  K log(N), which is faster than the usual 1/2 K log(N) for sequences generated by random posterior sampling from a Bayesian posterior model. In continuous spaces we can control an infinite number of moments
by formulating herding in a Hilbert space. Also in this case sample averages over arbitrary functions in the Hilbert space will converge at an optimal rate of O(1/T).
More generally, we advocate the application of the rich theoretical framework of nonlinear dynamical systems and chaos theory to statistical learning.

 

 

 

 

Colloquium coordinators are Prof.dr. A.C.D. van Enter (e-mail : A.C.D.van.Enter@rug.nl) and

Dr. M. Dür (e-mail: M.E.Dur@rug.nl)

Laatst gewijzigd:06 juni 2018 14:04

Meer nieuws

  • 02 augustus 2018

    Zeer uitzonderlijk eiwit biedt mogelijkheden voor nieuwe antibiotica

    Een onderzoeksgroep van de RUG onder leiding van Dirk Slotboom heeft een bijzonder eiwit ontdekt dat mogelijk een grote rol kan spelen in de ontwikkeling van nieuwe antibiotica. De bevindingen zijn op 2 augustus gepubliceerd in het tijdschrift Nature...

  • 24 juli 2018

    De natuur weet antwoord

    Spreeuwen en mieren presteren met minimaal denkvermogen iets wat voor de slimste robots te ingewikkeld is: functioneren als een collectief. Daarom spiekt hoogleraar Ming Cao graag bij de natuur.

  • 23 juli 2018

    Drie jonge onderzoekers naar buitenlandse topinstituten met Rubicon-beurs

    Drie veelbelovende, pas gepromoveerde RUG-wetenschappers gaan dankzij het programma Rubicon van de Nederlandse Organisatie voor Wetenschappelijk Onderzoek (NWO) twee jaar onderzoek doen aan buitenlandse topinstituten. Het gaat om Mayra Diosa-Toro, Machteld...