Empirische Prozesse
Skriptum zu einer Spezialvorlesung, August 2017.
Zuletzt überarbeitet im Januar 2024.
Reiter
Empirische Prozesse spielen in der nichtparametrischen Statistik eine zunehmend wichtige Rolle. Unter Verwendung und Weiterentwicklung von Methoden aus der Wahrscheinlichkeitstheorie studiert man Konsistenz und Grenzverhalten empirischer Verteilungen und Partialsummenprozesse.
Eine typische Fragestellung ist wie folgt: Seien \(X_1, X_2, X_3, \ldots\) unabhängige, identisch verteilte Zufallsvariablen mit unbekannter Verteilung \(P\) auf einem Raum \(\cal{X}\). Ein nichtparametrischer Schätzer für \(P\) ist die empirische Verteilung \(P_n\) von \(X_1, X_2, \ldots, X_n\). Das heißt, für Teilmengen \(D\) von \(\cal{X}\) ist \(P_n(D)\) gleich \(\#\{i \leq n : X_i \in D\}/n\). Nun betrachten wir eine ganze Familie \(\cal{D}\) von Teilmengen von \(\cal{X}\). Unter welchen Voraussetzungen an \(P\) und \(\cal{D}\) konvergiert das Supremum von \(|P_n(D) - P(D)|\) über alle \(D \in {\cal{D}}\) mit wachsendem \(n\) gegen Null (in Wahrscheinlichkeit)?
Eine typische Fragestellung ist wie folgt: Seien \(X_1, X_2, X_3, \ldots\) unabhängige, identisch verteilte Zufallsvariablen mit unbekannter Verteilung \(P\) auf einem Raum \(\cal{X}\). Ein nichtparametrischer Schätzer für \(P\) ist die empirische Verteilung \(P_n\) von \(X_1, X_2, \ldots, X_n\). Das heißt, für Teilmengen \(D\) von \(\cal{X}\) ist \(P_n(D)\) gleich \(\#\{i \leq n : X_i \in D\}/n\). Nun betrachten wir eine ganze Familie \(\cal{D}\) von Teilmengen von \(\cal{X}\). Unter welchen Voraussetzungen an \(P\) und \(\cal{D}\) konvergiert das Supremum von \(|P_n(D) - P(D)|\) über alle \(D \in {\cal{D}}\) mit wachsendem \(n\) gegen Null (in Wahrscheinlichkeit)?
Inhalt
I. Einleitung
Empirische Prozesse
Partialsummenprozesse
Abstrakter Rahmen
II. Uniforme Konsistenz mittels Approximationen
Bracketing
Endlichdimensionale Approximationen
III. Symmetrisierungen
Die erste Symmetrisisierung
Eine Anwendung auf empirische Verteilungsfunktionen
Die zweite Symmetrisierung
Entsymmetrisierung
IV. Mehr Details zum uniformen empirischen Prozess
Univariate Exponentialungleichungen
Die allgemeine Vorgehensweise
Die Ungleichungen von Hoeffding und Bennet
Concentration of Measure
V. Mengenindizierte empirische Prozesse
Glivenko-Cantelli-Klassen
Vapnik-Cervonenkis-Theorie
Vapnik-Cervonenkis-Klassen
VI. Abstrakte Gesetze der großen Zahlen
Überdeckungszahlen
Funktionenklassen
Uniforme Konsistenz allgemein
Zufällige signierte Maße
Verfeinerungen
Anwendung auf Dichteschätzung
VII. Konvergenz in Verteilung
Äußere Erwartungswerte
Definition und Eigenschaften der Verteilungskonvergenz
Stetige und asymptotisch stetige Abbildungen
Gleichmäßige Konvergenz
Schwache Konvergenz (in Wahrscheinlichkeit)
Straffheit
Funktionale Grenzwertsätze
Exkurs: Der Satz von Stone-Weierstrass
VIII. Brownsche Bewegung und Brücke
Stochastische Gleichstetigkeit auf [0,1]
Donskers Invarianzprinzipien
Anwendung auf getrimmte Mittelwerte
Verteilungen von Funktionalen von Gaußprozessen
Der uniforme Quantilprozess
Anwendungen auf Rangstatistiken und -prozesse
IX. Chaining
Maximalungleichungen
Anwendungen
X. Kombinatorische Prozesse
XI. Weitere statistische Anwendungen
Maximum-Likelihood-Schätzer
Zensierte Daten
I. Einleitung
Empirische Prozesse
Partialsummenprozesse
Abstrakter Rahmen
II. Uniforme Konsistenz mittels Approximationen
Bracketing
Endlichdimensionale Approximationen
III. Symmetrisierungen
Die erste Symmetrisisierung
Eine Anwendung auf empirische Verteilungsfunktionen
Die zweite Symmetrisierung
Entsymmetrisierung
IV. Mehr Details zum uniformen empirischen Prozess
Univariate Exponentialungleichungen
Die allgemeine Vorgehensweise
Die Ungleichungen von Hoeffding und Bennet
Concentration of Measure
V. Mengenindizierte empirische Prozesse
Glivenko-Cantelli-Klassen
Vapnik-Cervonenkis-Theorie
Vapnik-Cervonenkis-Klassen
VI. Abstrakte Gesetze der großen Zahlen
Überdeckungszahlen
Funktionenklassen
Uniforme Konsistenz allgemein
Zufällige signierte Maße
Verfeinerungen
Anwendung auf Dichteschätzung
VII. Konvergenz in Verteilung
Äußere Erwartungswerte
Definition und Eigenschaften der Verteilungskonvergenz
Stetige und asymptotisch stetige Abbildungen
Gleichmäßige Konvergenz
Schwache Konvergenz (in Wahrscheinlichkeit)
Straffheit
Funktionale Grenzwertsätze
Exkurs: Der Satz von Stone-Weierstrass
VIII. Brownsche Bewegung und Brücke
Stochastische Gleichstetigkeit auf [0,1]
Donskers Invarianzprinzipien
Anwendung auf getrimmte Mittelwerte
Verteilungen von Funktionalen von Gaußprozessen
Der uniforme Quantilprozess
Anwendungen auf Rangstatistiken und -prozesse
IX. Chaining
Maximalungleichungen
Anwendungen
X. Kombinatorische Prozesse
XI. Weitere statistische Anwendungen
Maximum-Likelihood-Schätzer
Zensierte Daten
Weitere Literatur
D. Pollard (1984). Convergence of Stochastic Processes.
Springer Verlag.
(Sehr schön geschriebenes Buch. Nur die Theorie der schwachen Konvergenz ist nicht auf dem neuesten Stand.)
D. Pollard (1990). Empirical Processes: Theory and Applications.
NSF-CBMS Regionial Conference Series in Probability and Statistics 2, Institute of Mathematical Statistics.
(Sehr kompakte Darstellung der allgemeinen Theorie. Die Vapnik-Cervonenkis-Theorie wird in Pollard (1984) besser dargestellt.)
G.R. Shorack and J.A. Wellner (1986). Empirical Processes with Applications to Statistics.
Wiley and Sons.
(Enthält sehr viel Wissenswertes zum klassischen empirischen Prozess und Partialsummenprozessen.)
A.W. van der Vaart and J.A. Wellner (1996). Weak Convergence and Empirical Processes. With Applications to Statistics.
Springer Verlag.
(In dieser Liste das aktuellste und unfassendste Buch. Leider werden manche Resultate nur für empirische Prozesse oder Partialsummenprozesse im engeren Sinne und nicht im allgemeinen Rahmen von Pollard (1990) formuliert.)
D. Pollard (1984). Convergence of Stochastic Processes.
Springer Verlag.
(Sehr schön geschriebenes Buch. Nur die Theorie der schwachen Konvergenz ist nicht auf dem neuesten Stand.)
D. Pollard (1990). Empirical Processes: Theory and Applications.
NSF-CBMS Regionial Conference Series in Probability and Statistics 2, Institute of Mathematical Statistics.
(Sehr kompakte Darstellung der allgemeinen Theorie. Die Vapnik-Cervonenkis-Theorie wird in Pollard (1984) besser dargestellt.)
G.R. Shorack and J.A. Wellner (1986). Empirical Processes with Applications to Statistics.
Wiley and Sons.
(Enthält sehr viel Wissenswertes zum klassischen empirischen Prozess und Partialsummenprozessen.)
A.W. van der Vaart and J.A. Wellner (1996). Weak Convergence and Empirical Processes. With Applications to Statistics.
Springer Verlag.
(In dieser Liste das aktuellste und unfassendste Buch. Leider werden manche Resultate nur für empirische Prozesse oder Partialsummenprozesse im engeren Sinne und nicht im allgemeinen Rahmen von Pollard (1990) formuliert.)
Dateien
