Matroids Matheplanet Forum Index
Moderiert von Kleine_Meerjungfrau Monkfish epsilonkugel
Mathematik » Stochastik und Statistik » limsup bei einer Funktion mit Zufallsvariablen
Druckversion
Druckversion
Antworten
Antworten
Autor
Universität/Hochschule limsup bei einer Funktion mit Zufallsvariablen
BieneMaja
Junior Letzter Besuch: im letzten Monat
Dabei seit: 25.03.2020
Mitteilungen: 6
Zum letzten BeitragZum nächsten BeitragZum vorigen BeitragZum erstem Beitrag  Themenstart: 2020-03-27


Hallo,

bestimmt werden soll (siehe auch untere Umformung)

$$\limsup_{n \to \infty} \left|\frac{\frac{2}{n} (l(\beta) - l(\hat{\beta})) - (\beta - \hat{\beta})^T \nabla^2 l(\hat{\beta})(\beta - \hat{\beta})}{(\beta - \hat{\beta})^T \nabla^2 l(\hat{\beta}) (\beta - \hat{\beta})}\right|$$
wobei $l$ die log-Likelihood-Funktion im Modell der logistischen Regression ist (braucht man wegen meiner unteren Umformulierung vermutlich nicht zu kennen, um mir zu helfen) mit einer Stichprobenzahl von $n$ von Beobachtungen von der Form $(y_i,X_i)$, wobei $y_i \in \{0,1\}$ und $X_i \in R^p$, $\beta \in R^p$ ist ein unbekannter Vektor und $\hat{\beta}$ ist der MLE.

O.B.d.A. nehme ich an, dass $y_i = 0$ für alle $i = 1,\dots,n$ und forme den Ausdruck um zu

$$\left|\limsup_{n \to \infty} \frac{\frac{2}{n} \sum_{i=1}^n \text{log}\left(\frac{1+e^{X_i^T\beta}}{1+e^{X_i^T\hat{\beta}}}\right) - (\beta - \hat{\beta})^T X^T \text{diag}\left(\frac{e^{X_1\hat{\beta}}}{(1+e^{X_1\hat{\beta}})^2},\dots,\frac{e^{X_n\hat{\beta}}}{\left(1+e^{X_n\hat{\beta}}\right)^2}\right)X(\beta - \hat{\beta})}{(\beta - \hat{\beta})^T X^T \text{diag}\left(\frac{e^{X_1\hat{\beta}}}{(1+e^{X_1\hat{\beta}})^2},\dots,\frac{e^{X_n\hat{\beta}}}{\left(1+e^{X_n\hat{\beta}}\right)^2}\right)X(\beta - \hat{\beta})}\right|$$
$$= \left|\limsup_{n \to \infty} \frac{\frac{2}{n}\sum_{i=1}^n \text{log}\left(\frac{1+e^{\sum_{j=1}^p x_{ij}\beta_j}}{1+e^{\sum_{j=1}^p x_{ij}\hat{\beta}_j}}\right) - \sum_{s=1}^p \sum_{m=1}^p \sum_{i=1}^n \frac{e^{\sum_{j=1}^p x_{ij}\beta_j}}{\left(1+e^{\sum_{j=1}^p x_{ij}\hat{\beta_j}}\right)^2}x_{im}x_{is}(\beta_m - \hat{\beta}_m)(\beta_s - \hat{\beta}_s)}{\sum_{s=1}^p \sum_{m=1}^p \sum_{i=1}^n \frac{e^{\sum_{j=1}^p x_{ij}\beta_j}}{\left(1+e^{\sum_{j=1}^p x_{ij}\hat{\beta_j}}\right)^2}x_{im}x_{is}(\beta_m - \hat{\beta}_m)(\beta_s - \hat{\beta}_s)}\right|$$
Vielleicht könnte man das Gesetz der großen Zahlen benutzen, um zumindest eine fast sichere Aussage zu machen, indem man zeigt, dass

$$\mathbb{E}\left[\frac{1}{n} \sum_{i=1}^n \text{log}\left(\frac{1+e^{X_i^T\beta}}{1+e^{X_i^T\hat{\beta}}}\right)\right] = \frac{1}{2}(\beta - \hat{\beta})^T X^T \text{diag}\left(\frac{e^{X_1\hat{\beta}}}{(1+e^{X_1\hat{\beta}})^2},\dots,\frac{e^{X_n\hat{\beta}}}{\left(1+e^{X_n\hat{\beta}}\right)^2}\right)X(\beta - \hat{\beta})$$
Allerdings wüsste ich nicht wie, besonders weil die Verteilung der $X_i$ nicht spezifiziert ist.

Über jegliche Hilfsversuche wäre ich sehr dankbar!



Eine Notiz zu diese Forumbeitrag schreiben Notiz   Profil  Quote  Link auf diesen Beitrag Link
BieneMaja
Junior Letzter Besuch: im letzten Monat
Dabei seit: 25.03.2020
Mitteilungen: 6
Zum letzten BeitragZum nächsten BeitragZum vorigen BeitragZum erstem Beitrag  Beitrag No.1, vom Themenstarter, eingetragen 2020-03-30


Ich habe noch eine weitere Idee, und zwar eine Anwendung des Borel-Cantelli-Lemma´s zu benutzen:

Sei $a \in R$ mit

$$ \sum_{n=1}^{\infty} P(Z_n > a) < \infty.$$
Dann gilt

$$\limsup_{n \to \infty} Z_n \leq a$$
fast sicher.

Es wäre gut, wenn ich dies für $a = 0$ oder für
$$a = \frac{l(\beta)-l(\hat{\beta}) - \frac{1}{2} (\beta -\hat{\beta})^T \nabla^2 l(\hat{\beta}) (\beta - \hat{\beta})}{\lVert\beta - \hat{\beta}\rVert^2}$$
zeigen könnte.

Hier bräuchte man aber wohl sogar die Verteilung und nicht nur den Erwartungswert der $X_i$ wie bei meiner anderen Idee. Da ich beides nicht habe, erscheint es mir unmöglich.

Ideal wäre, wenn ich nicht nur zeigen könnte, was der limsup fast sicher ist, sondern zu zeigen, dass es $0$ ist, oder dass es eines der obigen "a´s" ist. Dies erscheint mir aber ebenso unmöglich ohne etwas über die $X_i$ zu wissen.

Es könnte auch sein, dass ich das Falsche betrachte, möglicherweise muss die 2. Ableitung nicht beim MLE, sondern beim unbekannten Vektor oder beim wahren zugrundeliegenden Parameter ausgewertet werden - auch dann hätte ich aber keine weiteren Ideen.

Erscheint das Ganze noch jemanden unmöglich?



Eine Notiz zu diese Forumbeitrag schreiben Notiz   Profil  Quote  Link auf diesen Beitrag Link
BieneMaja
Junior Letzter Besuch: im letzten Monat
Dabei seit: 25.03.2020
Mitteilungen: 6
Zum letzten BeitragZum nächsten BeitragZum vorigen BeitragZum erstem Beitrag  Beitrag No.2, vom Themenstarter, eingetragen 2020-03-31


Vermutlich habe ich nicht den richtigen Ausdruck angeschaut. Stattdessen sollte ich das ganze mit der 2. Ableitung ausgewertet beim wahren zugrundeliegenden Parameter betrachten.

Das vermute ich, weil ich auf eine unerwartete geschätzte Lösung für meine obige Frage gekommen bin.

Als Lösung erwarte ich $0$ oder $\frac{l(\beta)-l(\hat{\beta}) - \frac{1}{2} (\beta -\hat{\beta})^T \nabla^2 l(\hat{\beta}) (\beta - \hat{\beta})}{\lVert\beta - \hat{\beta}\rVert^2}$. Auch eine obere Abschätzung dazu würde reichen.

Hätte jemand dafür eine Idee?

Falls es jemanden interessiert: Ich bin für die obige Frage auf die geschätzte Lösung 1 gekommen. Dies ergibt sich aus der Approximation von $l(\beta)$ mit dem Taylor-Polynom 2. Grades um $\beta = \hat{\beta}$.



Eine Notiz zu diese Forumbeitrag schreiben Notiz   Profil  Quote  Link auf diesen Beitrag Link
BieneMaja wird per Mail über neue Antworten informiert.
Neues Thema [Neues Thema] Antworten [Antworten]    Druckversion [Druckversion]

 


Wechsel in ein anderes Forum:
 Suchen    
 
All logos and trademarks in this site are property of their respective owner. The comments are property of their posters, all the rest © 2001-2020 by Matroids Matheplanet
This web site was originally made with PHP-Nuke, a former web portal system written in PHP that seems no longer to be maintained nor supported. PHP-Nuke is Free Software released under the GNU/GPL license.
Ich distanziere mich von rechtswidrigen oder anstößigen Inhalten, die sich trotz aufmerksamer Prüfung hinter hier verwendeten Links verbergen mögen.
Lesen Sie die Nutzungsbedingungen, die Distanzierung, die Datenschutzerklärung und das Impressum.
[Seitenanfang]