| |
| Autor |
 Transinformation H(X;Y) |
|
Sinnfrei
Aktiv 
Dabei seit: 30.06.2021
Mitteilungen: 649
 |  Themenstart: 2023-05-23
|
Ich hänge gerade bei folgender Aufgabe, wo ich nicht weiss wie man den Transinformationsgehalt bestimmt.
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-05-23_025829.png
1)
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-05-23_025841.png
2)
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-05-23_025852.png
3)
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-05-23_025914.png
4)
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-05-23_025930.png
5)
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-05-23_025943.png
6)
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-05-23_030329.png
|
 Profil
|
rlk
Senior 
Dabei seit: 16.03.2007
Mitteilungen: 11649
Wohnort: Wien
| Beitrag No.1, eingetragen 2023-05-28
|
Hallo Sinnfrei,
die Ergebnisse 1-3 sind richtig. Was meinst Du mit den roten Klammern in der Antwort auf Frage 3?
Bei 4 fehlt in der ersten Gleichung der Term für den Fall $x=1$, das Ergebnis ist deshalb falsch. Weil
$$y_2(k) = y_1(k-1)$$
gilt und beide Wahrscheinlichkeiten nicht vom Zeitindex $k$ abhängen, kannst Du Dir die Berechnung von $\operatorname{prob}(y_2(k) = 0)$ und $\operatorname{prob}(y_2(k) = 1)$ ersparen.
Bei der Entropie von $y_1$ hast Du Dich verrechnet, $q_1=\bar{q_1}=\frac{1}{2}$. Das kann passieren, aber dass die Entropie einer binären Quelle nicht größer als $1~\mathrm{bit/Zeichen}$ ist, solltest Du wissen.
Bei $H(y_2)$ hast Du die falschen Wahrscheinlichkeiten aus 4 eingesetzt, aber richtig gerechnet.
Für die Berechnung der Trans-Information solltest Du wiederholen, was mit den Wahrscheinlichkeiten $P(x_i, y_j)$, $P(x_i \mid y_j)$ und $P(x_i)$ gemeint ist. Welche Werte können $x$ und $y$ annehmen, was folgt daraus für die Indizes $i$ und $j$?
Servus,
Roland
|
Profil
|
Sinnfrei
Aktiv
Dabei seit: 30.06.2021
Mitteilungen: 649
| Beitrag No.2, vom Themenstarter, eingetragen 2023-05-28
|
\quoteon(2023-05-28 19:37 - rlk in Beitrag No. 1)
Hallo Sinnfrei,
die Ergebnisse 1-3 sind richtig. Was meinst Du mit den roten Klammern in der Antwort auf Frage 3?
\quoteoff
Das ist ein Hinweis, der aus Gleichung (4-24) Kapitel (4-13) Einführung Automatentheorie kommt. Der Wahrscheinlichkeit des aktuellen Zustands wird die Wahrscheinlichkeit des vorherigen Zustands zugeordnet.
\quoteon
Bei 4 fehlt in der ersten Gleichung der Term für den Fall $x=1$, das Ergebnis ist deshalb falsch.
\quoteoff
Die Wahrscheinlichkeit mit $prob(x(k) = 1)$ steht da ja. Weiss daher nicht was du damit meinst.
\quoteon
Weil
$$y_2(k) = y_1(k-1)$$
gilt und beide Wahrscheinlichkeiten nicht vom Zeitindex $k$ abhängen, kannst Du Dir die Berechnung von $\operatorname{prob}(y_2(k) = 0)$ und $\operatorname{prob}(y_2(k) = 1)$ ersparen.
\quoteoff
Also ich weiss das $y_2$ von $y_1$ abhängt, dass steht bei dir hier und auch in Aufgabe 1 steht das dort aber warum ich die beiden Wahrscheinlichkeiten sparen kann, nur weil etwas nicht vom Zeitindex $k$ abhängt verstehe ich nicht. Was meinst du mit beide Wahrscheinlichkeiten sind nicht vom Zeitindex $k$ abhängig und welche beide Wahrscheinlichkeiten meinst du damit?
Nachtrag:
Mit beide Wahrscheinlichkeiten, meinst du die Wahrscheinlichkeiten von $y_2$ oder? Und wenn du sagst das die beiden Wahrscheinlichkeiten nicht vom Zeitindex $k$ abhängen, meinst du dann damit das die Wahrscheinlichkeiten für $y_2$ auch gleich $1/2$ sind? Dann würde ich ja für beide Entropien auf $1 Bit/Zeichen$ nach dieser Gleichung kommen, weil dann ja da stehen würde $prob(y_2(k)) = prob(y_1(k-1))$ und fallen die $k$'s weg hätten wir nur noch $prob(y_2) = prob(y_1)$.
\quoteon
Bei der Entropie von $y_1$ hast Du Dich verrechnet, $q_1=\bar{q_1}=\frac{1}{2}$. Das kann passieren, aber dass die Entropie einer binären Quelle nicht größer als $1~\mathrm{bit/Zeichen}$ ist, solltest Du wissen.
\quoteoff
Da war ich zuerst auch skeptisch über die 2 Bit/Zeichen aber ich hab da vergessen zu kürzen. Sollte dann 1 Bit/Zeichen raus kommen für $y_1$
\quoteon
Bei $H(y_2)$ hast Du die falschen Wahrscheinlichkeiten aus 4 eingesetzt, aber richtig gerechnet.
\quoteoff
Das verstehe ich eben noch nicht. Da müsstest du mir die Aufgabe 3 an der Stelle für $y_2$ genauer erklären.
\quoteon
Für die Berechnung der Trans-Information solltest Du wiederholen, was mit den Wahrscheinlichkeiten $P(x_i, y_j)$, $P(x_i \mid y_j)$ und $P(x_i)$ gemeint ist. Welche Werte können $x$ und $y$ annehmen, was folgt daraus für die Indizes $i$ und $j$?
\quoteoff
Nachtrag:
Ich weiss in der Aufgabe nicht, wie ich an die Wahrscheinlichkeiten von $x$ komme. Hab jetzt auch schon überall nachgeguckt aber ich komme da nicht weiter.
Ich habe hierfür mal die Matrix der bedingten Wahrscheinlichkeiten aufgestellt. Weiss aber nicht ob das so richtig ist.
Dazu hatte ich aber auch die Aufgabe 23 reingestellt, die anscheinend ohne meine Kenntnis entfernt wurde. Die Übungsaufgabe 32 sollte ja eigentlich dazu dienen, um mit dieser Aufgabe hier fertig zu werden.
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-05-28_221930.png
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-05-28_222050.png
Habe aber keine Ahnung, ob das richtig ist.
Vielleicht müsste man auch die $p's$ in $q's$ ändern. Da bin ich mir gerade auch nicht sicher.
Viele Grüße
Sinnfrei
|
Profil
|
Sinnfrei
Aktiv
Dabei seit: 30.06.2021
Mitteilungen: 649
| Beitrag No.3, vom Themenstarter, eingetragen 2023-05-29
|
Ich hatte den Fall für $x(k) = 0$ vergessen und nicht für $x(k) = 1$.
Ich würde die Gleichung aber dennoch komplett für $prob(y_2(k) = 1)$
aufschreiben, da man in der Aufgabe (4) danach für $p_0$ einen Zahlenwert einsetzen muss. Dann ist man dort auf der sicheren, falls man merkt, dass sich $p_0$ nicht aufhebt.
Zu Aufgabe 3)
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-05-29_210240.png
Zu Aufgabe 4)
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-05-29_210303.png
Jetzt müssten zumindest Aufgabe 3) und 4) stimmen.
Fehlt nur noch die Aufgabe 5). Dort würde ich wie in der Aufgabe Bedingte Wahrscheinlichkeit & Lineare Abhängigkeit
herangehen und zunächst einmal die Übergangswahrscheinlichkeiten an das Z.-Diagramm aufschreiben. Anschließend würde ich die Matrix der bedingten Wahrscheinlichkeiten $[P(Y|X)]$ daraus ableiten und daraus dann die Wahrscheinlichkeiten für $P(y_i)$ bestimmen, die wir ja bereits haben, die sich aus den jeweiligen Zeilensummen ergeben. Anschließend würde ich dann die Matrix der Verbundwahrscheinlichkeiten, mit Hilfe der Formel
$$P(Y|X) = {P(Y,X)\over P(Y)}$$
bestimmen um dann den Transinformationsgehalt zu bestimmen.
Also
Erstmal das Z.-Diagramm mit Übergangswahrscheinlichkeiten
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-05-29_205711.png
Hier ist schon das Problem, das wir $q_1$ und $q_0$ von Wert her nicht kennen. Also da schon mal ein Problem, das ich nicht weiss, ob die Herangehensweise bzw. meine Idee von oben richtig ist.
Anschließend folgt die Matrix der bedingten Wahrscheinlichkeiten.
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-05-29_213638.png
In der zweiten Zeile habe ich fälschlicherweise die Wahrscheinlichkeiten von $q_1$ und $\overline{q_1}$ aus Aufgabe 3) für $q_1$ und $q_0$, in die Matrix, eingesetzt. Daher weiss ich nicht mal, ob das richtig ist. Die Spaltensummen ergeben zumindest keinen Sinn, da hier die alle Wahrscheinlichkeiten größer $1$ sind.
Nachtrag:
Die Wahrscheinlichkeiten für $x$ sind ja in der Aufgabe gegeben.
$$prob(x(k) = 0) = p_0 = 0.5$$
Und daraus folgt dann ja auch, dass $$prob(x(k) = 1) = 1 - p_0 = 0.5$$
sein muss.
Ich habe jetzt mal eine andere Matrix der bedingten Wahrscheinlichkeiten aufgestellt aber weiss nicht ob das so richtig ist.
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-05-29_232442.png
Also falls das richtig ist, weiss ich nicht wie ich weiter machen muss, damit ich $p_0$ ins Spiel bekomme. Die Werte $q_0$ und $q_1$ sind ja Unbekannt.
|
Profil
|
rlk
Senior
Dabei seit: 16.03.2007
Mitteilungen: 11649
Wohnort: Wien
| Beitrag No.4, eingetragen 2023-05-29
|
Hallo Sinnfrei,
\quoteon(2023-05-28 23:39 - Sinnfrei in Beitrag No. 2)
\quoteon(2023-05-28 19:37 - rlk in Beitrag No. 1)
Hallo Sinnfrei,
die Ergebnisse 1-3 sind richtig. Was meinst Du mit den roten Klammern in der Antwort auf Frage 3?
\quoteoff
Das ist ein Hinweis, der aus Gleichung (4-24) Kapitel (4-13) Einführung Automatentheorie kommt. Der Wahrscheinlichkeit des aktuellen Zustands wird die Wahrscheinlichkeit des vorherigen Zustands zugeordnet.
\quoteon
\quoteoff
Ich würde das anders formulieren: die Wahrscheinlichkeiten $\operatorname{prob}(y_1=0)$ und $\operatorname{prob}(y_1=1)$ hängen nicht von der Zeit ab.
\quoteon
Bei 4 fehlt in der ersten Gleichung der Term für den Fall $x=1$, das Ergebnis ist deshalb falsch.
\quoteoff
Die Wahrscheinlichkeit mit $prob(x(k) = 1)$ steht da ja. Weiss daher nicht was du damit meinst.
\quoteoff
Ich hatte mich vertippt, es fehlt der Term $\operatorname{prob}(x(k) = 0)$. Wenn Du die Wahrscheinlichkeit ausrechnen willst, musst Du es so machen wie für $y_1$, wo Du ja auch die Fälle $x=0$ und $x=1$ berücksichtigt hast.
\quoteon
\quoteon
Weil
$$y_2(k) = y_1(k-1)$$
gilt und beide Wahrscheinlichkeiten nicht vom Zeitindex $k$ abhängen, kannst Du Dir die Berechnung von $\operatorname{prob}(y_2(k) = 0)$ und $\operatorname{prob}(y_2(k) = 1)$ ersparen.
\quoteoff
Also ich weiss das $y_2$ von $y_1$ abhängt, dass steht bei dir hier und auch in Aufgabe 1 steht das dort aber warum ich die beiden Wahrscheinlichkeiten sparen kann, nur weil etwas nicht vom Zeitindex $k$ abhängt verstehe ich nicht. Was meinst du mit beide Wahrscheinlichkeiten sind nicht vom Zeitindex $k$ abhängig und welche beide Wahrscheinlichkeiten meinst du damit?
Nachtrag:
Mit beide Wahrscheinlichkeiten, meinst du die Wahrscheinlichkeiten von $y_2$ oder? Und wenn du sagst das die beiden Wahrscheinlichkeiten nicht vom Zeitindex $k$ abhängen, meinst du dann damit das die Wahrscheinlichkeiten für $y_2$ auch gleich $1/2$ sind? Dann würde ich ja für beide Entropien auf $1 Bit/Zeichen$ nach dieser Gleichung kommen, weil dann ja da stehen würde $prob(y_2(k)) = prob(y_1(k-1))$ und fallen die $k$'s weg hätten wir nur noch $prob(y_2) = prob(y_1)$.
\quoteoff
Du hast in der Antwort auf Frage 1 richtig festgestellt, dass
$$y_2(k) = y_1(k-1)$$
gilt. Das Signal $y_2$ ist also das um einen Zeitschritt verzögerte Signal $y_1$. Alle nicht von der Zeit abhängigen Eigenschaften wie die Wahrscheinlichkeiten, den Wert 0 anzunehmen oder die Entropie haben daher für beide Signale die gleichen Werte.
\quoteon
\quoteon
Bei der Entropie von $y_1$ hast Du Dich verrechnet, $q_1=\bar{q_1}=\frac{1}{2}$. Das kann passieren, aber dass die Entropie einer binären Quelle nicht größer als $1~\mathrm{bit/Zeichen}$ ist, solltest Du wissen.
\quoteoff
Da war ich zuerst auch skeptisch über die 2 Bit/Zeichen aber ich hab da vergessen zu kürzen. Sollte dann 1 Bit/Zeichen raus kommen für $y_1$
\quoteoff
Deine Skepsis war schon richtig. $H(y_1) = 1~\mathrm{bit/Zeichen}$ ist richtig.
\quoteon
\quoteon
Bei $H(y_2)$ hast Du die falschen Wahrscheinlichkeiten aus 4 eingesetzt, aber richtig gerechnet.
\quoteoff
Das verstehe ich eben noch nicht. Da müsstest du mir die Aufgabe 3 an der Stelle für $y_2$ genauer erklären.
\quoteoff
Siehe oben. Du hast die Wahrscheinlichkeiten für $y_1$ richtig berechnet, mit derselben Methode kannst Du auch die von $y_2$ berechnen.
\quoteon
Für die Berechnung der Trans-Information solltest Du wiederholen, was mit den Wahrscheinlichkeiten $P(x_i, y_j)$, $P(x_i \mid y_j)$ und $P(x_i)$ gemeint ist. Welche Werte können $x$ und $y$ annehmen, was folgt daraus für die Indizes $i$ und $j$?
\quoteoff
Nachtrag:
Ich weiss in der Aufgabe nicht, wie ich an die Wahrscheinlichkeiten von $x$ komme. Hab jetzt auch schon überall nachgeguckt aber ich komme da nicht weiter.
\quoteoff
Welche Wahrscheinlichkeiten meinst Du? In der Frage steht doch $p_0=0.5$.
Welche Werte nimmt $x$ an?
\quoteon
Ich habe hierfür mal die Matrix der bedingten Wahrscheinlichkeiten aufgestellt. Weiss aber nicht ob das so richtig ist.
Dazu hatte ich aber auch die Aufgabe 23 reingestellt, die anscheinend ohne meine Kenntnis entfernt wurde.
\quoteoff
Meinst Du
https://matheplanet.at/matheplanet/nuke/html/viewtopic.php?topic=262487 ?
\quoteon
Die Übungsaufgabe 32 sollte ja eigentlich dazu dienen, um mit dieser Aufgabe hier fertig zu werden.
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-05-28_221930.png
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-05-28_222050.png
Habe aber keine Ahnung, ob das richtig ist.
\quoteoff
Nein, das ist es nicht.
\quoteon
Vielleicht müsste man auch die $p's$ in $q's$ ändern. Da bin ich mir gerade auch nicht sicher.
\quoteoff
Du sollst nicht raten, sondern die Begriffe lernen, verstehen und sie dann anwenden.
Servus,
Roland
[Die Antwort wurde nach Beitrag No.2 begonnen.]
|
Profil
|
Sinnfrei
Aktiv
Dabei seit: 30.06.2021
Mitteilungen: 649
| Beitrag No.5, vom Themenstarter, eingetragen 2023-05-30
|
\quoteon(2023-05-29 23:10 - rlk in Beitrag No. 4)
Nein, das ist es nicht.
\quoteon
Vielleicht müsste man auch die $p's$ in $q's$ ändern. Da bin ich mir gerade auch nicht sicher.
\quoteoff
Du sollst nicht raten, sondern die Begriffe lernen, verstehen und sie dann anwenden.
\quoteoff
Dann erkläre mir doch was ich machen muss. Warum lässt du mich dann noch weiter "raten". Du sollst mir mit dieser Aufgabe helfen und nicht noch eine Gegenfrage stellen, wenn ich schon nicht drauf komme und bereits mehrmals versucht habe dort irgendwie weiter zu kommen.
Da sagt der noch du sollst nicht raten. Ich denke die ganze Zeit über diese Aufgabe nach, weisst du das überhaupt?
Und einfach nur nein sagen hilft mir auch nicht weiter. Ich kenne das so, dass wir meist eine Matrix hatten, um auf den Transinformationsgehalt zu kommen. Hier haben vielleicht auch eine nur sehe ich das noch nicht.
Nachtrag (edited):
Jetzt sollte die Matrix der bedingten Wahrscheinlichkeiten stimmen.
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-05-30_183810.png
Nur komme ich jetzt auf einen negativen Wert für den Transinformationsgehalt.
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-05-30_184134.png
Bei der Aufgabe 3 und 4, habe ich nochmal genauer geschaut und bin darauf gekommen, dass die Wahrscheinlichkeiten für $y$ ja nicht richtig gerechnet wurden.
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-05-31_030311.png
Bei der 4 komme ich dann auf folgendes
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-05-31_030342.png
Welche Werte hätte denn $q_1$ und $q_0$?
|
Profil
|
Sinnfrei
Aktiv
Dabei seit: 30.06.2021
Mitteilungen: 649
| Beitrag No.6, vom Themenstarter, eingetragen 2023-06-01
|
Ich komme jetzt auf ein anderes Ergebnis als im Beitrag 3.
Denke, dass es so gemeint war, dass man auf der linken Seite der Gleichung de zwei Tupel für $y$ aufschreiben muss, also $prob(y(k) = 00)$ z.B, jetzt weiss ich nur nicht, ob die Wahrscheinlichkeiten für $y_1(k-1)$ vom Wert her so richtig sind oder richtig berechnet wurde, sodass damit die relative Häufigkeiten gemeint sind, oder ob sich der Prüfer das von der Herangehensweise so vorgestellt hat.
Ich habe auch mal gesehen, dass man mit einem Gleichungssystem an Werte kommt, nur weiss ich nicht ob damit $q_1$ und $q_0$ berechnen kann.
In einigen Übungen wird auch von Eigenwerten geredet. Weiss nicht, warum ich hier Eigenwerte berechnen soll oder geht das überhaupt?. Falls es klappen sollte, dass man mit einer Eigenwert Berechnung an $q_1$ und $q_0$ kommt, verstehe die Anwendung der Eigenwerte bezogen auf diese Aufgabe noch nicht und wie oder warum man dann auf die Wahrscheinlichkeiten von $q_1$ und $q_0$ kommt.
3)
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-06-01_012337.png
4)
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-06-01_013235.png
Deine Frage zu den Werten, welche x annimmt hatte ich währenddessen, als ich den Beitrag 5 in dem Moment geschrieben hatte nicht gesehen. Aber im nachhinein ist es mir dann auch klar gewesen.
|
Profil
|
rlk
Senior
Dabei seit: 16.03.2007
Mitteilungen: 11649
Wohnort: Wien
| Beitrag No.7, eingetragen 2023-06-01
|
Hallo Sinnfrei,
ich schreibe zuerst etwas zu Deinem Beitrag 3.
\quoteon(2023-05-29 22:04 - Sinnfrei in Beitrag No. 3)
Ich hatte den Fall für $x(k) = 0$ vergessen und nicht für $x(k) = 1$.
\quoteoff
ja das hast Du. Das hatte ich min meinem Hinweis gemeint, aber $x=1$ geschrieben.
\quoteon
Ich würde die Gleichung aber dennoch komplett für $prob(y_2(k) = 1)$
aufschreiben, da man in der Aufgabe (4) danach für $p_0$ einen Zahlenwert einsetzen muss. Dann ist man dort auf der sicheren, falls man merkt, dass sich $p_0$ nicht aufhebt.
\quoteoff
Das ist eine gute Idee.
\quoteon
Zu Aufgabe 3)
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-05-29_210240.png
Zu Aufgabe 4)
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-05-29_210303.png
Jetzt müssten zumindest Aufgabe 3) und 4) stimmen.
\quoteoff
Ja, das sind sie.
\quoteon
Fehlt nur noch die Aufgabe 5). Dort würde ich wie in der Aufgabe Bedingte Wahrscheinlichkeit & Lineare Abhängigkeit
herangehen und zunächst einmal die Übergangswahrscheinlichkeiten an das Z.-Diagramm aufschreiben. Anschließend würde ich die Matrix der bedingten Wahrscheinlichkeiten $[P(Y|X)]$ daraus ableiten und daraus dann die Wahrscheinlichkeiten für $P(y_i)$ bestimmen, die wir ja bereits haben, die sich aus den jeweiligen Zeilensummen ergeben. Anschließend würde ich dann die Matrix der Verbundwahrscheinlichkeiten, mit Hilfe der Formel
$$P(Y|X) = {P(Y,X)\over P(Y)}$$
bestimmen um dann den Transinformationsgehalt zu bestimmen.
\quoteoff
Der Plan ist gut, aber die Matrix, die aus mir unbegreiflichen Gründen $[P(Y|X)]$ genannt wurde (ich weiß, dass die Bezeichnung aus dem Musterbeispiel stammt, aber Du solltest diesen Fehler nicht wiederholen) enthält nicht die gesuchten bedingten Wahrscheinlichkeiten $P(Y=y_j \mid x = x_i)$, sondern die Wahrscheinlichkeiten $P(Y(k)=y_z \mid Y(k-1)=y_s)$ für den Übergang vom Zustand $y_s$ zum Zustand $y_z$, wobei $z$ und $s$ die Zeilen- und Spaltenindizes sind.
Die Wahrscheinlichkeiten $P(Y = y_z)$ ergeben sich nicht aus den Zeilensummen, sondern aus dem normierten Eigenvektor zum Eigenwert 1 der Übergangsmatrix.
\quoteon
Also
Erstmal das Z.-Diagramm mit Übergangswahrscheinlichkeiten
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-05-29_205711.png
Hier ist schon das Problem, das wir $q_1$ und $q_0$ von Wert her nicht kennen.
\quoteoff
Das Zustandsfolgediagramm hat den Nachteil, dass es nur zwei Zustände zeigt, wir aber an vier Zuständen $Y \in \{ 00, 01, 10, 11\}$ interessiert sind. Was meinst Du mit $q_0$ und $q_1$? Du hast $q_1 = P(y_1 = 1)$ schon in Aufgabe 3 berechnet, hier scheinst Du etwas anderes damit zu meinen.
Wenn Du ein Symbol einführst, schreibe dazu, was Du damit meinst!
An den Übergängen steht doch $x/y_1 y_2$, die Wahrscheinlichkeiten sind daher $P(x=0)=p_0$ und $P(x=1)=1-p_0$.
\quoteon
Also da schon mal ein Problem, das ich nicht weiss, ob die Herangehensweise bzw. meine Idee von oben richtig ist.
Anschließend folgt die Matrix der bedingten Wahrscheinlichkeiten.
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-05-29_213638.png
In der zweiten Zeile habe ich fälschlicherweise die Wahrscheinlichkeiten von $q_1$ und $\overline{q_1}$ aus Aufgabe 3) für $q_1$ und $q_0$, in die Matrix, eingesetzt. Daher weiss ich nicht mal, ob das richtig ist. Die Spaltensummen ergeben zumindest keinen Sinn, da hier die alle Wahrscheinlichkeiten größer $1$ sind.
\quoteoff
Wenn die Spaltensummen nich 1 ergeben, weißt Du schon, dass die Matrix nicht richtig ist. Dass die Bezeichnung falsch ist und sie nicht die gesuchten Wahrscheinlichkeiten enthält, habe ich oben schon geschrieben.
\quoteon
Nachtrag:
Die Wahrscheinlichkeiten für $x$ sind ja in der Aufgabe gegeben.
$$prob(x(k) = 0) = p_0 = 0.5$$
Und daraus folgt dann ja auch, dass $$prob(x(k) = 1) = 1 - p_0 = 0.5$$
sein muss.
Ich habe jetzt mal eine andere Matrix der bedingten Wahrscheinlichkeiten aufgestellt aber weiss nicht ob das so richtig ist.
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-05-29_232442.png
Also falls das richtig ist, weiss ich nicht wie ich weiter machen muss, damit ich $p_0$ ins Spiel bekomme. Die Werte $q_0$ und $q_1$ sind ja Unbekannt.
\quoteoff
Diese Matrix sieht schon besser aus, für $p_0=0.5$ erhalte ich dieselben Werte für die erste Spalte, die zweite habe ich noch nicht berechnet. Du solltest aber das bereits für $P(y_1=1)$ vergebene $q_1$ nicht für etwas anderes verwenden. Die Wahrscheinlichkeiten im Diagramm sind immer noch falsch.
Servus,
Roland
[Die Antwort wurde nach Beitrag No.5 begonnen.]
|
Profil
|
Sinnfrei
Aktiv
Dabei seit: 30.06.2021
Mitteilungen: 649
| Beitrag No.8, vom Themenstarter, eingetragen 2023-06-01
|
\quoteon(2023-06-01 08:04 - rlk in Beitrag No. 7)
Der Plan ist gut, aber die Matrix, die aus mir unbegreiflichen Gründen $[P(Y|X)]$ genannt wurde (ich weiß, dass die Bezeichnung aus dem Musterbeispiel stammt, aber Du solltest diesen Fehler nicht wiederholen) enthält nicht die gesuchten bedingten Wahrscheinlichkeiten $P(Y=y_j \mid x = x_i)$, sondern die Wahrscheinlichkeiten $P(Y(k)=y_z \mid Y(k-1)=y_s)$ für den Übergang vom Zustand $y_s$ zum Zustand $y_z$, wobei $z$ und $s$ die Zeilen- und Spaltenindizes sind.
\quoteoff
Dann müsste ja auch die Matrix aus der Musterlösung (Übungsaufgabe 32) ja falsch sein oder? So wie du das geschrieben hast "($P(Y(k) = y_z)|Y(k-1) = y_s$))", meinst du die Matrix der Übergangswahrscheinlichkeiten (von Zustand nach nach Folgezustand) oder? Wäre die Matrix der Übergangswahrscheinlichkeiten dann nicht eine 2x2 Matrix, da wir hier ja auch nur 2 Zustände haben?
Du siehst die Verwirrung ist bei diesem Thema groß, da unser Prof. bei den Übungen auch an vielen Stellen nicht konsequent vorgeht und somit nicht einheitlich nach Skript/Theorie, sodass man das Thema dann auch richtig verstehen könnte.
Ist die Matrix der Übergangswahrscheinlichkeiten dann dasselbe wie die Matrix der bedingten Wahrscheinlichkeiten $P(Y(k) = y_z|Y(k - 1)= y_s)$? Man müsste dann ja zumindest sagen, was $Y$ und $X$ bei $P(Y|X)$ sind und das hat er in der Übungsaufgabe 32 nicht gemacht. Wenn ich jedoch die Lösung der Übungsaufgabe bis zu Ende verfolge, scheint die Matrix dennoch irgendwie richtige Werte für Ausgangswahrscheinlichkeiten $P(y(k))$ zu ergeben?
Dann könnte ich ja damit auch direkt die Aufgabe 3) hier beginnen und mit den Eigenvektoren (Werte für $P(y(k))$) für den Eigenwert $\lambda = 1$ - Der Eigenwert ist bei uns immer üblich gleich 1 - später für die Aufgabe 4 dann die Entropie am Ausgang bestimmen und zum Ende hin (Aufgabe 5) den Transinformationsgehalt bestimmen oder?
Stellt sich nur die Frage wie ich die Eigenvektoren bestimmen kann.
Unser Prof. sagt dazu immer das eine Zeile linear abhängig von einer anderen Zeile ist, sodass man diese eine Zeile gleich $1$ setzen kann.
Jetzt habe ich das schon irgendwie versucht, aber ohne Erfolg.
Vielleicht kannst du oder eine andere Person mir dabei helfen, wie ich das Gleichungssystem für den Eigenwert $\lambda = 1$ lösen kann, um an die Eigenvektoren (Werte für $P(y(k))$) zu kommen. Die Matrix mit dem eingesetzten Eigenwert seht ihr im folgenden
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-06-01_035835.png
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-06-01_035901.png
Ich hatte die Matrix ja nochmal überarbeitet, dass solltest du vielleicht auch bereits gemerkt haben.
\quoteon
Die Wahrscheinlichkeiten $P(Y = y_z)$ ergeben sich nicht aus den Zeilensummen, sondern aus dem normierten Eigenvektor zum Eigenwert 1 der Übergangsmatrix.
\quoteoff
Ok, hier sagst du es schon. Also ist die Herangehensweise, wenn man Sie wie in der Übungsaufgabe 32 betrachtet doch richtig. Also man kommt dann auf die Werte für $P(y(k))$ oder? So lese ich das gerade.
Dann brauche ich Hilfe beim Lösen des Gleichungssystems, für die Eigenvektoren.
\quoteon
\quoteon
Also
Erstmal das Z.-Diagramm mit Übergangswahrscheinlichkeiten
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-05-29_205711.png
Hier ist schon das Problem, das wir $q_1$ und $q_0$ von Wert her nicht kennen.
\quoteoff
Das Zustandsfolgediagramm hat den Nachteil, dass es nur zwei Zustände zeigt, wir aber an vier Zuständen $Y \in \{ 00, 01, 10, 11\}$ interessiert sind. Was meinst Du mit $q_0$ und $q_1$? Du hast $q_1 = P(y_1 = 1)$ schon in Aufgabe 3 berechnet, hier scheinst Du etwas anderes damit zu meinen.
Wenn Du ein Symbol einführst, schreibe dazu, was Du damit meinst!
An den Übergängen steht doch $x/y_1 y_2$, die Wahrscheinlichkeiten sind daher $P(x=0)=p_0$ und $P(x=1)=1-p_0$.
\quoteoff
Mit $q_1$ und $q_0$ waren die Werte aus den vorangegangenen Aufgaben gemeint aber es müssten hier $p_0$ und $p_1$ sein. Die Übergangswahrscheinlichkeiten richten sich an die Werte von $x(k)$.
Da hatte ich mich von den ganzen $p's$ und $q's$ irritieren lassen.
\quoteon
\quoteon
Also da schon mal ein Problem, das ich nicht weiss, ob die Herangehensweise bzw. meine Idee von oben richtig ist.
Anschließend folgt die Matrix der bedingten Wahrscheinlichkeiten.
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-05-29_213638.png
In der zweiten Zeile habe ich fälschlicherweise die Wahrscheinlichkeiten von $q_1$ und $\overline{q_1}$ aus Aufgabe 3) für $q_1$ und $q_0$, in die Matrix, eingesetzt. Daher weiss ich nicht mal, ob das richtig ist. Die Spaltensummen ergeben zumindest keinen Sinn, da hier die alle Wahrscheinlichkeiten größer $1$ sind.
\quoteoff
Wenn die Spaltensummen nich 1 ergeben, weißt Du schon, dass die Matrix nicht richtig ist. Dass die Bezeichnung falsch ist und sie nicht die gesuchten Wahrscheinlichkeiten enthält, habe ich oben schon geschrieben.
\quoteoff
Den Teil hatte ich ja nochmal überarbeitet und die Matrix sollte jetzt zumindest richtig sein.
\quoteon
\quoteon
Nachtrag:
Die Wahrscheinlichkeiten für $x$ sind ja in der Aufgabe gegeben.
$$prob(x(k) = 0) = p_0 = 0.5$$
Und daraus folgt dann ja auch, dass $$prob(x(k) = 1) = 1 - p_0 = 0.5$$
sein muss.
Ich habe jetzt mal eine andere Matrix der bedingten Wahrscheinlichkeiten aufgestellt aber weiss nicht ob das so richtig ist.
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-05-29_232442.png
Also falls das richtig ist, weiss ich nicht wie ich weiter machen muss, damit ich $p_0$ ins Spiel bekomme. Die Werte $q_0$ und $q_1$ sind ja Unbekannt.
\quoteoff
Diese Matrix sieht schon besser aus, für $p_0=0.5$ erhalte ich dieselben Werte für die erste Spalte, die zweite habe ich noch nicht berechnet. Du solltest aber das bereits für $P(y_1=1)$ vergebene $q_1$ nicht für etwas anderes verwenden. Die Wahrscheinlichkeiten im Diagramm sind immer noch falsch.
\quoteoff
Dann schreibe ich die Matrix lieber so auf, wie Sie in der Aufgabe auch verlangt wird und versuche da nichts zu substituieren. Also das $X$ und $Y$ aus $P(Y|X)$ sind die Zustände ($y(k) = y_z$ u. $y(k-1) = y_s$) oder so aber eine Möglichkeit ist es dennoch.
Wenn ich aber jetzt diese Matrix, wie im folgenden habe:
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-06-01_191811.png
Komme ich jetzt auf folgende Matrix und den Transinformationsgehalt.
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-06-01_191811.png
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-06-01_195626.png
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-06-01_195402.png
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-06-01_195416.png
Somit ist der Transinformationsgehalt genau so groß wie die einzel-Entropie der Senke $H(Y)$.
Wenn die Entropie in der Informationstheorie die durchschnittliche Anzahl der Entscheidungen, die benötigt werden, um ein Zeichen aus einer Zeichenmenge zu identifizieren.
Dann heisst es doch, dass soviel Zeichenpaare empfangen werden, wie benötigt, um ein Zeichenpaar zu identifizieren oder?
Viele Grüße
Sinnfrei
|
Profil
|
rlk
Senior
Dabei seit: 16.03.2007
Mitteilungen: 11649
Wohnort: Wien
| Beitrag No.9, eingetragen 2023-06-09
|
Hallo Sinnfrei,
\quoteon(2023-06-01 20:06 - Sinnfrei in Beitrag No. 8)
\quoteon(2023-06-01 08:04 - rlk in Beitrag No. 7)
Der Plan ist gut, aber die Matrix, die aus mir unbegreiflichen Gründen $[P(Y|X)]$ genannt wurde (ich weiß, dass die Bezeichnung aus dem Musterbeispiel stammt, aber Du solltest diesen Fehler nicht wiederholen) enthält nicht die gesuchten bedingten Wahrscheinlichkeiten $P(Y=y_j \mid x = x_i)$, sondern die Wahrscheinlichkeiten $P(Y(k)=y_z \mid Y(k-1)=y_s)$ für den Übergang vom Zustand $y_s$ zum Zustand $y_z$, wobei $z$ und $s$ die Zeilen- und Spaltenindizes sind.
\quoteoff
Dann müsste ja auch die Matrix aus der Musterlösung (Übungsaufgabe 32) ja falsch sein oder? So wie du das geschrieben hast "($P(Y(k) = y_z)|Y(k-1) = y_s$))", meinst du die Matrix der Übergangswahrscheinlichkeiten (von Zustand nach nach Folgezustand) oder?
\quoteoff
Ja, ich meine die Matrix der Übergangswahrscheinlichkeiten. Das war aus der extrem irreführenden Bezeichnung in
https://matheplanet.at/matheplanet/nuke/html/viewtopic.php?topic=262487
nicht zu erkennen, es ist also nicht die Matrix falsch, sondern die Bezeichnung. Das Symbol $x$ is schon für das Eingangssignal vergeben, dann sollte man nicht $X$ schreiben, wenn man $Y(k-1)$ meint.
Ob man diese Matrix für die Berechnung der Transinformation braucht, weiß ich noch nicht.
\quoteon
Wäre die Matrix der Übergangswahrscheinlichkeiten dann nicht eine 2x2 Matrix, da wir hier ja auch nur 2 Zustände haben?
\quoteoff
Wenn wir nur $y_1$ betrachten, hat der Automat zwei Zustände und die Übergangsmatrix hätte Zeilen und 2 Spalten. Wie ich in Beitrag 1) erklärt habe, kann man wegen $y_2(k) = y_1(k-1)$ die Wahrscheinlichkeit $P(y_2 = 1)$ aus $q_1 = P(y_1 = 1)$ berechnen. Für die Berechnung der bedingten Wahrscheinlichkeiten $P(Y=y_j \mid x = x_i)$ braucht man aber einen anderen Weg.
\quoteon
Du siehst die Verwirrung ist bei diesem Thema groß, da unser Prof. bei den Übungen auch an vielen Stellen nicht konsequent vorgeht und somit nicht einheitlich nach Skript/Theorie, sodass man das Thema dann auch richtig verstehen könnte.
\quoteoff
Ja, das sehe ich. Stammt die Musterlösung vom Professor oder einem seiner Assistenten?
\quoteon
Ist die Matrix der Übergangswahrscheinlichkeiten dann dasselbe wie die Matrix der bedingten Wahrscheinlichkeiten $P(Y(k) = y_z|Y(k - 1)= y_s)$? Man müsste dann ja zumindest sagen, was $Y$ und $X$ bei $P(Y|X)$ sind und das hat er in der Übungsaufgabe 32 nicht gemacht.
\quoteoff
Das ist schlecht. Meine Empfehlung, neu eingeführte Symbole zu erklären gilt nicht nur für Dich ;-)
\quoteon
Wenn ich jedoch die Lösung der Übungsaufgabe bis zu Ende verfolge, scheint die Matrix dennoch irgendwie richtige Werte für Ausgangswahrscheinlichkeiten $P(y(k))$ zu ergeben?
\quoteoff
Wie gesagt ist die Matrix richtig, aber die Bezeichnung falsch. Ich nenne sie $\mathbf{T}$ (transition matrix). Ich sehe noch nicht, wie uns diese Rechnung bei der Bestimmung der bedingten Wahrscheinlichkeiten $P(Y=y_j \mid x = x_i)$ hilft.
\quoteon
Dann könnte ich ja damit auch direkt die Aufgabe 3) hier beginnen und mit den Eigenvektoren (Werte für $P(y(k))$) für den Eigenwert $\lambda = 1$ - Der Eigenwert ist bei uns immer üblich gleich 1 - später für die Aufgabe 4 dann die Entropie am Ausgang bestimmen und zum Ende hin (Aufgabe 5) den Transinformationsgehalt bestimmen oder?
\quoteoff
Der Eigenwert $\lambda = 1$ ist wichtig, weil der dazugehörige normierte Eigenvektor die stationären Wahrscheinlichkeiten $P(Y = y_j)$ liefert.
\quoteon
Stellt sich nur die Frage wie ich die Eigenvektoren bestimmen kann.
Unser Prof. sagt dazu immer das eine Zeile linear abhängig von einer anderen Zeile ist, sodass man diese eine Zeile gleich $1$ setzen kann.
\quoteoff
Nach der Definition des Eigenwerts ist die Matrix $\mathbf{T} - \lambda \mathbf{I}$ singulär, ihre Zeilen sind also linear abhängig. $\mathbf{I}$ ist die Einheitsmatrix.
Was mit dem gleich $1$ setzen gemeint ist, verstehe ich nicht, ich fürchte, dass Du da etwas missverstanden hast. Die Rechnung in
https://matheplanet.at/matheplanet/nuke/html/viewtopic.php?topic=262487
ist fehlerhaft.
\quoteon
Jetzt habe ich das schon irgendwie versucht, aber ohne Erfolg.
Vielleicht kannst du oder eine andere Person mir dabei helfen, wie ich das Gleichungssystem für den Eigenwert $\lambda = 1$ lösen kann, um an die Eigenvektoren (Werte für $P(y(k))$) zu kommen. Die Matrix mit dem eingesetzten Eigenwert seht ihr im folgenden
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-06-01_035835.png
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-06-01_035901.png
Ich hatte die Matrix ja nochmal überarbeitet, dass solltest du vielleicht auch bereits gemerkt haben.
\quoteon
Die Wahrscheinlichkeiten $P(Y = y_z)$ ergeben sich nicht aus den Zeilensummen, sondern aus dem normierten Eigenvektor zum Eigenwert 1 der Übergangsmatrix.
\quoteoff
Ok, hier sagst du es schon. Also ist die Herangehensweise, wenn man Sie wie in der Übungsaufgabe 32 betrachtet doch richtig. Also man kommt dann auf die Werte für $P(y(k))$ oder? So lese ich das gerade.
Dann brauche ich Hilfe beim Lösen des Gleichungssystems, für die Eigenvektoren.
\quoteoff
Ich führe die Wahrscheinlichkeit $p_1 = P(x = 1) = 1 - P(x = 0) = 1 - p_0$ ein, damit ergibt sich die singuläre Matrix
$$\mathbf{T} - \mathbf{I} = \begin{pmatrix}
-p_1 & p_0 & 0 & 0 \\
0 & -1 & p_1 & p_1 \\
p_1 & p_1 & -1 & 0 \\
0 & 0 & p_0 & -p_1 \\
\end{pmatrix}.$$
Die Gleichung
$$\left(\mathbf{T} - \mathbf{I}\right) \begin{pmatrix}
P(Y = 00) \\
P(Y = 01) \\
P(Y = 10) \\
P(Y = 11)
\end{pmatrix} = \begin{pmatrix}
0 \\
0 \\
0 \\
0 \end{pmatrix} \qquad(9.1) $$
lösen wir mit dem Verfahren von Gauß: dabei addieren wir geeignet Vielfache von Zeilen, um Elemente unterhalb der Diagonale auf Null zu setzen. Weil die rechte Seite des Gleichungssystems der Nullvektor ist, brauchen wir diesen bei den Zeilenoperationen nicht berücksichtigen und rechnen nur mit der Matrix $\left(\mathbf{T} - \mathbf{I}\right)$. Zuerst addieren wir die erste Zeile zur dritten und erhalten die links dargestellte Matrix. Als nächstes addieren wir die zweite Zeile der neuen Matrix zur dritten und bekommen so die mittlere Matrix, deren dritte und vierte Zeile offensichtlich linear abhängig sind, weil ihre Summe Null ist. Der nächste Schritt ist die Addition der dritten zur vierten Zeile, das liefert die rechts gezeigte Matrix.
$$\begin{pmatrix}
-p_1 & p_0 & 0 & 0 \\
0 & -1 & p_1 & p_1 \\
0 & 1 & -1 & 0 \\
0 & 0 & p_0 & -p_1 \\
\end{pmatrix} \sim \begin{pmatrix}
-p_1 & p_0 & 0 & 0 \\
0 & -1 & p_1 & p_1 \\
0 & 0 & -p_0 & p_1 \\
0 & 0 & p_0 & -p_1 \\
\end{pmatrix} \sim \begin{pmatrix}
-p_1 & p_0 & 0 & 0 \\
0 & -1 & p_1 & p_1 \\
0 & 0 & -p_0 & p_1 \\
0 & 0 & 0 & 0 \\
\end{pmatrix} = \mathbf{T}_1 \qquad(9.2).$$
Das Zeichen $\sim$ bedeutet, dass die Matrizen äquivalent sind. Aus der dritten Zeile der rechten Matrix $\mathbf{T}_1$ ergibt sich die Gleichung
$$-p_0 p_{10} + p_1 p_{11} = 0$$
wobei ich $P(Y = 10)$ mit $p_{10}$ und $P(Y = 11)$ mit $p_{11}$ abgekürzt habe. Für $p_0 > 0$ (sonst wäre die Aufgabe sinnlos), erhalten wir
$$ p_{10} = \frac{p_1}{p_0} p_{11} \qquad(9.3). $$
Aus der zweiten Zeile von $\mathbf{T}_1$ und $(9.3)$ ergibt sich
$$ p_{01} = p_1 \left(\frac{p_1}{p_0} + 1\right) p_{11} = \left(\frac{p_1 + p_0}{p_0}\right) p_{11} = \frac{p_1}{p_0} p_{11} \qquad(9.4) $$
und aus der ersten Zeile
$$ p_{00} = \frac{p_0}{p_1} p_{01} = p_0 \left(\frac{p_1}{p_0} + 1\right) p_{11} = \left(p_0+ p_1\right) p_{11} = p_{11} \qquad(9.5).$$
Aus den Gleichungen $(9.3)$ bis $(9.5)$ ergibt sich ein Eigenvektor
$$\begin{pmatrix} p_{00} & p_{01} & p_{10} & p_{11} \end{pmatrix}^T$$
den wir noch normieren müssen:
$$ 1 = p_{00} + p_{01} + p_{10} + p_{11} = \left(1 + \frac{p_1^2}{p_0} + p_1 + \frac{p_1}{p_0} + 1\right) p_{11} \qquad(9.6). $$
Stellen wir $(9.6)$ nach $p_{11}$ um, so erhalten wir
$$ p_{11} = \frac{1}{2 + \frac{p_1^2}{p_0} + p_1 + \frac{p_1}{p_0}} =
\frac{p_0}{2 p_0 + p_1 (p_1 + p_0 + 1)} = \frac{p_0}{2 (p_0 + p_1)} = \frac{p_0}{2} \qquad(9.7) $$
Aus $(9.5)$ ergibt sich
$$ p_{00} = p_{11} = \frac{p_0}{2} \qquad(9.8),$$
aus $(9.3)$ und $(9.4)$
$$ p_{01} = p_{10} = \frac{p_1}{2} \qquad(9.9).$$
Den Eigenvektor in Aufgabe
https://matheplanet.at/matheplanet/nuke/html/viewtopic.php?topic=262487
kannst Du auf dieselbe Weise berechnen.
Dass die Übergangsmatrix $\mathbf{T}$ nichts mit den bedingten Wahrscheinlichkeiten $P(Y=y_j \mid x = x_i)$ und zu tun hat, scheine ich nicht oft genug wiederholen zu können.
\quoteon
Dann schreibe ich die Matrix lieber so auf, wie Sie in der Aufgabe auch verlangt wird und versuche da nichts zu substituieren. Also das $X$ und $Y$ aus $P(Y|X)$ sind die Zustände ($y(k) = y_z$ u. $y(k-1) = y_s$) oder so aber eine Möglichkeit ist es dennoch.
\quoteoff
Wo in der Aufgabe wird verlangt, unsinnige Schreibweisen zu verwenden? Wieso denkst Du, dass $X$ für $y(k-1) = y_s$ steht? Wäre es so, hätten wir die $4\times 4$ Matrix, die ich mit $\mathbf{T}$ bezeichnet habe. Der Satzteil "oder so aber eine Möglichkeit ist es dennoch." klingt nicht danach, als wüsstest Du, was Du da rechnest.
\quoteon
Wenn ich aber jetzt diese Matrix, wie im folgenden habe:
Komme ich jetzt auf folgende Matrix und den Transinformationsgehalt.
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-06-01_191811.png
\quoteoff
Du scheinst doch die Matrix der bedingten Wahrscheinlichkeiten $P(Y=y_j \mid x = x_i)$ zu meinen, es ist aber nicht klar, wie Du die Werte ermittelt hast.
\quoteon
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-06-01_195626.png
\quoteoff
Hier kann man nur ahnen, was Du rechnest. Der Punkt steht hier nicht für das Produkt der Matrizen, so etwas musst Du dazuschreiben.
\quoteon
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-06-01_195402.png
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-06-01_195416.png
\quoteoff
Auch hier ist nicht leicht erkennbar, was Du mit der Division $P(X,Y)/P(Y)$ meinst. Ich bekomme ein anderes Ergebnis, dass ich aber noch überprüfen will.
Danach kann ich auch etwas zur Interpretation schreiben.
Servus,
Roland
|
Profil
|
Sinnfrei
Aktiv
Dabei seit: 30.06.2021
Mitteilungen: 649
| Beitrag No.10, vom Themenstarter, eingetragen 2023-06-12
|
\quoteon(2023-06-09 12:04 - rlk in Beitrag No. 9)
Hallo Sinnfrei,
\quoteon(2023-06-01 20:06 - Sinnfrei in Beitrag No. 8)
\quoteon(2023-06-01 08:04 - rlk in Beitrag No. 7)
Der Plan ist gut, aber die Matrix, die aus mir unbegreiflichen Gründen $[P(Y|X)]$ genannt wurde (ich weiß, dass die Bezeichnung aus dem Musterbeispiel stammt, aber Du solltest diesen Fehler nicht wiederholen) enthält nicht die gesuchten bedingten Wahrscheinlichkeiten $P(Y=y_j \mid x = x_i)$, sondern die Wahrscheinlichkeiten $P(Y(k)=y_z \mid Y(k-1)=y_s)$ für den Übergang vom Zustand $y_s$ zum Zustand $y_z$, wobei $z$ und $s$ die Zeilen- und Spaltenindizes sind.
\quoteoff
Ist ja halt schwierig diesen Fehler nicht zu wiederholen, weil man ja daraus das Konzept von seinem Dozenten lernt. Daher ist das schon richtig das man hier auch Fehler macht, wenn man es eben falsch beigebracht bekommt.
\quoteon
\quoteoff
Dann müsste ja auch die Matrix aus der Musterlösung (Übungsaufgabe 32) ja falsch sein oder? So wie du das geschrieben hast "($P(Y(k) = y_z)|Y(k-1) = y_s$))", meinst du die Matrix der Übergangswahrscheinlichkeiten (von Zustand nach nach Folgezustand) oder?
\quoteoff
Ja, ich meine die Matrix der Übergangswahrscheinlichkeiten. Das war aus der extrem irreführenden Bezeichnung in
https://matheplanet.at/matheplanet/nuke/html/viewtopic.php?topic=262487
nicht zu erkennen, es ist also nicht die Matrix falsch, sondern die Bezeichnung. Das Symbol $x$ is schon für das Eingangssignal vergeben, dann sollte man nicht $X$ schreiben, wenn man $Y(k-1)$ meint.
Ob man diese Matrix für die Berechnung der Transinformation braucht, weiß ich noch nicht.
\quoteoff
Wenn ich natürlich von der Aufgabe 3 aus, die 4x4 Matrix aufstellen kann und bis zum Transinformationsgehalt verwenden kann, wäre das schon praktisch. Wenn ich aber dadurch 2 verschiedene Matrizen habe, also eine um die Eigenvektoren zu bestimmen und dann noch eine 2x2 Matrix für den Transinformationsgehalt, dann finde ich das schon ein wenig verwirrend, da wir auch in den Übungen nur, wenn überhaupt, eine Matrix haben und keine 2 verschiedenen. Oder kann ich auch mit der Matrix aus Aufgabe 5, die Aufgabe 3 lösen und die Eigenvektoren bestimmen?
\quoteon
\quoteon
Wäre die Matrix der Übergangswahrscheinlichkeiten dann nicht eine 2x2 Matrix, da wir hier ja auch nur 2 Zustände haben?
\quoteoff
Wenn wir nur $y_1$ betrachten, hat der Automat zwei Zustände und die Übergangsmatrix hätte Zeilen und 2 Spalten. Wie ich in Beitrag 1) erklärt habe, kann man wegen $y_2(k) = y_1(k-1)$ die Wahrscheinlichkeit $P(y_2 = 1)$ aus $q_1 = P(y_1 = 1)$ berechnen. Für die Berechnung der bedingten Wahrscheinlichkeiten $P(Y=y_j \mid x = x_i)$ braucht man aber einen anderen Weg.
\quoteoff
Genau das finde ich komisch an der Aufgabe aber es wird ja auch in der letzten Aufgabe gesagt, von was der Transinformationsgehalt abhängt. Dann muss ich da genauer drauf achten. Ausser ich könnte auch direkt mit einer Matrix alle Aufgaben angehen.
\quoteon
\quoteon
Du siehst die Verwirrung ist bei diesem Thema groß, da unser Prof. bei den Übungen auch an vielen Stellen nicht konsequent vorgeht und somit nicht einheitlich nach Skript/Theorie, sodass man das Thema dann auch richtig verstehen könnte.
\quoteoff
Ja, das sehe ich. Stammt die Musterlösung vom Professor oder einem seiner Assistenten?
\quoteoff
Wie ich mitbekommen habe, soll früher mal ein Mitarbeiter darüber geguckt (kontrolliert) haben aber die Handschrift ist vom Prof..
\quoteon
\quoteon
Ist die Matrix der Übergangswahrscheinlichkeiten dann dasselbe wie die Matrix der bedingten Wahrscheinlichkeiten $P(Y(k) = y_z|Y(k - 1)= y_s)$? Man müsste dann ja zumindest sagen, was $Y$ und $X$ bei $P(Y|X)$ sind und das hat er in der Übungsaufgabe 32 nicht gemacht.
\quoteoff
Das ist schlecht. Meine Empfehlung, neu eingeführte Symbole zu erklären gilt nicht nur für Dich ;-)
\quoteoff
Ach komm, so schlimm bin ich nun auch wieder nicht. Ich beziehe mich ja meistens auf die Dinge, die wir im Rahmen der Veranstaltung vorgesagt bekommen. Manchmal aber auch von anderen Literaturen/Internetseiten :D
\quoteon
\quoteon
Dann könnte ich ja damit auch direkt die Aufgabe 3) hier beginnen und mit den Eigenvektoren (Werte für $P(y(k))$) für den Eigenwert $\lambda = 1$ - Der Eigenwert ist bei uns immer üblich gleich 1 - später für die Aufgabe 4 dann die Entropie am Ausgang bestimmen und zum Ende hin (Aufgabe 5) den Transinformationsgehalt bestimmen oder?
\quoteoff
Der Eigenwert $\lambda = 1$ ist wichtig, weil der dazugehörige normierte Eigenvektor die stationären Wahrscheinlichkeiten $P(Y = y_j)$ liefert.
\quoteoff
Ich habe hierzu mal chatgpt gefragt, weil ich mit diesem Kommentar/Block von dir nichts anfangen konnte. Auch danach habe ich es noch nicht so wirklich verstanden :D. Unser Professor sagt aber gefühlt in jeder Vorlesung und Übung, dass der Eigenwert immer $\lambda = 1$ ist. Weshalb oder warum er so ist, hat er aber nie erwähnt.
\quoteon
\quoteon
Stellt sich nur die Frage wie ich die Eigenvektoren bestimmen kann.
Unser Prof. sagt dazu immer das eine Zeile linear abhängig von einer anderen Zeile ist, sodass man diese eine Zeile gleich $1$ setzen kann.
\quoteoff
Nach der Definition des Eigenwerts ist die Matrix $\mathbf{T} - \lambda \mathbf{I}$ singulär, ihre Zeilen sind also linear abhängig. $\mathbf{I}$ ist die Einheitsmatrix.
Was mit dem gleich $1$ setzen gemeint ist, verstehe ich nicht, ich fürchte, dass Du da etwas missverstanden hast.
\quoteoff
Er sagt an der Stelle und auch in anderen Aufgaben immer, dass die Zeile linear abhängig von einer anderen ist und somit egal ist. Warum er die gleich $1$ setzt, ist ja dann weil alle Wahrscheinlichkeiten addiert, den Wert $1$ ergeben. Warum oder wie man so schnell z.B. auch in der Übungsaufgabe 32 sieht, dass die letzte Zeile von der vorletzten abhängig ist, sieht man erst durch umformen, wie du das hier gezeigt hast, vorher kann man das denke ich nicht so schnell und ohne vorheriges umformen sagen. Man muss es halt sehen können.
\quoteon
Die Rechnung in
https://matheplanet.at/matheplanet/nuke/html/viewtopic.php?topic=262487
ist fehlerhaft.
\quoteon
Jetzt habe ich das schon irgendwie versucht, aber ohne Erfolg.
Vielleicht kannst du oder eine andere Person mir dabei helfen, wie ich das Gleichungssystem für den Eigenwert $\lambda = 1$ lösen kann, um an die Eigenvektoren (Werte für $P(y(k))$) zu kommen. Die Matrix mit dem eingesetzten Eigenwert seht ihr im folgenden
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-06-01_035835.png
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-06-01_035901.png
Ich hatte die Matrix ja nochmal überarbeitet, dass solltest du vielleicht auch bereits gemerkt haben.
\quoteon
Die Wahrscheinlichkeiten $P(Y = y_z)$ ergeben sich nicht aus den Zeilensummen, sondern aus dem normierten Eigenvektor zum Eigenwert 1 der Übergangsmatrix.
\quoteoff
Ok, hier sagst du es schon. Also ist die Herangehensweise, wenn man Sie wie in der Übungsaufgabe 32 betrachtet doch richtig. Also man kommt dann auf die Werte für $P(y(k))$ oder? So lese ich das gerade.
Dann brauche ich Hilfe beim Lösen des Gleichungssystems, für die Eigenvektoren.
\quoteoff
Ich führe die Wahrscheinlichkeit $p_1 = P(x = 1) = 1 - P(x = 0) = 1 - p_0$ ein, damit ergibt sich die singuläre Matrix
$$\mathbf{T} - \mathbf{I} = \begin{pmatrix}
-p_1 & p_0 & 0 & 0 \\
0 & -1 & p_1 & p_1 \\
p_1 & p_1 & -1 & 0 \\
0 & 0 & p_0 & -p_1 \\
\end{pmatrix}.$$
Die Gleichung
$$\left(\mathbf{T} - \mathbf{I}\right) \begin{pmatrix}
P(Y = 00) \\
P(Y = 01) \\
P(Y = 10) \\
P(Y = 11)
\end{pmatrix} = \begin{pmatrix}
0 \\
0 \\
0 \\
0 \end{pmatrix} \qquad(9.1) $$
lösen wir mit dem Verfahren von Gauß: dabei addieren wir geeignet Vielfache von Zeilen, um Elemente unterhalb der Diagonale auf Null zu setzen. Weil die rechte Seite des Gleichungssystems der Nullvektor ist, brauchen wir diesen bei den Zeilenoperationen nicht berücksichtigen und rechnen nur mit der Matrix $\left(\mathbf{T} - \mathbf{I}\right)$. Zuerst addieren wir die erste Zeile zur dritten und erhalten die links dargestellte Matrix. Als nächstes addieren wir die zweite Zeile der neuen Matrix zur dritten und bekommen so die mittlere Matrix, deren dritte und vierte Zeile offensichtlich linear abhängig sind, weil ihre Summe Null ist. Der nächste Schritt ist die Addition der dritten zur vierten Zeile, das liefert die rechts gezeigte Matrix.
$$\begin{pmatrix}
-p_1 & p_0 & 0 & 0 \\
0 & -1 & p_1 & p_1 \\
0 & 1 & -1 & 0 \\
0 & 0 & p_0 & -p_1 \\
\end{pmatrix} \sim \begin{pmatrix}
-p_1 & p_0 & 0 & 0 \\
0 & -1 & p_1 & p_1 \\
0 & 0 & -p_0 & p_1 \\
0 & 0 & p_0 & -p_1 \\
\end{pmatrix} \sim \begin{pmatrix}
-p_1 & p_0 & 0 & 0 \\
0 & -1 & p_1 & p_1 \\
0 & 0 & -p_0 & p_1 \\
0 & 0 & 0 & 0 \\
\end{pmatrix} = \mathbf{T}_1 \qquad(9.2).$$
Das Zeichen $\sim$ bedeutet, dass die Matrizen äquivalent sind. Aus der dritten Zeile der rechten Matrix $\mathbf{T}_1$ ergibt sich die Gleichung
$$-p_0 p_{10} + p_1 p_{11} = 0$$
wobei ich $P(Y = 10)$ mit $p_{10}$ und $P(Y = 11)$ mit $p_{11}$ abgekürzt habe. Für $p_0 > 0$ (sonst wäre die Aufgabe sinnlos), erhalten wir
$$ p_{10} = \frac{p_1}{p_0} p_{11} \qquad(9.3). $$
Aus der zweiten Zeile von $\mathbf{T}_1$ und $(9.3)$ ergibt sich
$$ p_{01} = p_1 \left(\frac{p_1}{p_0} + 1\right) p_{11} = \left(\frac{p_1 + p_0}{p_0}\right) p_{11} = \frac{p_1}{p_0} p_{11} \qquad(9.4) $$
und aus der ersten Zeile
$$ p_{00} = \frac{p_0}{p_1} p_{01} = p_0 \left(\frac{p_1}{p_0} + 1\right) p_{11} = \left(p_0+ p_1\right) p_{11} = p_{11} \qquad(9.5).$$
Aus den Gleichungen $(9.3)$ bis $(9.5)$ ergibt sich ein Eigenvektor
$$\begin{pmatrix} p_{00} & p_{01} & p_{10} & p_{11} \end{pmatrix}^T$$
den wir noch normieren müssen:
$$ 1 = p_{00} + p_{01} + p_{10} + p_{11} = \left(1 + \frac{p_1^2}{p_0} + p_1 + \frac{p_1}{p_0} + 1\right) p_{11} \qquad(9.6). $$
Stellen wir $(9.6)$ nach $p_{11}$ um, so erhalten wir
$$ p_{11} = \frac{1}{2 + \frac{p_1^2}{p_0} + p_1 + \frac{p_1}{p_0}} =
\frac{p_0}{2 p_0 + p_1 (p_1 + p_0 + 1)} = \frac{p_0}{2 (p_0 + p_1)} = \frac{p_0}{2} \qquad(9.7) $$
Aus $(9.5)$ ergibt sich
$$ p_{00} = p_{11} = \frac{p_0}{2} \qquad(9.8),$$
aus $(9.3)$ und $(9.4)$
$$ p_{01} = p_{10} = \frac{p_1}{2} \qquad(9.9).$$
Den Eigenvektor in Aufgabe
https://matheplanet.at/matheplanet/nuke/html/viewtopic.php?topic=262487
kannst Du auf dieselbe Weise berechnen.
\quoteoff
Das ist mal mega hilfreich gewesen, dass du dir die Mühe gemacht hast und die Eigenvektoren bestimmt hast. Habe ich auch sofort von dir verstanden. Mein Prof. macht da immer diese Zeile mit allen Wahrscheinlichkeiten addieren und das ergibt dann gleich 1 (wie in der Aufgabe 32 was er in der Zeile mit rot geschrieben hat) wenn etwas linear abhängig ist. Das habe ich auch nie verstanden, warum er das dort macht.
Also muss er irgendwie bis zu der letzten Matrix (rechte Matrix bei $T_1$) die Zeilen so umgeformt haben, sodass man mit bloßem Auge sieht, wenn ich hier die beiden Zeilen addiere, wird eine Zeile zu einer 0-Zeile und damit ist auch die Abhängigkeit der 4. Zeile zur 3. Zeile dann ersichtlich. Vorher hätte man das ja nicht sagen können oder? So sehe ich das in deiner Rechnung.
\quoteon
Dass die Übergangsmatrix $\mathbf{T}$ nichts mit den bedingten Wahrscheinlichkeiten $P(Y=y_j \mid x = x_i)$ und zu tun hat, scheine ich nicht oft genug wiederholen zu können.
\quoteon
Dann schreibe ich die Matrix lieber so auf, wie Sie in der Aufgabe auch verlangt wird und versuche da nichts zu substituieren. Also das $X$ und $Y$ aus $P(Y|X)$ sind die Zustände ($y(k) = y_z$ u. $y(k-1) = y_s$) oder so aber eine Möglichkeit ist es dennoch.
\quoteoff
Wo in der Aufgabe wird verlangt, unsinnige Schreibweisen zu verwenden? Wieso denkst Du, dass $X$ für $y(k-1) = y_s$ steht? Wäre es so, hätten wir die $4\times 4$ Matrix, die ich mit $\mathbf{T}$ bezeichnet habe. Der Satzteil "oder so aber eine Möglichkeit ist es dennoch." klingt nicht danach, als wüsstest Du, was Du da rechnest.
\quoteoff
Ich bin dabei auf den Punkt von dir hier eingegangen, ob man mit der 4x4 Matrix auch den Transinformationsgehalt bestimmen kann. Ich denke schon das es irgendwie geht. Nur weiss ich noch nicht wie. Ansonsten mache ich einfach 2 verschiedene Matrizen einmal die 4x4 Matrix für die Eigenvektoren und einmal für die Aufgabe 5. Muss dann halt wie oben gesagt darauf achten, ob beim Transinformationsgehalt in den Klammern $X;Y$ oder
etwas wie
$H(Y(k-1) = y_s; Y(k-1) = y_z)$
\quoteon
\quoteon
Wenn ich aber jetzt diese Matrix, wie im folgenden habe:
Komme ich jetzt auf folgende Matrix und den Transinformationsgehalt.
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-06-01_191811.png
\quoteoff
Du scheinst doch die Matrix der bedingten Wahrscheinlichkeiten $P(Y=y_j \mid x = x_i)$ zu meinen, es ist aber nicht klar, wie Du die Werte ermittelt hast.
\quoteoff
Ich habe da einfach auf die Übergänge geguckt. Wo steht $x$ und wo halt $y$ steht und da die Übergänge das Format $x/y_1y_2$ haben, ist das ja klar dann. Also wirklich viel habe ich mir dabei jetzt nicht gedacht.
\quoteon
\quoteon
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-06-01_195626.png
\quoteoff
Hier kann man nur ahnen, was Du rechnest. Der Punkt steht hier nicht für das Produkt der Matrizen, so etwas musst Du dazuschreiben.
\quoteoff
Das weiss ich nicht, ob ich das dran schreiben muss, weil der Prof. das auch nicht so macht. Man kann es aber nachvollziehen und auch auf vielen Internetseiten wird das Zeichen auch verwendet, kenne da auch kein anderes. Ich habe aber die Matrizen miteinander multipliziert. Das kann man auch erkennen. Also normale Matrixmultiplikation halt.
\quoteon
\quoteon
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-06-01_195402.png
https://matheplanet.com/matheplanet/nuke/html/uploads/c/54796_Screenshot_2023-06-01_195416.png
\quoteoff
Auch hier ist nicht leicht erkennbar, was Du mit der Division $P(X,Y)/P(Y)$ meinst.
\quoteoff
Hätte ich hier die Indizes schreiben sollen oder wie hätte man es sonst schreiben sollen?
\quoteon
Ich bekomme ein anderes Ergebnis, dass ich aber noch überprüfen will.
Danach kann ich auch etwas zur Interpretation schreiben.
\quoteoff
Kannst du auch etwas zu diesem Thema schreiben?
Generatormatrix dmin
|
Profil
|
| Sinnfrei hat die Antworten auf ihre/seine Frage gesehen. | | Sinnfrei wird per Mail über neue Antworten informiert. |
|
All logos and trademarks in this site are property of their respective owner. The comments are property of their posters, all the rest © 2001-2023 by Matroids Matheplanet
This web site was originally made with PHP-Nuke, a former web portal system written in PHP that seems no longer to be maintained nor supported. PHP-Nuke is Free Software released under the GNU/GPL license.
Ich distanziere mich von rechtswidrigen oder anstößigen Inhalten, die sich trotz aufmerksamer Prüfung hinter hier verwendeten Links verbergen mögen.
Lesen Sie die
Nutzungsbedingungen,
die Distanzierung,
die Datenschutzerklärung und das Impressum.
[Seitenanfang]
|
Home / Seite ohne Frame
Wie unterstütze ich den Matheplaneten mit Geld?
