Matroids Matheplanet Forum Index
Moderiert von matroid
Informatik » Technische Informatik » Sätze zur Entropie bei diskreten Quellen
Druckversion
Druckversion
Antworten
Antworten
Autor
Universität/Hochschule Sätze zur Entropie bei diskreten Quellen
Sinnfrei
Junior Letzter Besuch: im letzten Monat
Dabei seit: 30.06.2020
Mitteilungen: 17
Zum letzten BeitragZum nächsten BeitragZum vorigen BeitragZum erstem Beitrag  Themenstart: 2021-03-06


Im Bild sind zur Entropie bei diskreten Quellen zwei Sätze vorhanden, bei denen ich im ersten Satz nicht verstehe wie dort in der Mitte eine 1 sein kann, wenn doch alle Ereignisse als sicher und bestimmt festgelegt ist. Müssten da nicht alle Wahrscheinlichkeiten p_i = 0 sein ?

Zum zweiten Satz dachte ich mir bereits, dass man nur den Faktor p_i als p_1 + p_2 aufschreibt und das dann mit ld(p_N) multipliziert. Sprich (p_1 + p_2) * ld(p_N). Wenn dem so währe, wie wurde dann in der nächsten Zeile bei H2 q_1 und q_2 eingesetzt. Oben steht die Bedingung das H1(p_1, ... p_N) < H2(p_1,...,q1,q2,...,p_N) sein soll aber ich werde daraus nicht so ganz schlau.





Eine Notiz zu diese Forumbeitrag schreiben Notiz   Profil  Quote  Link auf diesen Beitrag Link
rlk
Senior Letzter Besuch: in der letzten Woche
Dabei seit: 16.03.2007
Mitteilungen: 10995
Herkunft: Wien
Zum letzten BeitragZum nächsten BeitragZum vorigen BeitragZum erstem Beitrag  Beitrag No.1, eingetragen 2021-03-06


Hallo Sinnfrei,
wie groß ist die Wahrscheinlichkeit eines sicheren Ereignisses?

Bei dem zweiten Satz werden die Entropie $H_1$ der ursprünglichen Quelle und $H_2$, die der modifizierten Quelle mit dem erweiterten Alphabet verglichen.

Servus,
Roland



Eine Notiz zu diese Forumbeitrag schreiben Notiz   Profil  Quote  Link auf diesen Beitrag Link
Sinnfrei
Junior Letzter Besuch: im letzten Monat
Dabei seit: 30.06.2020
Mitteilungen: 17
Zum letzten BeitragZum nächsten BeitragZum vorigen BeitragZum erstem Beitrag  Beitrag No.2, vom Themenstarter, eingetragen 2021-03-07


Im Satz 1 soll ja aus der Reihe eine Wahrscheinlichkeit p_i = 1 entstehen und alle anderen sind 0. Meine Frage war auf das warum, wenn doch alle Wahrscheinlichkeiten bestimmt sind, dann komme ich da ja nirgends auf p_i = 1.

Das H1 mit H2 miteinander verglichen werden ist mir im Satz 2 ja klar aber das war eigentlich nicht Frage hmmm.
Die Frage lag darin, wie man hier für p_N = q_1 + q_2 eingesetzt hat.




Eine Notiz zu diese Forumbeitrag schreiben Notiz   Profil  Quote  Link auf diesen Beitrag Link
rlk
Senior Letzter Besuch: in der letzten Woche
Dabei seit: 16.03.2007
Mitteilungen: 10995
Herkunft: Wien
Zum letzten BeitragZum nächsten BeitragZum vorigen BeitragZum erstem Beitrag  Beitrag No.3, eingetragen 2021-03-07


Hallo Sinnfrei,
2021-03-07 00:49 - Sinnfrei in Beitrag No. 2 schreibt:
Im Satz 1 soll ja aus der Reihe eine Wahrscheinlichkeit p_i = 1 entstehen und alle anderen sind 0. Meine Frage war auf das warum, wenn doch alle Wahrscheinlichkeiten bestimmt sind, dann komme ich da ja nirgends auf p_i = 1.
leider verstehe ich Deine Frage nicht. Das sichere Ereignis hat die Wahrscheinlichkeit 1, alle anderen Ereignisse haben die Wahrscheinlichkeit 0.
2021-03-07 00:49 - Sinnfrei in Beitrag No. 2 schreibt:
Das H1 mit H2 miteinander verglichen werden ist mir im Satz 2 ja klar aber das war eigentlich nicht Frage hmmm.
Die Frage lag darin, wie man hier für p_N = q_1 + q_2 eingesetzt hat.
Bei $H_1$ wurde $p_N = q_1 + q_2$ eingesetzt und das Distributivgesetz angewandt. Bei der zweiten Quelle wurde das Alphabet erweitert, daher wird der Term $-p_N \operatorname{ld}(p_N)$ weg und wird durch den Beitrag $-q_1 \operatorname{ld}(q_1) - q_2 \operatorname{ld}(q_2)$ der beiden neuen Ereignisse ersetzt.

Servus,
Roland



Eine Notiz zu diese Forumbeitrag schreiben Notiz   Profil  Quote  Link auf diesen Beitrag Link
Sinnfrei
Junior Letzter Besuch: im letzten Monat
Dabei seit: 30.06.2020
Mitteilungen: 17
Zum letzten BeitragZum nächsten BeitragZum vorigen BeitragZum erstem Beitrag  Beitrag No.4, vom Themenstarter, eingetragen 2021-03-07


Wenn doch für p_N = q_1 + q_2 gilt und ich das für p_N in H_1 einsetze, dann erhalte ich doch folgendes

\(H_1 = -\sum_{i = 1}^{N - 1} p_i  \cdot \operatorname{ld}(p_i) - p_N \cdot \operatorname{ld}(p_N) \)

jetzt für p_N, q_1 und q_2 eingesetzt:
\(H_1 = - \sum_{i = 1}^{N - 1}p_i \cdot \operatorname{ld}(p_i) - (q_1 + q_2) \cdot \operatorname{ld}(q_1 + q_2)\)

Wie kommt man denn darauf, dass da immer noch
\(H_1 = - \sum_{i = 1}^{N - 1}p_i \cdot \operatorname{ld}(p_i) - (q_1 + q_2) \cdot \operatorname{ld}(p_N)\)

steht. Also warum bleibt das p_N in dem letzten ld noch erhalten, obwohl man ja für p_N q_1 und q_2 einsetzt ?



Eine Notiz zu diese Forumbeitrag schreiben Notiz   Profil  Quote  Link auf diesen Beitrag Link
Folgende Antworten hat der Fragesteller vermutlich noch nicht gesehen.
rlk
Senior Letzter Besuch: in der letzten Woche
Dabei seit: 16.03.2007
Mitteilungen: 10995
Herkunft: Wien
Zum letzten BeitragZum nächsten BeitragZum vorigen BeitragZum erstem Beitrag  Beitrag No.5, eingetragen 2021-03-08


Hallo Sinnfrei,
beide Darstellungen sind richtig. Bei der Berechnung der Differenz $H_2-H_1$ ist wichtig, dass die Numeri $\frac{p_N}{q_1}$ und $\frac{p_N}{q_2}$ größer als Eins sind.

Ich hoffe, das hilft Dir,
Roland



Eine Notiz zu diese Forumbeitrag schreiben Notiz   Profil  Quote  Link auf diesen Beitrag Link
Neues Thema [Neues Thema] Antworten [Antworten]    Druckversion [Druckversion]

 


Wechsel in ein anderes Forum:
 Suchen    
 
All logos and trademarks in this site are property of their respective owner. The comments are property of their posters, all the rest © 2001-2021 by Matroids Matheplanet
This web site was originally made with PHP-Nuke, a former web portal system written in PHP that seems no longer to be maintained nor supported. PHP-Nuke is Free Software released under the GNU/GPL license.
Ich distanziere mich von rechtswidrigen oder anstößigen Inhalten, die sich trotz aufmerksamer Prüfung hinter hier verwendeten Links verbergen mögen.
Lesen Sie die Nutzungsbedingungen, die Distanzierung, die Datenschutzerklärung und das Impressum.
[Seitenanfang]