| |
| Autor |
  Universal Approximation Theorem - linearer Unterraum |
|
Fragezeichen
Senior 
Dabei seit: 08.03.2004
Mitteilungen: 2954
Wohnort: München
 |  Themenstart: 2023-03-19
|
Liebe MPler,
gegeben sei eine Funktion $g:[0,1]^n \rightarrow \mathbb{R}$ definiert durch
\[g(x):= \sum_{j=1}^{N}{a_j \sigma((y_j)^\top x + \theta_j)}\]
mit $x, y_j\in [0,1]^n$. Die Funktion lebt im Raum der stetigen Funktionen $C([0,1])^n$, ausgestattet mit der Supremumsnorm $||f||$. Die Aktivierungsfunktion $\sigma$ ist dabei im Allg. nicht linear aber stetig, sigmodial und "trennscharf" (discriminatory).
Die Funktion $g$ representiert ein "shallow artificial neural network" und der Ursprung meine Frage ist im Paper von Cybenko begründet.
Ich möchte zeigen, dass die Menge aller Funktionen der Form $g$ einen linearen Unterraum des Funktionenraumes der stetigen Funktionen darstellt. Ich konnte keinen ausgeführten Beweis finden.
Evtl. hilft hier die Statigkeit kombiniert mit der Eigenschaft, dass die Funktion sigmoidal ist.
Was denkt Ihr?
Viele Grüße
?
|
 Profil
|
zippy
Senior 
Dabei seit: 24.10.2018
Mitteilungen: 4647
 |  Beitrag No.1, eingetragen 2023-03-19
|
\quoteon(2023-03-19 13:24 - Fragezeichen im Themenstart)
Evtl. hilft hier die Statigkeit kombiniert mit der Eigenschaft, dass die Funktion sigmoidal ist.
\quoteoff
Das spielt alles keine Rolle.
Die Menge der Funktionen $g$, die du betrachtest, ist schon allein von ihrer Definition her der von den Funktionen $x\mapsto\sigma\bigl(y^Tx+\theta\bigr)$ aufgespannte lineare Unterraum.
--zippy
|
Profil
|
Fragezeichen
Senior
Dabei seit: 08.03.2004
Mitteilungen: 2954
Wohnort: München
| Beitrag No.2, vom Themenstarter, eingetragen 2023-03-19
|
Danke, zippy, für Deine Antwort.
Ja, da wir die Parameter beliebig halten spannt es einen Raum auf. Muss man aber nicht dennoch zeigen, dass bspw. die Vektoraddition abgeschlossen ist?
Vielleicht möchtest Du Deine Gedanken etwas ausführen?
Viele Grüße
?
|
Profil
|
zippy
Senior
Dabei seit: 24.10.2018
Mitteilungen: 4647
| Beitrag No.3, eingetragen 2023-03-19
|
\quoteon(2023-03-19 16:22 - Fragezeichen in Beitrag No. 2)
Vielleicht möchtest Du Deine Gedanken etwas ausführen?
\quoteoff
Es sollte reichen, wenn du dich daran erinnerst oder es nachliest, dass in einem Vektorraum $V$ über $K$ für eine beliebige Teilmenge $M\subseteq V$ die Menge$$
\operatorname{span}(M) =
\left\{\sum_{j=1}^Na_jm_j:m_j\in M, a_j\in K, N\in\mathbb N\right\}
$$ein linearer Unterraum von $V$ ist.
In deinem Fall ist $M$ die Menge der Funktionen $x\mapsto\sigma\bigl(y^Tx+\theta\bigr)$, und $M\subseteq C\bigl([0,1]^n\bigr)$ folgt daraus, dass $\sigma$ stetig ist.
|
Profil
|
Fragezeichen
Senior
Dabei seit: 08.03.2004
Mitteilungen: 2954
Wohnort: München
| Beitrag No.4, vom Themenstarter, eingetragen 2023-03-20
|
Danke, zippy. Das hat geholfen.
LG
?
|
Profil
|
Fragezeichen hat die Antworten auf ihre/seine Frage gesehen.
Fragezeichen hat selbst das Ok-Häkchen gesetzt. |
|
All logos and trademarks in this site are property of their respective owner. The comments are property of their posters, all the rest © 2001-2023 by Matroids Matheplanet
This web site was originally made with PHP-Nuke, a former web portal system written in PHP that seems no longer to be maintained nor supported. PHP-Nuke is Free Software released under the GNU/GPL license.
Ich distanziere mich von rechtswidrigen oder anstößigen Inhalten, die sich trotz aufmerksamer Prüfung hinter hier verwendeten Links verbergen mögen.
Lesen Sie die
Nutzungsbedingungen,
die Distanzierung,
die Datenschutzerklärung und das Impressum.
[Seitenanfang]
|
Home / Seite ohne Frame
Wie unterstütze ich den Matheplaneten mit Geld?
