Die eindimensionale Theorie

Zunächst eine kurze Wiederholung der Definitionen aus der eindimensionalen Analysis. In so ziemlich jedem Lehrbuch zur Analysis I findet man die folgende Definition. Definition. Es sei $I\subseteq \mathbb R$ ein offenes Intervall und $x_0\in I$. Eine Funktion $f\colon I\to \mathbb R$ heißt differenzierbar in $x_0$, wenn folgender Grenzwert existiert $$ f'(x_0):=\lim_{h\to 0} \frac{f(x_0+h)-f(x_0)}{h}. $$ Im Falle der Existenz nennt man die reelle Zahl $f'(x_0)$ die erste Ableitung von $f$ in $x_0$. Ist nun $f\colon I\to \mathbb R$ in $x_0\in I$ differenzierbar, dann kann man die Bedingung in der Definition etwas umschreiben: $$ \lim_{h\to 0} \frac{f(x_0+h)-f(x_0)-f'(x_0)h}{h}=\lim_{h\to 0} \frac{f(x_0+h)-(f(x_0)+f'(x_0)h)}{h}=0. $$ Dadurch erhält man die folgende Einsicht. Satz. Es sei $f\colon I\to \mathbb R$ eine Funktion. Die folgenden Aussagen sind äquivalent: $\mathrm{(i)}$ $f$ ist differenzierbar in $x_0\in I$. $\mathrm{(ii)}$ Es gibt $a\in \mathbb R$ derart, dass $$ f(x_0+h)=f(x_0)+ah+\varphi(h) $$ mit $$ \lim_{h\to 0} \frac{\varphi(h)}{h}=0. $$ Da die Abbildung $h\mapsto ah$ mit $a\in \mathbb R$ linear ist, können wir die Aussage (ii) auch so formulieren: Es gibt eine lineare Abbildung $L\colon \mathbb R \to \mathbb R$ derart, dass $$ f(x_0+h)=f(x_0)+L(h)+\varphi(h) $$ mit $$ \lim_{h\to 0} \frac{\varphi(h)}{h}=0. $$ Differenzierbarkeit in $x_0$ bedeutet also, dass $f$ sich in der Nähe von $x_0$ "sehr gut" durch die affine Funktion $$ T\colon \mathbb R \to \mathbb R, \ T(x)=f(x_0)+L(x-x_0) $$ darstellen lässt. Diese Grundidee der linearen Approximation ist, was wir mit der Ableitung eigentlich meinen. Wir möchten eine komplizierte Funktion lokal um jeden Punkt durch eine einfache lineare Funktion approximieren.

Die Definition der Ableitung im Mehrdimensionalen

In der linearen Algebra lernt man, dass ein endlich dimensionaler $\mathbb R$-Vektorraum $V$ stets zu $\mathbb R^{\dim(V)}$ isomorph ist. Man könnte daher durch Wahl einer Basis von $V$ auch direkt mit einem $\mathbb R^n$ arbeiten und implizit all die Strukturen in die Fragestellung mit einbauen, die man auf dem $\mathbb R^n$ gewöhnt ist. Aber warum sollte man a priori eine Basis wählen? Vor allem welche? Weiter muss man sich dann auch noch fragen, ob die definierten Konzepte mit einer anderen Basis auch noch funktionieren, oder nur für bestimmte Basiswahlen in Ordnung sind. Long story short: Es hat a priori nur Nachteile, wenn man eine Basis wählt. Wir wollen es zunächst etwas allgemeiner betrachten und uns bewusst machen, welche Strukturen wir brauchen und welche nicht. Für den Moment betrachten wir zwei normierte (stets endlich-dimensionale) $\mathbb R$-Vektorräume $(V,\lVert\cdot\rVert_V)$ und $(W,\lVert \cdot \Vert_W)$. Für eine Funktion $f\colon V\to W$ können wir dann unmittelbar die Erkenntnisse aus der eindimensionalen Theorie verwenden und die Differenzierbarkeit erklären. Definition. Es sei $D\subseteq V$ offen und $x_0\in D$. Eine Funktion $f\colon D\to W$ heißt differenzierbar in $x_0$, wenn es eine $\mathbb R$-lineare Abbildung $L_{x_0}\colon V\to W$ gibt, so dass $$ f(x_0+h)=f(x_0)+L_{x_0}(h)+\varphi(h) $$ mit $$ \lim_{h\to 0} \frac{\varphi(h)}{\lVert h\rVert_V}=0_W $$ gilt. (Dabei ist natürlich $h\in V$ derart, dass $x_0+h\in D$ gilt). $f$ heißt differenzierbar (auf $D$), wenn $f$ in jedem $x_0\in D$ differenzierbar ist. Die lineare Abbildung $L_{x_0}$ nennt man im Falle der Existenz auch das Differential von $f$ in $x_0$ und schreibt $L_{x_0}=Df(x_0)$ oder $L_{x_0}=\d f(x_0)$ dafür. An der Definition erkennt man, dass jede lineare Abbildung $\varphi\colon V\to W$ differenzierbar ist und $\d \varphi(x_0)=\varphi$ für alle $x_0\in V$ gilt. Alles andere wäre auch komisch: Differenzierbarkeit ist im Kern eine Aussage über Approximierbarkeit durch lineare Abbildungen - jede lineare Abbildung ist natürlich selbst ihre "beste lineare Approximation". Beispiel. Es sei $e_1,\dots,e_n\in V$ eine Basis von $V$ und $\epsilon^1,\dots,\epsilon^n\in V^*=\opn{Hom}(V,\mathbb R)$ die dazu duale Basis des Dualraums $V^*$ (i.e. es gilt $\epsilon^i(e_j)=\delta^i_j$). Jedes $\epsilon^j$ ist eine lineare Abbildung $\epsilon^j\colon V\to \mathbb R$ und daher differenzierbar mit $\d\epsilon^j(x_0)=\epsilon^j$ für alle $x_0\in V$ und $j=1,\dots,n$. Es ist daher üblich einfach $\d\epsilon^j$ anstatt $\d\epsilon^j(x_0)$ zu schreiben, da es für alle $x_0\in V$ die gleiche lineare Abbildung ist. Beispiel. Das vorherige Beispiel zeigt, dass die linearen Abbildungen $\d\epsilon^j$ eine Basis von $V^*=\opn{Hom}(V,\mathbb R)$ bilden. Ist $f\colon V\to \mathbb R$ differenzierbar in $x_0\in V$, dann ist $\d f(x_0)\in \opn{Hom}(V,\mathbb R)$ ebenfalls eine lineare Abbildung $\d f(x_0)\colon V\to \mathbb R$. Es ist in diesem Fall eine interessante Frage, wie $\d f(x_0)$ als Linearkombination der Abbildungen $\d\epsilon^j$ dargestellt werden kann. Da Letztere eine Basis von $V^*$ bilden wissen wir, dass es reelle Zahlen $\lambda_1,\dots,\lambda_n\in \mathbb R$ gibt, so dass $$ \d f(x_0)=\lambda_1 \dd\epsilon^1+\dots+\lambda_n \dd\epsilon^n=\sum_{j=1}^n \lambda_j \dd \epsilon^j $$ gilt. Auswerten dieser Gleichung auf der Basis $e_1,\dots,e_n$ ergibt folglich $$ \d f(x_0)(e_i)=\sum_{j=1}^n \lambda_j \dd \epsilon^j(e_i)=\sum_{j=1}^n \lambda_j \delta^j_i=\lambda_i. $$ Das letzte Beispiel zeigt, dass die reellen Zahlen $\d f(x_0)(e_i)$ nach Wahl einer Basis eine interessante Rolle haben. Man kann sich daher fragen, wie diese Zahlen konkret aussehen. Satz. Es sei $f\colon V\to \mathbb R$ differenzierbar in $x_0\in V$ und $v\in V$ beliebig. Dann gilt $$ \d f(x_0)(v)=\lim_{t\to 0} \frac{f(x_0+tv)-f(x_0)}{t}=:\frac{\partial f}{\partial v}(x_0). $$ Ist weiter $e_1,\dots,e_n\in V$ eine Basis von $V$ und $\epsilon^1,\dots,\epsilon^n\in V^*$ die dazu duale Basis von $V^*$, so gilt insbesondere $$ \d f(x_0)=\sum_{j=1}^n \frac{\partial f}{\partial e_j}(x_0)\dd\epsilon^j $$

Eine andere Sichtweise

Die Sichtweise auf die sogenannten Richtungsableitungen $\frac{\partial f}{\partial e_j}(x_0)$ ist typischerweise eine etwas andere. Dazu erinnern wir uns, dass eine Wahl einer Basis $e_1,\dots,e_n\in V$ einer Wahl von Koordinaten bzw. einer Wahl eines Isomorphismus $V\cong \mathbb R^n$ entspricht. Lemma. Ist $e_1,\dots,e_n\in V$ eine Basis von $V$, dann ist $\sigma\colon \mathbb R^n\to V$ gegeben durch $$ \sigma(\lambda^1,\dots,\lambda^n):=\sum_{j=1}^n \lambda^je_j $$ ein Isomorphismus von Vektorräumen. Die Umkehrabbildung $\sigma^{-1}\colon V\to \mathbb R^n$ ordnet daher jedem $v\in V$ ein $n$-Tupel $(\lambda^1,\dots,\lambda^n)\in \mathbb R^n$ zu und zwar so, dass $\sum_{j=1}^n \lambda^je_j=v$ gilt. Die Abbildung $\sigma^{-1}$ ist somit eine Wahl von Koordinaten auf $V$ und im Kontext der Differentialgeometrie würde man $\sigma^{-1}$ eine Karte von $V$ nennen. Es ist dann üblich, dass man die Abbildungen $x^j\colon V\to \mathbb R$ betrachtet, welche durch $x^j:=\pi_j\circ \sigma^{-1}$ gegeben sind. Dabei ist $\pi_j\colon \mathbb R^n\to \mathbb R$ die Projektion auf die $j$-te Koordinate. Eine kurze Überlegung bestätigt, dass in diesem Fall einfach $x^j=\epsilon^j$ gilt, wobei $\epsilon^1,\dots,\epsilon^n$ die zu $e_1,\dots,e_n$ duale Basis von $V^*$ ist. Anstatt auf $V$ eine Basis zu wählen spricht man dann eher davon, dass man auf $V$ die Koordinaten $x^1,\dots,x^n$ wählt (man gibt formal also die duale Basis an). Man schreibt dann auch üblicherweise $$ \frac{\partial f}{\partial e_j}(x_0)=:\frac{\partial f}{\partial x^j}(x_0). $$ Mit diesen Setzungen ist dann auch $\d x^j=\d \epsilon^j$. Insgesamt können wir mit diesen Vereinbarungen also festhalten: Satz. Es seien $x^1,\dots,x^n\colon V\to \mathbb R$ die gewählten Koordinaten auf $V$. Wenn $f\colon V\to \mathbb R$ in $x_0\in V$ differenzierbar ist, dann gilt $$ \d f(x_0)=\sum_{j=1}^n \frac{\partial f}{\partial x^j}(x_0) \dd x^j. $$ Beispiel. Es sei $V=\mathbb R^2$ und $x^1,x^2\colon \mathbb R^2\to \mathbb R$ seien die kartesischen Koordinaten (also einfach die üblichen Koordinaten auf $\mathbb R^2$, die von der kanonischen Basis kommen). Weiter betrachten wir die Abbildung $f\colon \mathbb R^2\to \mathbb R$ gegeben durch $f(x,y)=x^2+y^2$. $f$ ist differenzierbar und es gilt $$ \frac{\partial f}{\partial x^1}(x,y)=2x, \qquad \frac{\partial f}{\partial x^2}(x,y)=2y. $$ Somit ist $$ \d f(x,y)=2x \dd x^1+2y \dd x^2. $$ Oft ist man hier sehr viel nachlässiger (manch einer vermag zu sagen: suggestiver) und bezeichnet die Koordinatenfunktionen auch einfach mit $x$ und $y$. Das führt zu der suggestiven Gleichung $\d f(x,y)=2x\dd x+2y \dd y$. Zur Verdeutlichung, wie diese Gleichheit gemeint ist, können wir z.B. $\d f(x,y)(2,3)$ berechnen. Es ist $$ \d f(x,y)(2,3)=2x \dd x^1(2,3)+2y \dd x^2(2,3)=2x\cdot 2+2y\cdot 3=4x+6y. $$ Das könnte man nun auch durch Matrixmultiplikation darstellen, aber man erkennt, dass man hier auch super ohne irgendwelche Matrizen auskommt.

Der allgemeinere Fall

Bisher haben wir uns fast nur auf den Fall von Abbildungen $V\to \mathbb R$ beschränkt. Wir wollen uns nun dem allgemeineren Fall von Abbildungen $V\to \mathbb R^m$ widmen. ($V$ sei nach wie vor ein endlich-dimensionaler $\mathbb R$-Vektorräume versehen mit einer Norm). Es seien dazu $x^1,\dots,x^n$ die gewählten Koordinaten auf $V$ und $y^1,\dots,y^m$ die kartesischen Koordinaten auf $\mathbb R^m$. Wenn $f\colon V\to \mathbb R^m$ differenzierbar ist, dann wissen wir bereits, dass $\d f(x_0)\colon V\to \mathbb R^m$ eine lineare Abbildung, also ein Element von $\opn{Hom}(V,\mathbb R^m)$ ist. Finden wir hier auch eine schöne Darstellung von $\d f(x_0)$? Wir betrachten dazu die Komponenten $f_j\colon V\to \mathbb R$ von $f$, welche durch $f_j:=y^j\circ f$ gegeben sind. Es ist eine nette Übung sich zu überlegen, dass $f$ genau dann differenzierbar ist, wenn alle Komponenten $f_1,\dots,f_m$ von $f$ es sind. Es ist dann für alle $v\in V$ $$ \d f(x_0)(v)=(\d f_1(x_0)(v),\dots,\d f_m(x_0)(v))=\left(\bigoplus_{i=1}^m \d f_i(x_0)\right)(v), $$ also $$ \d f(x_0)=\bigoplus_{i=1}^m \d f_i(x_0). $$ Für das Verständnis der Ideen und Konzepte kann man sich also problemlos auf Abbildungen $V\to \mathbb R$ beschränken. Man kann sich auch als nette Übung überlegen, wie das ganze im Fall von Abbildungen $V\to W$ aussehen würde.

Höhere Ableitungen im Mehrdimensionalen

Wenn $f\colon V\to W$ differenzierbar ist, dann haben wir die Abbildung $$ \d f\colon V\to \opn{Hom}(V,W), \ x_0\mapsto \d f(x_0), $$ die jedem $x_0\in V$ das Differential von $f$ in $x_0$ zuordnet. Mit den naheliegenden Verknüpfungen ist $\opn{Hom}(V,W)$ selbst ein $\mathbb R$-Vektorraum und durch die Operatornorm hat man ebenfalls eine natürliche Norm auf diesem Vektorraum. Es ist daher eine sinnvolle Frage, ob die Abbildung $\d f$ selbst wieder differenzierbar ist. Wenn dem so ist, dann kann man sich natürlich fragen was $\d(\d f)(x_0)$ für $x_0\in V$ ist? Nach Definition der Differenzierbarkeit ist $\d(\d f)(x_0)\colon V\to \opn{Hom}(V,W)$ eine lineare Abbildung. Das heißt für jedes $v_1\in V$ ist somit $\d(\d f)(x_0)(v_1)\in \opn{Hom}(V,W)$, also wieder eine lineare Abbildung $\d(\d f)(x_0)(v_1)\colon V\to W$. Schließlich ist damit $\d(\d f)(x_0)(v_1)(v_2)\in W$ für jedes $v_2\in V$. Definiert man dann eine neue Abbildung $$ \d^2f(x_0)\colon V\times V\to W, \ (v_1,v_2)\mapsto \d(\d f)(x_0)(v_1)(v_2), $$ so ist $\d^2f(x_0)$ offenbar eine $\mathbb R$-bilineare Abbildung. Wenn $\d(\d f)$ selbst wieder differenzierbar ist, dann kann man sich völlig analog überlegen, wie man auf diese Weise zu einer $\mathbb R$-trilinearen Abbildung $\d^3f(x_0)\colon V\times V\times V\to W$ kommt.

Und was ist jetzt mit der Hesse-Matrix?

Abschließend wollen wir nun auf die Frage zurückkommen, was die "zweite Ableitung" (also $\d^2 f$) mit der Hesse-Matrix zu tun hat. Wir betrachten dazu eine Abbildung $f\colon V\to \mathbb R$, die differenzierbar ist und derart, dass auch $x_0\mapsto \d f(x_0)$ differenzierbar ist. Wie sieht die Bilinearform $\d^2 f(x_0)$ für $x_0\in V$ dann konkret aus? Zunächst wählen wir Koordinaten $x^1,\dots,x^n\colon V\to \mathbb R$ auf $V$. Weiter kann man sich überlegen, dass die Abbildungen $$ \frac{\partial f}{\partial x^j}\colon V\to \mathbb R, \ x\mapsto \frac{\partial f}{\partial x^j}(x) $$ unter den gegebenen Voraussetzungen alle differenzierbar sind. Für $x_0,h\in V$ gibt es daher Funktionen $\varphi_j\colon V\to \mathbb R$ mit $\lim_{h\to 0} \frac{\varphi_j(h)}{\lVert h\rVert_V}=0$ und $$ \frac{\partial f}{\partial x^j}(x_0+h)=\frac{\partial f}{\partial x^j}(x_0)+\d\left(\frac{\partial f}{\partial x^j}\right)(x_0)(h)+\varphi_j(h). $$ Weiter wissen wir, dass $$ \d\left(\frac{\partial f}{\partial x^j}\right)(x_0)=\sum_{i=1}^n \frac{\partial}{\partial x^i}\left(\frac{\partial f}{\partial x^j}\right)(x_0) \dd x^i=\sum_{i=1}^n \frac{\partial^2 f}{\partial x^i\partial x^j}(x_0) \dd x^i $$ gilt. Damit erhalten wir \[ \begin{align*} \d f(x_0+h) &=\sum_{j=1}^n \frac{\partial f}{\partial x^j}(x_0+h) \dd x^j=\sum_{j=1}^n \left(\frac{\partial f}{\partial x^j}(x_0)+\sum_{i=1}^n \frac{\partial^2 f}{\partial x^i\partial x^j}(x_0) \dd x^i(h)+\varphi_j(h)\right)\dd x^j \\ &=\sum_{j=1}^n \frac{\partial f}{\partial x^j}(x_0) \dd x^j + \sum_{j=1}^n\sum_{i=1}^n \frac{\partial^2 f}{\partial x^i\partial x^j}(x_0) \dd x^i(h)\dd x^j+ \sum_{j=1}^n \varphi_j(h)\dd x^j. \end{align*} \] Mit $\Phi(h):=\sum_{j=1}^n \varphi_j(h)\dd x^j$ erhalten wir daher $$ \d f(x_0+h)=\d f(x_0)+\sum_{i,j=1}^n \frac{\partial^2 f}{\partial x^i\partial x^j}(x_0) \dd x^i(h)\dd x^j+\Phi(h). $$ Abschließend überlegt man sich noch, dass in der Tat $\lim_{h\to 0} \frac{\Phi(h)}{\lVert h\rVert_V}=0$ gilt. Nach Definition der Differenzierbarkeit und des Differentials ist daher (mit $(\d x^i\otimes\d x^j)(u,v):=\dd x^i(u)\dd x^j(v)$) $$ \d(\d f)(x_0)=\sum_{i,j=1}^n \frac{\partial^2 f}{\partial x^i\partial x^j}(x_0) \dd x^i\otimes\d x^j. $$ Sind nun $u,v\in V$ mit $u^j:=\d x^j(u)$ und $v^j:=\d x^j(v)$, so haben wir daher $$ \d^2f(x_0)(u,v)=\d(\d f)(x_0)(u)(v)=\sum_{i,j=1}^n \frac{\partial^2 f}{\partial x^i\partial x^j}(x_0) \ (\d x^i\otimes\d x^j)(u,v)=\sum_{i,j=1}^n \frac{\partial^2 f}{\partial x^i\partial x^j}(x_0) u^iv^j. $$ Wenn man nicht anders kann und unbedingt eine Matrix sehen will, dann erkennt man nun also, dass $\d^2 f(x_0)$ bezüglich den Koordinaten $x^1,\dots,x^n$ als Bilinearform durch die Hesse-Matrix von $f$ in $x_0$ bezüglich diesen Koordinaten dargestellt wird.

Schlussbemerkungen

Durch diesen Artikel wollte ich zeigen, dass man keine Matrizen braucht, um die Konzepte und Ideen der mehrdimensionalen Analysis zu formulieren und zu verstehen. Es ist meiner Meinung nach wichtig die Objekte, mit denen man hantiert, als das zu verstehen was sie sind. Das Differential ist eine lineare Abbildung und für theoretische Zwecke ist es viel schöner und einfacher, wenn man es auch als solche betrachtet. Natürlich kann man Koordinaten wählen (habe ich ja auch gemacht), aber man muss nicht sofort den Drang verspüren, eine darstellende Matrix hinzuschreiben und die eigentliche Bedeutung des Objektes damit ein Stück weit zu vergessen. Spätestens bei höheren Ableitungen führt das auch einfach nur zu Verwirrung. Wir haben gesehen, dass die "2. Ableitung" auf natürliche Weise mit einer Bilinearform identifiziert werden kann. Wenn man nur die Hesse-Matrix bezüglich irgendwelchen Koordinaten hinschreibt, dann vergisst man das womöglich sogar. Wenn man dann auch $\d^3f$ oder höhere Ableitungen betrachten will, dann bräuchte man schon so etwas wie eine "drei-dimensionale Matrix" und man erkennt: das "Matrizen-Business" stößt schnell an Grenzen. Die Begriffe der linearen und multilinearen Algebra hingegen stört das überhaupt nicht. Wenn man später auch den unendlich-dimensionalen Fall betrachtet (z.B. in der Funktionalanalysis), dann kann man seine linearen Abbildungen gar nicht mehr durch Matrizen darstellen und es macht sich bezahlt, wenn man auch die endlich-dimensionale Theorie wirklich verstanden hat. Abschließend, sozusagen als Anwendung, möchte ich noch den Artikel Die Taylorentwicklung mit linearer Algebra verstehen von Vercassivelaunos empfehlen. Hier sieht man eine schöne "Anwendung" der "höheren Ableitungen" und welche Vorteile es hat, den richtigen Formalismus zu verwenden. Wer bis hier gelesen hat, den möchte ich gerne dazu einladen in den Kommentaren über das Thema zu diskutieren. Über eure Meinung dazu oder Anregungen anderer Art freue ich mich jederzeit :) [Vielen Dank an Triceratops für das öffentliche Bereitstellen deines Designs für die Kapitelüberschriften]