This volume presents topics in probability theory covered during a first-year graduate course given at the Courant Institute of Mathematical Sciences. The necessary background material in measure theory is developed, including the standard topics, such as extension theorem, construction of measures, integration, product spaces, Radon-Nikodym theorem, and conditional expectation. In the first part of the book, characteristic functions are introduced, followed by the study of weak convergence of probability distributions. Then both the weak and strong limit theorems for sums of independent random variables are proved, including the weak and strong laws of large numbers, central limit theorems, laws of the iterated logarithm, and the Kolmogorov three series theorem. The first part concludes with infinitely divisible distributions and limit theorems for sums of uniformly infinitesimal independent random variables. The second part of the book mainly deals with dependent random variables, particularly martingales and Markov chains. Topics include standard results regarding discrete parameter martingales and Doob's inequalities. The standard topics in Markov chains are treated, i.e., transience, and null and positive recurrence. A varied collection of examples is given to demonstrate the connection between martingales and Markov chains. Additional topics covered in the book include stationary Gaussian processes, ergodic theorems, dynamic programming, optimal stopping, and filtering. A large number of examples and exercises is included. The book is a suitable text for a first-year graduate course in probability.
S. R. S. Varadhan
Preface to second edition . . . . . . . . . . . . . . . . . . . . . . . . . . xviiPreface to first edition . . . . . . . . . . . . . . . . . . . . . . . . . . . . xix1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.1. Partial differential equations . . . . . . . . . . . . . . . . . . . . . 11.2. Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31.2.1. Single partial differential equations . . . . . . . . . . . . 31.2.2. Systems of partial differential equations . . . . . . . . 61.3. Strategies for studying PDE . . . . . . . . . . . . . . . . . . . . . . 61.3.1. Well-posed problems, classical solutions . . . . . . . . 71.3.2. Weak solutions and regularity . . . . . . . . . . . . . . . . 71.3.3. Typical difficulties . . . . . . . . . . . . . . . . . . . . . . . . . 91.4. Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91.5. Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121.6. References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13PART I: REPRESENTATION FORMULAS FOR SOLUTIONS2. Four Important Linear PDE . . . . . . . . . . . . . . . . . . . . . 172.1. Transport equation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182.1.1. Initial-value problem . . . . . . . . . . . . . . . . . . . . . . 182.1.2. Nonhomogeneous problem . . . . . . . . . . . . . . . . . . 192.2. Laplace’s equation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20viiviii CONTENTS2.2.1. Fundamental solution . . . . . . . . . . . . . . . . . . . . . 212.2.2. Mean-value formulas . . . . . . . . . . . . . . . . . . . . . . 252.2.3. Properties of harmonic functions . . . . . . . . . . . . . 262.2.4. Green’s function . . . . . . . . . . . . . . . . . . . . . . . . . . 332.2.5. Energy methods . . . . . . . . . . . . . . . . . . . . . . . . . . 412.3. Heat equation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 442.3.1. Fundamental solution . . . . . . . . . . . . . . . . . . . . . 452.3.2. Mean-value formula . . . . . . . . . . . . . . . . . . . . . . . 512.3.3. Properties of solutions . . . . . . . . . . . . . . . . . . . . . 552.3.4. Energy methods . . . . . . . . . . . . . . . . . . . . . . . . . . 622.4. Wave equation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 652.4.1. Solution by spherical means . . . . . . . . . . . . . . . . 672.4.2. Nonhomogeneous problem . . . . . . . . . . . . . . . . . . 802.4.3. Energy methods . . . . . . . . . . . . . . . . . . . . . . . . . . 822.5. Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 842.6. References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 903. Nonlinear First-Order PDE. . . . . . . . . . . . . . . . . . . . . . . 913.1. Complete integrals, envelopes . . . . . . . . . . . . . . . . . . . . 923.1.1. Complete integrals . . . . . . . . . . . . . . . . . . . . . . . . 923.1.2. New solutions from envelopes . . . . . . . . . . . . . . . 943.2. Characteristics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 963.2.1. Derivation of characteristic ODE . . . . . . . . . . . . . 963.2.2. Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 993.2.3. Boundary conditions . . . . . . . . . . . . . . . . . . . . . 1023.2.4. Local solution . . . . . . . . . . . . . . . . . . . . . . . . . . . 1053.2.5. Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1093.3. Introduction to Hamilton–Jacobi equations . . . . . . . . 1143.3.1. Calculus of variations, Hamilton’s ODE . . . . . . 1153.3.2. Legendre transform, Hopf–Lax formula . . . . . . . 1203.3.3. Weak solutions, uniqueness . . . . . . . . . . . . . . . . 1283.4. Introduction to conservation laws . . . . . . . . . . . . . . . 1353.4.1. Shocks, entropy condition . . . . . . . . . . . . . . . . . 1363.4.2. Lax–Oleinik formula . . . . . . . . . . . . . . . . . . . . . 1433.4.3. Weak solutions, uniqueness . . . . . . . . . . . . . . . . 148CONTENTS ix3.4.4. Riemann’s problem . . . . . . . . . . . . . . . . . . . . . . 1533.4.5. Long time behavior . . . . . . . . . . . . . . . . . . . . . . 1563.5. Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1613.6. References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1654. Other Ways to Represent Solutions . . . . . . . . . . . . . . 1674.1. Separation of variables . . . . . . . . . . . . . . . . . . . . . . . . 1674.1.1. Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1684.1.2. Application: Turing instability . . . . . . . . . . . . . 1724.2. Similarity solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . 1764.2.1. Plane and traveling waves, solitons . . . . . . . . . . 1764.2.2. Similarity under scaling . . . . . . . . . . . . . . . . . . . 1854.3. Transform methods . . . . . . . . . . . . . . . . . . . . . . . . . . . 1874.3.1. Fourier transform . . . . . . . . . . . . . . . . . . . . . . . . 1874.3.2. Radon transform . . . . . . . . . . . . . . . . . . . . . . . . 1964.3.3. Laplace transform . . . . . . . . . . . . . . . . . . . . . . . 2034.4. Converting nonlinear into linear PDE . . . . . . . . . . . . 2064.4.1. Cole–Hopf transformation . . . . . . . . . . . . . . . . . 2064.4.2. Potential functions . . . . . . . . . . . . . . . . . . . . . . . 2084.4.3. Hodograph and Legendre transforms . . . . . . . . . 2094.5. Asymptotics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2114.5.1. Singular perturbations . . . . . . . . . . . . . . . . . . . . 2114.5.2. Laplace’s method . . . . . . . . . . . . . . . . . . . . . . . . 2164.5.3. Geometric optics, stationary phase . . . . . . . . . . 2184.5.4. Homogenization . . . . . . . . . . . . . . . . . . . . . . . . . 2294.6. Power series . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2324.6.1. Noncharacteristic surfaces . . . . . . . . . . . . . . . . . 2324.6.2. Real analytic functions . . . . . . . . . . . . . . . . . . . 2374.6.3. Cauchy–Kovalevskaya Theorem . . . . . . . . . . . . . 2394.7. Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2444.8. References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249PART II: THEORY FOR LINEAR PARTIAL DIFFERENTIAL EQUATIONS5. Sobolev Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2535.1. H¨older spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 254x CONTENTS5.2. Sobolev spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2555.2.1. Weak derivatives . . . . . . . . . . . . . . . . . . . . . . . . 2555.2.2. Definition of Sobolev spaces . . . . . . . . . . . . . . . 2585.2.3. Elementary properties . . . . . . . . . . . . . . . . . . . . 2615.3. Approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2645.3.1. Interior approximation by smooth functions . . . 2645.3.2. Approximation by smooth functions . . . . . . . . . 2655.3.3. Global approximation by smooth functions . . . . 2665.4. Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2685.5. Traces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2715.6. Sobolev inequalities . . . . . . . . . . . . . . . . . . . . . . . . . . 2755.6.1. Gagliardo–Nirenberg–Sobolev inequality . . . . . . 2765.6.2. Morrey’s inequality . . . . . . . . . . . . . . . . . . . . . . 2805.6.3. General Sobolev inequalities . . . . . . . . . . . . . . . 2845.7. Compactness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2865.8. Additional topics . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2895.8.1. Poincar´e’s inequalities . . . . . . . . . . . . . . . . . . . . 2895.8.2. Difference quotients . . . . . . . . . . . . . . . . . . . . . . 2915.8.3. Differentiability a.e. . . . . . . . . . . . . . . . . . . . . . . 2955.8.4. Hardy’s inequality . . . . . . . . . . . . . . . . . . . . . . . 2965.8.5. Fourier transform methods . . . . . . . . . . . . . . . . 2975.9. Other spaces of functions . . . . . . . . . . . . . . . . . . . . . . 2995.9.1. The space H-1 . . . . . . . . . . . . . . . . . . . . . . . . . . 2995.9.2. Spaces involving time . . . . . . . . . . . . . . . . . . . . . 3015.10. Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3055.11. References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3096. Second-Order Elliptic Equations . . . . . . . . . . . . . . . . . 3116.1. Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3116.1.1. Elliptic equations . . . . . . . . . . . . . . . . . . . . . . . . 3116.1.2. Weak solutions . . . . . . . . . . . . . . . . . . . . . . . . . . 3136.2. Existence of weak solutions . . . . . . . . . . . . . . . . . . . . 3156.2.1. Lax–Milgram Theorem . . . . . . . . . . . . . . . . . . . 3156.2.2. Energy estimates . . . . . . . . . . . . . . . . . . . . . . . . 3176.2.3. Fredholm alternative . . . . . . . . . . . . . . . . . . . . . 320CONTENTS xi6.3. Regularity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3266.3.1. Interior regularity . . . . . . . . . . . . . . . . . . . . . . . . 3276.3.2. Boundary regularity . . . . . . . . . . . . . . . . . . . . . . 3346.4. Maximum principles . . . . . . . . . . . . . . . . . . . . . . . . . . 3446.4.1. Weak maximum principle . . . . . . . . . . . . . . . . . 3446.4.2. Strong maximum principle . . . . . . . . . . . . . . . . . 3476.4.3. Harnack’s inequality . . . . . . . . . . . . . . . . . . . . . 3516.5. Eigenvalues and eigenfunctions . . . . . . . . . . . . . . . . . . 3546.5.1. Eigenvalues of symmetric elliptic operators . . . . 3546.5.2. Eigenvalues of nonsymmetric elliptic operators . 3606.6. Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3656.7. References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3707. Linear Evolution Equations . . . . . . . . . . . . . . . . . . . . . 3717.1. Second-order parabolic equations . . . . . . . . . . . . . . . . 3717.1.1. Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3727.1.2. Existence of weak solutions . . . . . . . . . . . . . . . . 3757.1.3. Regularity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3807.1.4. Maximum principles . . . . . . . . . . . . . . . . . . . . . . 3897.2. Second-order hyperbolic equations . . . . . . . . . . . . . . . 3987.2.1. Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3987.2.2. Existence of weak solutions . . . . . . . . . . . . . . . . 4017.2.3. Regularity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4087.2.4. Propagation of disturbances . . . . . . . . . . . . . . . 4147.2.5. Equations in two variables . . . . . . . . . . . . . . . . . 4187.3. Hyperbolic systems of first-order equations . . . . . . . . 4217.3.1. Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4217.3.2. Symmetric hyperbolic systems . . . . . . . . . . . . . . 4237.3.3. Systems with constant coefficients . . . . . . . . . . . 4297.4. Semigroup theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4337.4.1. Definitions, elementary properties . . . . . . . . . . . 4347.4.2. Generating contraction semigroups . . . . . . . . . . 4397.4.3. Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4417.5. Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4467.6. References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 449xii CONTENTSPART III: THEORY FOR NONLINEAR PARTIAL DIFFERENTIAL EQUATIONS8. The Calculus of Variations . . . . . . . . . . . . . . . . . . . . . . 4538.1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4538.1.1. Basic ideas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4538.1.2. First variation, Euler–Lagrange equation . . . . . 4548.1.3. Second variation . . . . . . . . . . . . . . . . . . . . . . . . . 4588.1.4. Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4598.2. Existence of minimizers . . . . . . . . . . . . . . . . . . . . . . . 4658.2.1. Coercivity, lower semicontinuity . . . . . . . . . . . . 4658.2.2. Convexity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4678.2.3. Weak solutions of Euler–Lagrange equation . . . 4728.2.4. Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4758.2.5. Local minimizers . . . . . . . . . . . . . . . . . . . . . . . . 4808.3. Regularity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4828.3.1. Second derivative estimates . . . . . . . . . . . . . . . . 4838.3.2. Remarks on higher regularity . . . . . . . . . . . . . . 4868.4. Constraints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4888.4.1. Nonlinear eigenvalue problems . . . . . . . . . . . . . . 4888.4.2. Unilateral constraints, variational inequalities . 4928.4.3. Harmonic maps . . . . . . . . . . . . . . . . . . . . . . . . . 4958.4.4. Incompressibility . . . . . . . . . . . . . . . . . . . . . . . . 4978.5. Critical points . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5018.5.1. Mountain Pass Theorem . . . . . . . . . . . . . . . . . . 5018.5.2. Application to semilinear elliptic PDE . . . . . . . 5078.6. Invariance, Noether’s Theorem . . . . . . . . . . . . . . . . . . 5118.6.1. Invariant variational problems . . . . . . . . . . . . . . 5128.6.2. Noether’s Theorem . . . . . . . . . . . . . . . . . . . . . . 5138.7. Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5208.8. References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5259. Nonvariational Techniques . . . . . . . . . . . . . . . . . . . . . . 5279.1. Monotonicity methods . . . . . . . . . . . . . . . . . . . . . . . . 5279.2. Fixed point methods . . . . . . . . . . . . . . . . . . . . . . . . . . 5339.2.1. Banach’s Fixed Point Theorem . . . . . . . . . . . . . 534CONTENTS xiii9.2.2. Schauder’s, Schaefer’s Fixed Point Theorems . . 5389.3. Method of subsolutions and supersolutions . . . . . . . . 5439.4. Nonexistence of solutions . . . . . . . . . . . . . . . . . . . . . . 5479.4.1. Blow-up . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5479.4.2. Derrick–Pohozaev identity . . . . . . . . . . . . . . . . . 5519.5. Geometric properties of solutions . . . . . . . . . . . . . . . . 5549.5.1. Star-shaped level sets . . . . . . . . . . . . . . . . . . . . . 5549.5.2. Radial symmetry . . . . . . . . . . . . . . . . . . . . . . . . 5559.6. Gradient flows . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5609.6.1. Convex functions on Hilbert spaces . . . . . . . . . . 5609.6.2. Subdifferentials and nonlinear semigroups . . . . 5659.6.3. Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5719.7. Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5739.8. References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57710. Hamilton–Jacobi Equations . . . . . . . . . . . . . . . . . . . . 57910.1. Introduction, viscosity solutions . . . . . . . . . . . . . . . . 57910.1.1. Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58110.1.2. Consistency . . . . . . . . . . . . . . . . . . . . . . . . . . . 58310.2. Uniqueness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58610.3. Control theory, dynamic programming . . . . . . . . . . . 59010.3.1. Introduction to optimal control theory . . . . . . 59110.3.2. Dynamic programming . . . . . . . . . . . . . . . . . . . 59210.3.3. Hamilton–Jacobi–Bellman equation . . . . . . . . . 59410.3.4. Hopf–Lax formula revisited . . . . . . . . . . . . . . . 60010.4. Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60310.5. References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60611. Systems of Conservation Laws . . . . . . . . . . . . . . . . . 60911.1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60911.1.1. Integral solutions . . . . . . . . . . . . . . . . . . . . . . . 61211.1.2. Traveling waves, hyperbolic systems . . . . . . . . 61511.2. Riemann’s problem . . . . . . . . . . . . . . . . . . . . . . . . . . 62111.2.1. Simple waves . . . . . . . . . . . . . . . . . . . . . . . . . . 62111.2.2. Rarefaction waves . . . . . . . . . . . . . . . . . . . . . . . 62411.2.3. Shock waves, contact discontinuities . . . . . . . . 625xiv CONTENTS11.2.4. Local solution of Riemann’s problem . . . . . . . . 63211.3. Systems of two conservation laws . . . . . . . . . . . . . . . 63511.3.1. Riemann invariants . . . . . . . . . . . . . . . . . . . . . 63511.3.2. Nonexistence of smooth solutions . . . . . . . . . . 63911.4. Entropy criteria . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64111.4.1. Vanishing viscosity, traveling waves . . . . . . . . . 64211.4.2. Entropy/entropy-flux pairs . . . . . . . . . . . . . . . 64611.4.3. Uniqueness for scalar conservation laws . . . . . 64911.5. Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65411.6. References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65712. Nonlinear Wave Equations . . . . . . . . . . . . . . . . . . . . . 65912.1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65912.1.1. Conservation of energy . . . . . . . . . . . . . . . . . . . 66012.1.2. Finite propagation speed . . . . . . . . . . . . . . . . . 66012.2. Existence of solutions . . . . . . . . . . . . . . . . . . . . . . . . 66312.2.1. Lipschitz nonlinearities . . . . . . . . . . . . . . . . . . 66312.2.2. Short time existence . . . . . . . . . . . . . . . . . . . . . 66612.3. Semilinear wave equations . . . . . . . . . . . . . . . . . . . . 67012.3.1. Sign conditions . . . . . . . . . . . . . . . . . . . . . . . . . 67012.3.2. Three space dimensions . . . . . . . . . . . . . . . . . . 67412.3.3. Subcritical power nonlinearities . . . . . . . . . . . . 67612.4. Critical power nonlinearity . . . . . . . . . . . . . . . . . . . . 67912.5. Nonexistence of solutions . . . . . . . . . . . . . . . . . . . . . 68612.5.1. Nonexistence for negative energy . . . . . . . . . . . 68712.5.2. Nonexistence for small initial data . . . . . . . . . 68912.6. Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69112.7. References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 696APPENDICESAppendix A: Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 697A.1. Notation for matrices . . . . . . . . . . . . . . . . . . . . . . . . . 697A.2. Geometric notation . . . . . . . . . . . . . . . . . . . . . . . . . . 698A.3. Notation for functions . . . . . . . . . . . . . . . . . . . . . . . . 699A.4. Vector-valued functions . . . . . . . . . . . . . . . . . . . . . . . 703A.5. Notation for estimates . . . . . . . . . . . . . . . . . . . . . . . . 703CONTENTS xvA.6. Some comments about notation . . . . . . . . . . . . . . . . 704Appendix B: Inequalities . . . . . . . . . . . . . . . . . . . . . . . . . . 705B.1. Convex functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 705B.2. Useful inequalities . . . . . . . . . . . . . . . . . . . . . . . . . . . 706Appendix C: Calculus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 710C.1. Boundaries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 710C.2. Gauss–Green Theorem . . . . . . . . . . . . . . . . . . . . . . . . 711C.3. Polar coordinates, coarea formula . . . . . . . . . . . . . . . 712C.4. Moving regions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 713C.5. Convolution and smoothing . . . . . . . . . . . . . . . . . . . . 713C.6. Inverse Function Theorem . . . . . . . . . . . . . . . . . . . . . 716C.7. Implicit Function Theorem . . . . . . . . . . . . . . . . . . . . 717C.8. Uniform convergence . . . . . . . . . . . . . . . . . . . . . . . . . 718Appendix D: Functional Analysis . . . . . . . . . . . . . . . . . . 719D.1. Banach spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 719D.2. Hilbert spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 720D.3. Bounded linear operators . . . . . . . . . . . . . . . . . . . . . . 721D.4. Weak convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . 723D.5. Compact operators, Fredholm theory . . . . . . . . . . . . 724D.6. Symmetric operators . . . . . . . . . . . . . . . . . . . . . . . . . 728Appendix E: Measure Theory . . . . . . . . . . . . . . . . . . . . . 729E.1. Lebesgue measure . . . . . . . . . . . . . . . . . . . . . . . . . . . . 729E.2. Measurable functions and integration . . . . . . . . . . . . 730E.3. Convergence theorems for integrals . . . . . . . . . . . . . . 731E.4. Differentiation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 732E.5. Banach space-valued functions . . . . . . . . . . . . . . . . . . 733Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 735Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 741