A First Course in Linear Algebra

A First Course in Linear Algebra

byRobert A. Beezer

Department of Mathematics and Computer ScienceUniversity of Puget Sound

Version 1.08

Robert A. Beezer is a Professor of Mathematics at the University of Puget Sound, where he has beenon the faculty since 1984. He received a B.S. in Mathematics (with an Emphasis in Computer Science)from the University of Santa Clara in 1978, a M.S. in Statistics from the University of Illinois atUrbana-Champaign in 1982 and a Ph.D. in Mathematics from the University of Illinois at Urbana-Champaign in 1984. He teaches calculus, linear algebra and abstract algebra regularly, while hisresearch interests include the applications of linear algebra to graph theory. His professional website isat http://buzzard.ups.edu.

EditionVersion 1.08.March 29, 2007.

PublisherRobert A. BeezerDepartment of Mathematics and Computer ScienceUniversity of Puget Sound1500 North WarnerTacoma, Washington 98416-1043USA

c© 2004 by Robert A. Beezer.

Permission is granted to copy, distribute and/or modify this document under the terms of the GNUFree Documentation License, Version 1.2 or any later version published by the Free Software Founda-tion; with the Invariant Sections being “Preface”, no Front-Cover Texts, and no Back-Cover Texts. Acopy of the license is included in the appendix entitled “GNU Free Documentation License”.

The most recent version of this work can always be found at http://linear.ups.edu.

http://buzzard.ups.eduhttp://linear.ups.edu

To my wife, Pat.

Contents

Table of Contents vi

Contributors vii

Definitions viii

Theorems ix

Notation x

Examples xi

Preface xii

Acknowledgements xvii

Part C Core

Chapter SLE Systems of Linear Equations 2WILA What is Linear Algebra? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

LA “Linear” + “Algebra” . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2AA An Application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

SSLE Solving Systems of Linear Equations . . . . . . . . . . . . . . . . . . . . . . . . . . 10SLE Systems of Linear Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10PSS Possibilities for Solution Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11ESEO Equivalent Systems and Equation Operations . . . . . . . . . . . . . . . . . . 12READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

RREF Reduced Row-Echelon Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23MVNSE Matrix and Vector Notation for Systems of Equations . . . . . . . . . . . . 23RO Row Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26RREF Reduced Row-Echelon Form . . . . . . . . . . . . . . . . . . . . . . . . . . . 29READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

vi

CONTENTS vii

TSS Types of Solution Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46CS Consistent Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46FV Free Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56

HSE Homogeneous Systems of Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . 57SHS Solutions of Homogeneous Systems . . . . . . . . . . . . . . . . . . . . . . . . 57NSM Null Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

NM Nonsingular Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67NM Nonsingular Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67NSNM Null Space of a Nonsingular Matrix . . . . . . . . . . . . . . . . . . . . . . . 69READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76

Chapter V Vectors 78VO Vector Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78

VEASM Vector Equality, Addition, Scalar Multiplication . . . . . . . . . . . . . . . 79VSP Vector Space Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85

LC Linear Combinations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86LC Linear Combinations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86VFSS Vector Form of Solution Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . 91PSHS Particular Solutions, Homogeneous Solutions . . . . . . . . . . . . . . . . . . 101URREF Uniqueness of Reduced Row-Echelon Form . . . . . . . . . . . . . . . . . . 104READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109

SS Spanning Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111SSV Span of a Set of Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111SSNS Spanning Sets of Null Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . 117READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125

LI Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131LISV Linearly Independent Sets of Vectors . . . . . . . . . . . . . . . . . . . . . . . 131LINM Linear Independence and Nonsingular Matrices . . . . . . . . . . . . . . . . . 136NSSLI Null Spaces, Spans, Linear Independence . . . . . . . . . . . . . . . . . . . . 138READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145

LDS Linear Dependence and Spans . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150

Version 1.08

CONTENTS viii

LDSS Linearly Dependent Sets and Spans . . . . . . . . . . . . . . . . . . . . . . . 150COV Casting Out Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162

O Orthogonality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165CAV Complex Arithmetic and Vectors . . . . . . . . . . . . . . . . . . . . . . . . . 165IP Inner products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166N Norm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169OV Orthogonal Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171GSP Gram-Schmidt Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177

Chapter M Matrices 178MO Matrix Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178

MEASM Matrix Equality, Addition, Scalar Multiplication . . . . . . . . . . . . . . 178VSP Vector Space Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180TSM Transposes and Symmetric Matrices . . . . . . . . . . . . . . . . . . . . . . . 181MCC Matrices and Complex Conjugation . . . . . . . . . . . . . . . . . . . . . . . 183AM Adjoint of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189

MM Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190MVP Matrix-Vector Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190MM Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193MMEE Matrix Multiplication, Entry-by-Entry . . . . . . . . . . . . . . . . . . . . . 194PMM Properties of Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . 196HM Hermitian Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206

MISLE Matrix Inverses and Systems of Linear Equations . . . . . . . . . . . . . . . . . . 209IM Inverse of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210CIM Computing the Inverse of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . 212PMI Properties of Matrix Inverses . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222

MINM Matrix Inverses and Nonsingular Matrices . . . . . . . . . . . . . . . . . . . . . . 225NMI Nonsingular Matrices are Invertible . . . . . . . . . . . . . . . . . . . . . . . . 225UM Unitary Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234

CRS Column and Row Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235CSSE Column Spaces and Systems of Equations . . . . . . . . . . . . . . . . . . . . 235

Version 1.08

CONTENTS ix

CSSOC Column Space Spanned by Original Columns . . . . . . . . . . . . . . . . . 237CSNM Column Space of a Nonsingular Matrix . . . . . . . . . . . . . . . . . . . . . 240RSM Row Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253

FS Four Subsets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257LNS Left Null Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257CRS Computing Column Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258EEF Extended echelon form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261FS Four Subsets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275

Chapter VS Vector Spaces 279VS Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279

VS Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279EVS Examples of Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281VSP Vector Space Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285RD Recycling Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 290SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291

S Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292TS Testing Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293TSS The Span of a Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297SC Subspace Constructions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 305SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306

LISS Linear Independence and Spanning Sets . . . . . . . . . . . . . . . . . . . . . . . . 309LI Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309SS Spanning Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313VR Vector Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323

B Bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326B Bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326BSCV Bases for Spans of Column Vectors . . . . . . . . . . . . . . . . . . . . . . . 329BNM Bases and Nonsingular Matrices . . . . . . . . . . . . . . . . . . . . . . . . . 331OBC Orthonormal Bases and Coordinates . . . . . . . . . . . . . . . . . . . . . . . 333READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 337SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 338

D Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340D Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340

Version 1.08

CONTENTS x

DVS Dimension of Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . 344RNM Rank and Nullity of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . 346RNNM Rank and Nullity of a Nonsingular Matrix . . . . . . . . . . . . . . . . . . . 348READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 350SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 352

PD Properties of Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354GT Goldilocks’ Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354RT Ranks and Transposes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 358DFS Dimension of Four Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . 359DS Direct Sums . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 360READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 366SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367

Chapter D Determinants 368DM Determinant of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 368

EM Elementary Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 368DD Definition of the Determinant . . . . . . . . . . . . . . . . . . . . . . . . . . . . 372CD Computing Determinants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 378EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 379SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 380

PDM Properties of Determinants of Matrices . . . . . . . . . . . . . . . . . . . . . . . . 381DRO Determinants and Row Operations . . . . . . . . . . . . . . . . . . . . . . . . 381DROEM Determinants, Row Operations, Elementary Matrices . . . . . . . . . . . . 386DNMMM Determinants, Nonsingular Matrices, Matrix Multiplication . . . . . . . . 388READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 390EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 391SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 392

Chapter E Eigenvalues 393EE Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 393

EEM Eigenvalues and Eigenvectors of a Matrix . . . . . . . . . . . . . . . . . . . . 393PM Polynomials and Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 395EEE Existence of Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . . . . 397CEE Computing Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . . . . . 400ECEE Examples of Computing Eigenvalues and Eigenvectors . . . . . . . . . . . . . 403READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 411SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 412

PEE Properties of Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . . . . . . . 416ME Multiplicities of Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 421EHM Eigenvalues of Hermitian Matrices . . . . . . . . . . . . . . . . . . . . . . . . 424READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 426EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 427SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 428

SD Similarity and Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 429SM Similar Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 429

Version 1.08

CONTENTS xi

PSM Properties of Similar Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . 430D Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 432READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 440EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 441SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 442

Chapter LT Linear Transformations 446LT Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 446

LT Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 446MLT Matrices and Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . 450LTLC Linear Transformations and Linear Combinations . . . . . . . . . . . . . . . 455PI Pre-Images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 457NLTFO New Linear Transformations From Old . . . . . . . . . . . . . . . . . . . . 459READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 463EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 465SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 467

ILT Injective Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 470EILT Examples of Injective Linear Transformations . . . . . . . . . . . . . . . . . . 470KLT Kernel of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . 473ILTLI Injective Linear Transformations and Linear Independence . . . . . . . . . . 478ILTD Injective Linear Transformations and Dimension . . . . . . . . . . . . . . . . 479CILT Composition of Injective Linear Transformations . . . . . . . . . . . . . . . . 479READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 480EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 481SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 483

SLT Surjective Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 486ESLT Examples of Surjective Linear Transformations . . . . . . . . . . . . . . . . . 486RLT Range of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . 490SSSLT Spanning Sets and Surjective Linear Transformations . . . . . . . . . . . . . 494SLTD Surjective Linear Transformations and Dimension . . . . . . . . . . . . . . . 496CSLT Composition of Surjective Linear Transformations . . . . . . . . . . . . . . . 497READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 497EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 499SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 501

IVLT Invertible Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . 504IVLT Invertible Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . 504IV Invertibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 507SI Structure and Isomorphism . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 510RNLT Rank and Nullity of a Linear Transformation . . . . . . . . . . . . . . . . . . 512SLELT Systems of Linear Equations and Linear Transformations . . . . . . . . . . . 515READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 517EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 518SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 520

Chapter R Representations 524VR Vector Representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 524

CVS Characterization of Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . 530CP Coordinatization Principle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 531READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 534

Version 1.08

CONTENTS xii

EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 535SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 536

MR Matrix Representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 537NRFO New Representations from Old . . . . . . . . . . . . . . . . . . . . . . . . . 543PMR Properties of Matrix Representations . . . . . . . . . . . . . . . . . . . . . . . 547IVLT Invertible Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . 552READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 556EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 557SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 560

CB Change of Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 568EELT Eigenvalues and Eigenvectors of Linear Transformations . . . . . . . . . . . . 568CBM Change-of-Basis Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 569MRS Matrix Representations and Similarity . . . . . . . . . . . . . . . . . . . . . . 576CELT Computing Eigenvectors of Linear Transformations . . . . . . . . . . . . . . 582READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 590EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 592SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 593

OD Orthonormal Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 597TM Triangular Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 597UTMR Upper Triangular Matrix Representation . . . . . . . . . . . . . . . . . . . . 599NM Normal Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 602OD Orthonormal Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . 603

NLT Nilpotent Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 607NLT Nilpotent Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . 607PNLT Properties of Nilpotent Linear Transformations . . . . . . . . . . . . . . . . . 612CFNLT Canonical Form for Nilpotent Linear Transformations . . . . . . . . . . . . 617

IS Invariant Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 625IS Invariant Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 625GEE Generalized Eigenvectors and Eigenspaces . . . . . . . . . . . . . . . . . . . . 629RLT Restrictions of Linear Transformations . . . . . . . . . . . . . . . . . . . . . . 633

JCF Jordan Canonical Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 643GESD Generalized Eigenspace Decomposition . . . . . . . . . . . . . . . . . . . . . 643JCF Jordan Canonical Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 650CHT Cayley-Hamilton Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 664

Appendix CN Computation Notes 665MMA Mathematica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 665

ME.MMA Matrix Entry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 665RR.MMA Row Reduce . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 665LS.MMA Linear Solve . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 666VLC.MMA Vector Linear Combinations . . . . . . . . . . . . . . . . . . . . . . . . 666NS.MMA Null Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 667VFSS.MMA Vector Form of Solution Set . . . . . . . . . . . . . . . . . . . . . . . . 667GSP.MMA Gram-Schmidt Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . 668TM.MMA Transpose of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . 669MM.MMA Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . 669MI.MMA Matrix Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 670

TI86 Texas Instruments 86 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 670

Version 1.08

CONTENTS xiii

ME.TI86 Matrix Entry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 670RR.TI86 Row Reduce . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 670VLC.TI86 Vector Linear Combinations . . . . . . . . . . . . . . . . . . . . . . . . . 671TM.TI86 Transpose of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 671

TI83 Texas Instruments 83 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 671ME.TI83 Matrix Entry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 671RR.TI83 Row Reduce . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 672VLC.TI83 Vector Linear Combinations . . . . . . . . . . . . . . . . . . . . . . . . . 672

Appendix P Preliminaries 673CNO Complex Number Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 673

CNA Arithmetic with complex numbers . . . . . . . . . . . . . . . . . . . . . . . . 673CCN Conjugates of Complex Numbers . . . . . . . . . . . . . . . . . . . . . . . . . 675MCN Modulus of a Complex Number . . . . . . . . . . . . . . . . . . . . . . . . . . 676

SET Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 677SC Set Cardinality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 678SO Set Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 679

PT Proof Techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 681D Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 681T Theorems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 682L Language . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 682GS Getting Started . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 683C Constructive Proofs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 684E Equivalences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 684N Negation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 685CP Contrapositives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 685CV Converses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 685CD Contradiction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 686U Uniqueness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 687ME Multiple Equivalences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 687PI Proving Identities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 687DC Decompositions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 688I Induction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 688P Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 690LC Lemmas and Corollaries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 690

Appendix A Archetypes 692A . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 696B . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 701C . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 706D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 710E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 714F . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 718G . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 723H . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 727I . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 731J . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 735K . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 740L . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 744

Version 1.08

CONTENTS xiv

M . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 748N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 751O . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 754P . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 757Q . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 759R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 763S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 766T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 769U . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 771V . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 774W . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 776X . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 778

Appendix GFDL GNU Free Documentation License 7811. APPLICABILITY AND DEFINITIONS . . . . . . . . . . . . . . . . . . . . . . . . . . 7812. VERBATIM COPYING . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7823. COPYING IN QUANTITY . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7834. MODIFICATIONS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7835. COMBINING DOCUMENTS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7856. COLLECTIONS OF DOCUMENTS . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7857. AGGREGATION WITH INDEPENDENT WORKS . . . . . . . . . . . . . . . . . . . 7858. TRANSLATION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7859. TERMINATION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78610. FUTURE REVISIONS OF THIS LICENSE . . . . . . . . . . . . . . . . . . . . . . . 786ADDENDUM: How to use this License for your documents . . . . . . . . . . . . . . . . . 786

Part T Topics

F Fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 788F Fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 788FF Finite Fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 789EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 794SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 796

T Trace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 797EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 801SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 802

VM Vandermonde Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 803PSM Positive Semi-definite Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 807

PSM Positive Semi-Definite Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . 807EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 810

Chapter MD Matrix Decompositions 811ROD Rank One Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 812TD Triangular Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 817

TD Triangular Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 817TDSSE Triangular Decomposition and Solving Systems of Equations . . . . . . . . 820CTD Computing Triangular Decompositions . . . . . . . . . . . . . . . . . . . . . . 821

SVD Singular Value Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 825

Version 1.08

CONTENTS xv

MAP Matrix-Adjoint Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 825SVD Singular Value Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . 829

SR Square Roots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 831SRM Square Root of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 831

POD Polar Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 835

Part A Applications

CF Curve Fitting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 838DF Data Fitting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 839EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 842

SAS Sharing A Secret . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 843

Version 1.08

Contributors

Beezer, David. St. Charles Borromeo School

Beezer, Robert. University of Puget Sound http://buzzard.ups.edu/

Fellez, Sarah. University of Puget Sound

Fickenscher, Eric. University of Puget Sound

Jackson, Martin. University of Puget Sound http://www.math.ups.edu/~martinj

Linenthal, Jacob. University of Puget Sound

Osborne, Travis. University of Puget Sound

Riegsecker, Joe. Middlebury, Indiana joepye (at) pobox (dot) com

Phelps, Douglas. University of Puget Sound

Shoemaker, Mark. University of Puget Sound

Zimmer, Andy. University of Puget Sound

xvi

http://buzzard.ups.edu/http://www.math.ups.edu/~martinj

Definitions

Section WILASection SSLESLE System of Linear Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10ESYS Equivalent Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12EO Equation Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

Section RREFM Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23CV Column Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24ZCV Zero Column Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24CM Coefficient Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24VOC Vector of Constants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24SV Solution Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25LSMR Matrix Representation of a Linear System . . . . . . . . . . . . . . . . . . . . . . 25AM Augmented Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26RO Row Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27REM Row-Equivalent Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27RREF Reduced Row-Echelon Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29RR Row-Reducing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

Section TSSCS Consistent System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46IDV Independent and Dependent Variables . . . . . . . . . . . . . . . . . . . . . . . . 48

Section HSEHS Homogeneous System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57TSHSE Trivial Solution to Homogeneous Systems of Equations . . . . . . . . . . . . . . . 57NSM Null Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

Section NMSQM Square Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67NM Nonsingular Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67IM Identity Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68

Section VOVSCV Vector Space of Column Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . 78CVE Column Vector Equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79CVA Column Vector Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80

xvii

DEFINITIONS xviii

CVSM Column Vector Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . 80

Section LCLCCV Linear Combination of Column Vectors . . . . . . . . . . . . . . . . . . . . . . . 86

Section SSSSCV Span of a Set of Column Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . 111

Section LIRLDCV Relation of Linear Dependence for Column Vectors . . . . . . . . . . . . . . . . . 131LICV Linear Independence of Column Vectors . . . . . . . . . . . . . . . . . . . . . . . 131

Section LDSSection OCCCV Complex Conjugate of a Column Vector . . . . . . . . . . . . . . . . . . . . . . . 165IP Inner Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166NV Norm of a Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169OV Orthogonal Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171OSV Orthogonal Set of Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171ONS OrthoNormal Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175

Section MOVSM Vector Space of m× n Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . 178ME Matrix Equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178MA Matrix Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179MSM Matrix Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179ZM Zero Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181TM Transpose of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181SYM Symmetric Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182CCM Complex Conjugate of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . 183A Adjoint . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185

Section MMMVP Matrix-Vector Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190MM Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193HM Hermitian Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201

Section MISLEMI Matrix Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210SUV Standard Unit Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212

Section MINMUM Unitary Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228

Section CRSCSM Column Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235RSM Row Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242

Version 1.08

DEFINITIONS xix

Section FSLNS Left Null Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257EEF Extended Echelon Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261

Section VSVS Vector Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279

Section SS Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292TS Trivial Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296LC Linear Combination . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297SS Span of a Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298

Section LISSRLD Relation of Linear Dependence . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309LI Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309TSVS To Span a Vector Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 314

Section BB Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326

Section DD Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340NOM Nullity Of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 346ROM Rank Of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 346

Section PDDS Direct Sum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 360

Section DMELEM Elementary Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 368SM SubMatrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373DM Determinant of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373

Section PDMSection EEEEM Eigenvalues and Eigenvectors of a Matrix . . . . . . . . . . . . . . . . . . . . . . 393CP Characteristic Polynomial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 400EM Eigenspace of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 402AME Algebraic Multiplicity of an Eigenvalue . . . . . . . . . . . . . . . . . . . . . . . 404GME Geometric Multiplicity of an Eigenvalue . . . . . . . . . . . . . . . . . . . . . . . 404

Section PEESection SDSIM Similar Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 429DIM Diagonal Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 432DZM Diagonalizable Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 432

Version 1.08

DEFINITIONS xx

Section LTLT Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 446PI Pre-Image . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 457LTA Linear Transformation Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . 459LTSM Linear Transformation Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . 460LTC Linear Transformation Composition . . . . . . . . . . . . . . . . . . . . . . . . . 462

Section ILTILT Injective Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 470KLT Kernel of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . 473

Section SLTSLT Surjective Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . 486RLT Range of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . 490

Section IVLTIDLT Identity Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 504IVLT Invertible Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . 504IVS Isomorphic Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 510ROLT Rank Of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . 512NOLT Nullity Of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . 512

Section VRVR Vector Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 524

Section MRMR Matrix Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 537

Section CBEELT Eigenvalue and Eigenvector of a Linear Transformation . . . . . . . . . . . . . . 568CBM Change-of-Basis Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 569

Section ODUTM Upper Triangular Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 597LTM Lower Triangular Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 597NRML Normal Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 602

Section NLTNLT Nilpotent Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . 607JB Jordan Block . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 609

Section ISIS Invariant Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 625GEV Generalized Eigenvector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 629GES Generalized Eigenspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 629LTR Linear Transformation Restriction . . . . . . . . . . . . . . . . . . . . . . . . . . 633IE Index of an Eigenvalue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 639

Version 1.08

DEFINITIONS xxi

Section JCFJCF Jordan Canonical Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 650

Section CNOCNE Complex Number Equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 674CNA Complex Number Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 674CNM Complex Number Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . 674CCN Conjugate of a Complex Number . . . . . . . . . . . . . . . . . . . . . . . . . . . 675MCN Modulus of a Complex Number . . . . . . . . . . . . . . . . . . . . . . . . . . . . 676

Section SETSET Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 677SSET Subset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 677ES Empty Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 677SE Set Equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 678C Cardinality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 678SU Set Union . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 679SI Set Intersection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 679SC Set Complement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 679

Section PTSection FF Field . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 788IMP Integers Modulo a Prime . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 790

Section TT Trace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 797

Section VMVM Vandermonde Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 803

Section PSMPSM Positive Semi-Definite Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 807

Section RODSection TDSection SVDSV Singular Values . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 829

Section SRSRM Square Root of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 834

Section PODSection CFLSS Least Squares Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 839

Section SAS

Version 1.08

Theorems

Section WILASection SSLEEOPSS Equation Operations Preserve Solution Sets . . . . . . . . . . . . . . . . . . . . . 13

Section RREFREMES Row-Equivalent Matrices represent Equivalent Systems . . . . . . . . . . . . . . 28REMEF Row-Equivalent Matrix in Echelon Form . . . . . . . . . . . . . . . . . . . . . . . 30

Section TSSRCLS Recognizing Consistency of a Linear System . . . . . . . . . . . . . . . . . . . . . 49ISRN Inconsistent Systems, r and n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50CSRN Consistent Systems, r and n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50FVCS Free Variables for Consistent Systems . . . . . . . . . . . . . . . . . . . . . . . . 51PSSLS Possible Solution Sets for Linear Systems . . . . . . . . . . . . . . . . . . . . . . 51CMVEI Consistent, More Variables than Equations, Infinite solutions . . . . . . . . . . . 52

Section HSEHSC Homogeneous Systems are Consistent . . . . . . . . . . . . . . . . . . . . . . . . 57HMVEI Homogeneous, More Variables than Equations, Infinite solutions . . . . . . . . . 59

Section NMNMRRI Nonsingular Matrices Row Reduce to the Identity matrix . . . . . . . . . . . . . 68NMTNS Nonsingular Matrices have Trivial Null Spaces . . . . . . . . . . . . . . . . . . . 70NMUS Nonsingular Matrices and Unique Solutions . . . . . . . . . . . . . . . . . . . . . 70NME1 Nonsingular Matrix Equivalences, Round 1 . . . . . . . . . . . . . . . . . . . . . 73

Section VOVSPCV Vector Space Properties of Column Vectors . . . . . . . . . . . . . . . . . . . . . 81

Section LCSLSLC Solutions to Linear Systems are Linear Combinations . . . . . . . . . . . . . . . 89VFSLS Vector Form of Solutions to Linear Systems . . . . . . . . . . . . . . . . . . . . . 96PSPHS Particular Solution Plus Homogeneous Solutions . . . . . . . . . . . . . . . . . . 102RREFU Reduced Row-Echelon Form is Unique . . . . . . . . . . . . . . . . . . . . . . . . 104

Section SSSSNS Spanning Sets for Null Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117

xxii

THEOREMS xxiii

Section LILIVHS Linearly Independent Vectors and Homogeneous Systems . . . . . . . . . . . . . 133LIVRN Linearly Independent Vectors, r and n . . . . . . . . . . . . . . . . . . . . . . . . 135MVSLD More Vectors than Size implies Linear Dependence . . . . . . . . . . . . . . . . . 136NMLIC Nonsingular Matrices have Linearly Independent Columns . . . . . . . . . . . . . 137NME2 Nonsingular Matrix Equivalences, Round 2 . . . . . . . . . . . . . . . . . . . . . 137BNS Basis for Null Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139

Section LDSDLDS Dependency in Linearly Dependent Sets . . . . . . . . . . . . . . . . . . . . . . . 150BS Basis of a Span . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155

Section OCRVA Conjugation Respects Vector Addition . . . . . . . . . . . . . . . . . . . . . . . . 165CRSM Conjugation Respects Vector Scalar Multiplication . . . . . . . . . . . . . . . . . 166IPVA Inner Product and Vector Addition . . . . . . . . . . . . . . . . . . . . . . . . . . 167IPSM Inner Product and Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . 168IPAC Inner Product is Anti-Commutative . . . . . . . . . . . . . . . . . . . . . . . . . 168IPN Inner Products and Norms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170PIP Positive Inner Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170OSLI Orthogonal Sets are Linearly Independent . . . . . . . . . . . . . . . . . . . . . . 172GSP Gram-Schmidt Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173

Section MOVSPM Vector Space Properties of Matrices . . . . . . . . . . . . . . . . . . . . . . . . . 180SMS Symmetric Matrices are Square . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182TMA Transpose and Matrix Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182TMSM Transpose and Matrix Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . 183TT Transpose of a Transpose . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183CRMA Conjugation Respects Matrix Addition . . . . . . . . . . . . . . . . . . . . . . . . 184CRMSM Conjugation Respects Matrix Scalar Multiplication . . . . . . . . . . . . . . . . . 184CCM Conjugate of the Conjugate of a Matrix . . . . . . . . . . . . . . . . . . . . . . . 184MCT Matrix Conjugation and Transposes . . . . . . . . . . . . . . . . . . . . . . . . . 185AMA Adjoint and Matrix Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185AMSM Adjoint and Matrix Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . 186AA Adjoint of an Adjoint . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186

Section MMSLEMM Systems of Linear Equations as Matrix Multiplication . . . . . . . . . . . . . . . 191EMMVP Equal Matrices and Matrix-Vector Products . . . . . . . . . . . . . . . . . . . . . 193EMP Entries of Matrix Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195MMZM Matrix Multiplication and the Zero Matrix . . . . . . . . . . . . . . . . . . . . . 196MMIM Matrix Multiplication and Identity Matrix . . . . . . . . . . . . . . . . . . . . . . 196MMDAA Matrix Multiplication Distributes Across Addition . . . . . . . . . . . . . . . . . 197MMSMM Matrix Multiplication and Scalar Matrix Multiplication . . . . . . . . . . . . . . 197MMA Matrix Multiplication is Associative . . . . . . . . . . . . . . . . . . . . . . . . . 198MMIP Matrix Multiplication and Inner Products . . . . . . . . . . . . . . . . . . . . . . 199MMCC Matrix Multiplication and Complex Conjugation . . . . . . . . . . . . . . . . . . 199

Version 1.08

THEOREMS xxiv

MMT Matrix Multiplication and Transposes . . . . . . . . . . . . . . . . . . . . . . . . 200MMAD Matrix Multiplication and Adjoints . . . . . . . . . . . . . . . . . . . . . . . . . 200AIP Adjoint and Inner Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201HMIP Hermitian Matrices and Inner Products . . . . . . . . . . . . . . . . . . . . . . . 202

Section MISLETTMI Two-by-Two Matrix Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212CINM Computing the Inverse of a Nonsingular Matrix . . . . . . . . . . . . . . . . . . . 215MIU Matrix Inverse is Unique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216SS Socks and Shoes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217MIMI Matrix Inverse of a Matrix Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . 217MIT Matrix Inverse of a Transpose . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218MISM Matrix Inverse of a Scalar Multiple . . . . . . . . . . . . . . . . . . . . . . . . . . 218

Section MINMNPNT Nonsingular Product has Nonsingular Terms . . . . . . . . . . . . . . . . . . . . 225OSIS One-Sided Inverse is Sufficient . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226NI Nonsingularity is Invertibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227NME3 Nonsingular Matrix Equivalences, Round 3 . . . . . . . . . . . . . . . . . . . . . 227SNCM Solution with Nonsingular Coefficient Matrix . . . . . . . . . . . . . . . . . . . . 228UMI Unitary Matrices are Invertible . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229CUMOS Columns of Unitary Matrices are Orthonormal Sets . . . . . . . . . . . . . . . . . 229UMPIP Unitary Matrices Preserve Inner Products . . . . . . . . . . . . . . . . . . . . . . 230

Section CRSCSCS Column Spaces and Consistent Systems . . . . . . . . . . . . . . . . . . . . . . . 236BCS Basis of the Column Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238CSNM Column Space of a Nonsingular Matrix . . . . . . . . . . . . . . . . . . . . . . . 240NME4 Nonsingular Matrix Equivalences, Round 4 . . . . . . . . . . . . . . . . . . . . . 241REMRS Row-Equivalent Matrices have equal Row Spaces . . . . . . . . . . . . . . . . . . 243BRS Basis for the Row Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244CSRST Column Space, Row Space, Transpose . . . . . . . . . . . . . . . . . . . . . . . . 246

Section FSPEEF Properties of Extended Echelon Form . . . . . . . . . . . . . . . . . . . . . . . . 262FS Four Subsets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264

Section VSZVU Zero Vector is Unique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286AIU Additive Inverses are Unique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286ZSSM Zero Scalar in Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . 286ZVSM Zero Vector in Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . 287AISM Additive Inverses from Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . 287SMEZV Scalar Multiplication Equals the Zero Vector . . . . . . . . . . . . . . . . . . . . 288

Section STSS Testing Subsets for Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293NSMS Null Space of a Matrix is a Subspace . . . . . . . . . . . . . . . . . . . . . . . . . 296

Version 1.08

THEOREMS xxv

SSS Span of a Set is a Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298CSMS Column Space of a Matrix is a Subspace . . . . . . . . . . . . . . . . . . . . . . . 303RSMS Row Space of a Matrix is a Subspace . . . . . . . . . . . . . . . . . . . . . . . . . 303LNSMS Left Null Space of a Matrix is a Subspace . . . . . . . . . . . . . . . . . . . . . . 303

Section LISSVRRB Vector Representation Relative to a Basis . . . . . . . . . . . . . . . . . . . . . . 318

Section BSUVB Standard Unit Vectors are a Basis . . . . . . . . . . . . . . . . . . . . . . . . . . 326CNMB Columns of Nonsingular Matrix are a Basis . . . . . . . . . . . . . . . . . . . . . 331NME5 Nonsingular Matrix Equivalences, Round 5 . . . . . . . . . . . . . . . . . . . . . 332COB Coordinates and Orthonormal Bases . . . . . . . . . . . . . . . . . . . . . . . . . 333UMCOB Unitary Matrices Convert Orthonormal Bases . . . . . . . . . . . . . . . . . . . . 335

Section DSSLD Spanning Sets and Linear Dependence . . . . . . . . . . . . . . . . . . . . . . . . 340BIS Bases have Identical Sizes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343DCM Dimension of Cm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 344DP Dimension of Pn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 344DM Dimension of Mmn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 344CRN Computing Rank and Nullity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347RPNC Rank Plus Nullity is Columns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347RNNM Rank and Nullity of a Nonsingular Matrix . . . . . . . . . . . . . . . . . . . . . . 348NME6 Nonsingular Matrix Equivalences, Round 6 . . . . . . . . . . . . . . . . . . . . . 349

Section PDELIS Extending Linearly Independent Sets . . . . . . . . . . . . . . . . . . . . . . . . . 354G Goldilocks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355PSSD Proper Subspaces have Smaller Dimension . . . . . . . . . . . . . . . . . . . . . . 357EDYES Equal Dimensions Yields Equal Subspaces . . . . . . . . . . . . . . . . . . . . . . 358RMRT Rank of a Matrix is the Rank of the Transpose . . . . . . . . . . . . . . . . . . . 358DFS Dimensions of Four Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . 359DSFB Direct Sum From a Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 361DSFOS Direct Sum From One Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . . 362DSZV Direct Sums and Zero Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362DSZI Direct Sums and Zero Intersection . . . . . . . . . . . . . . . . . . . . . . . . . . 363DSLI Direct Sums and Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . 363DSD Direct Sums and Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364RDS Repeated Direct Sums . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364

Section DMEMDRO Elementary Matrices Do Row Operations . . . . . . . . . . . . . . . . . . . . . . 370EMN Elementary Matrices are Nonsingular . . . . . . . . . . . . . . . . . . . . . . . . 372NMPEM Nonsingular Matrices are Products of Elementary Matrices . . . . . . . . . . . . 372DMST Determinant of Matrices of Size Two . . . . . . . . . . . . . . . . . . . . . . . . . 374DER Determinant Expansion about Rows . . . . . . . . . . . . . . . . . . . . . . . . . 374DT Determinant of the Transpose . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375

Version 1.08

THEOREMS xxvi

DEC Determinant Expansion about Columns . . . . . . . . . . . . . . . . . . . . . . . 376

Section PDMDZRC Determinant with Zero Row or Column . . . . . . . . . . . . . . . . . . . . . . . 381DRCS Determinant for Row or Column Swap . . . . . . . . . . . . . . . . . . . . . . . . 381DRCM Determinant for Row or Column Multiples . . . . . . . . . . . . . . . . . . . . . 382DERC Determinant with Equal Rows or Columns . . . . . . . . . . . . . . . . . . . . . 383DRCMA Determinant for Row or Column Multiples and Addition . . . . . . . . . . . . . . 383DIM Determinant of the Identity Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . 386DEM Determinants of Elementary Matrices . . . . . . . . . . . . . . . . . . . . . . . . 386DEMMM Determinants, Elementary Matrices, Matrix Multiplication . . . . . . . . . . . . 387SMZD Singular Matrices have Zero Determinants . . . . . . . . . . . . . . . . . . . . . . 388NME7 Nonsingular Matrix Equivalences, Round 7 . . . . . . . . . . . . . . . . . . . . . 389DRMM Determinant Respects Matrix Multiplication . . . . . . . . . . . . . . . . . . . . 389

Section EEEMHE Every Matrix Has an Eigenvalue . . . . . . . . . . . . . . . . . . . . . . . . . . . 397EMRCP Eigenvalues of a Matrix are Roots of Characteristic Polynomials . . . . . . . . . 401EMS Eigenspace for a Matrix is a Subspace . . . . . . . . . . . . . . . . . . . . . . . . 402EMNS Eigenspace of a Matrix is a Null Space . . . . . . . . . . . . . . . . . . . . . . . . 402

Section PEEEDELI Eigenvectors with Distinct Eigenvalues are Linearly Independent . . . . . . . . . 416SMZE Singular Matrices have Zero Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . 417NME8 Nonsingular Matrix Equivalences, Round 8 . . . . . . . . . . . . . . . . . . . . . 417ESMM Eigenvalues of a Scalar Multiple of a Matrix . . . . . . . . . . . . . . . . . . . . . 418EOMP Eigenvalues Of Matrix Powers . . . . . . . . . . . . . . . . . . . . . . . . . . . . 418EPM Eigenvalues of the Polynomial of a Matrix . . . . . . . . . . . . . . . . . . . . . . 419EIM Eigenvalues of the Inverse of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . 420ETM Eigenvalues of the Transpose of a Matrix . . . . . . . . . . . . . . . . . . . . . . 420ERMCP Eigenvalues of Real Matrices come in Conjugate Pairs . . . . . . . . . . . . . . . 421DCP Degree of the Characteristic Polynomial . . . . . . . . . . . . . . . . . . . . . . . 421NEM Number of Eigenvalues of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . 422ME Multiplicities of an Eigenvalue . . . . . . . . . . . . . . . . . . . . . . . . . . . . 422MNEM Maximum Number of Eigenvalues of a Matrix . . . . . . . . . . . . . . . . . . . . 424HMRE Hermitian Matrices have Real Eigenvalues . . . . . . . . . . . . . . . . . . . . . . 425HMOE Hermitian Matrices have Orthogonal Eigenvectors . . . . . . . . . . . . . . . . . 425

Section SDSER Similarity is an Equivalence Relation . . . . . . . . . . . . . . . . . . . . . . . . . 430SMEE Similar Matrices have Equal Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . 431DC Diagonalization Characterization . . . . . . . . . . . . . . . . . . . . . . . . . . . 433DMFE Diagonalizable Matrices have Full Eigenspaces . . . . . . . . . . . . . . . . . . . 435DED Distinct Eigenvalues implies Diagonalizable . . . . . . . . . . . . . . . . . . . . . 437

Section LTLTTZZ Linear Transformations Take Zero to Zero . . . . . . . . . . . . . . . . . . . . . . 450MBLT Matrices Build Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . 452

Version 1.08

THEOREMS xxvii

MLTCV Matrix of a Linear Transformation, Column Vectors . . . . . . . . . . . . . . . . 453LTLC Linear Transformations and Linear Combinations . . . . . . . . . . . . . . . . . . 455LTDB Linear Transformation Defined on a Basis . . . . . . . . . . . . . . . . . . . . . . 455SLTLT Sum of Linear Transformations is a Linear Transformation . . . . . . . . . . . . . 460MLTLT Multiple of a Linear Transformation is a Linear Transformation . . . . . . . . . . 461VSLT Vector Space of Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . 462CLTLT Composition of Linear Transformations is a Linear Transformation . . . . . . . . 462

Section ILTKLTS Kernel of a Linear Transformation is a Subspace . . . . . . . . . . . . . . . . . . 474KPI Kernel and Pre-Image . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 476KILT Kernel of an Injective Linear Transformation . . . . . . . . . . . . . . . . . . . . 476ILTLI Injective Linear Transformations and Linear Independence . . . . . . . . . . . . . 478ILTB Injective Linear Transformations and Bases . . . . . . . . . . . . . . . . . . . . . 478ILTD Injective Linear Transformations and Dimension . . . . . . . . . . . . . . . . . . 479CILTI Composition of Injective Linear Transformations is Injective . . . . . . . . . . . . 480

Section SLTRLTS Range of a Linear Transformation is a Subspace . . . . . . . . . . . . . . . . . . 491RSLT Range of a Surjective Linear Transformation . . . . . . . . . . . . . . . . . . . . 493SSRLT Spanning Set for Range of a Linear Transformation . . . . . . . . . . . . . . . . . 494RPI Range and Pre-Image . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 496SLTB Surjective Linear Transformations and Bases . . . . . . . . . . . . . . . . . . . . 496SLTD Surjective Linear Transformations and Dimension . . . . . . . . . . . . . . . . . . 496CSLTS Composition of Surjective Linear Transformations is Surjective . . . . . . . . . . 497

Section IVLTILTLT Inverse of a Linear Transformation is a Linear Transformation . . . . . . . . . . . 507IILT Inverse of an Invertible Linear Transformation . . . . . . . . . . . . . . . . . . . 507ILTIS Invertible Linear Transformations are Injective and Surjective . . . . . . . . . . . 508CIVLT Composition of Invertible Linear Transformations . . . . . . . . . . . . . . . . . . 509ICLT Inverse of a Composition of Linear Transformations . . . . . . . . . . . . . . . . 509IVSED Isomorphic Vector Spaces have Equal Dimension . . . . . . . . . . . . . . . . . . 511ROSLT Rank Of a Surjective Linear Transformation . . . . . . . . . . . . . . . . . . . . . 512NOILT Nullity Of an Injective Linear Transformation . . . . . . . . . . . . . . . . . . . . 512RPNDD Rank Plus Nullity is Domain Dimension . . . . . . . . . . . . . . . . . . . . . . . 512

Section VRVRLT Vector Representation is a Linear Transformation . . . . . . . . . . . . . . . . . . 524VRI Vector Representation is Injective . . . . . . . . . . . . . . . . . . . . . . . . . . 529VRS Vector Representation is Surjective . . . . . . . . . . . . . . . . . . . . . . . . . . 529VRILT Vector Representation is an Invertible Linear Transformation . . . . . . . . . . . 530CFDVS Characterization of Finite Dimensional Vector Spaces . . . . . . . . . . . . . . . 530IFDVS Isomorphism of Finite Dimensional Vector Spaces . . . . . . . . . . . . . . . . . . 530CLI Coordinatization and Linear Independence . . . . . . . . . . . . . . . . . . . . . 531CSS Coordinatization and Spanning Sets . . . . . . . . . . . . . . . . . . . . . . . . . 531

Section MR

Version 1.08

THEOREMS xxviii

FTMR Fundamental Theorem of Matrix Representation . . . . . . . . . . . . . . . . . . 540MRSLT Matrix Representation of a Sum of Linear Transformations . . . . . . . . . . . . 543MRMLT Matrix Representation of a Multiple of a Linear Transformation . . . . . . . . . . 543MRCLT Matrix Representation of a Composition of Linear Transformations . . . . . . . . 544KNSI Kernel and Null Space Isomorphism . . . . . . . . . . . . . . . . . . . . . . . . . 547RCSI Range and Column Space Isomorphism . . . . . . . . . . . . . . . . . . . . . . . 550IMR Invertible Matrix Representations . . . . . . . . . . . . . . . . . . . . . . . . . . 552IMILT Invertible Matrices, Invertible Linear Transformation . . . . . . . . . . . . . . . . 555NME9 Nonsingular Matrix Equivalences, Round 9 . . . . . . . . . . . . . . . . . . . . . 556

Section CBCB Change-of-Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 570ICBM Inverse of Change-of-Basis Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . 570CBOB Change of Basis for Orthonormal Bases . . . . . . . . . . . . . . . . . . . . . . . 575MRCB Matrix Representation and Change of Basis . . . . . . . . . . . . . . . . . . . . . 576SCB Similarity and Change of Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . 579EER Eigenvalues, Eigenvectors, Representations . . . . . . . . . . . . . . . . . . . . . 582

Section ODPTMT Product of Triangular Matrices is Triangular . . . . . . . . . . . . . . . . . . . . 597ITMT Inverse of a Triangular Matrix is Triangular . . . . . . . . . . . . . . . . . . . . . 598UTMR Upper Triangular Matrix Representation . . . . . . . . . . . . . . . . . . . . . . . 599OBUTR Orthonormal Basis for Upper Triangular Representation . . . . . . . . . . . . . . 601OD Orthonormal Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 603OBNM Orthonormal Bases and Normal Matrices . . . . . . . . . . . . . . . . . . . . . . 605

Section NLTNJB Nilpotent Jordan Blocks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 612ENLT Eigenvalues of Nilpotent Linear Transformations . . . . . . . . . . . . . . . . . . 613DNLT Diagonalizable Nilpotent Linear Transformations . . . . . . . . . . . . . . . . . . 613KPLT Kernels of Powers of Linear Transformations . . . . . . . . . . . . . . . . . . . . 614KPNLT Kernels of Powers of Nilpotent Linear Transformations . . . . . . . . . . . . . . . 615CFNLT Canonical Form for Nilpotent Linear Transformations . . . . . . . . . . . . . . . 617

Section ISEIS Eigenspaces are Invariant Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . 627KPIS Kernels of Powers are Invariant Subspaces . . . . . . . . . . . . . . . . . . . . . . 628GESIS Generalized Eigenspace is an Invariant Subspace . . . . . . . . . . . . . . . . . . 629GEK Generalized Eigenspace as a Kernel . . . . . . . . . . . . . . . . . . . . . . . . . 630RGEN Restriction to Generalized Eigenspace is Nilpotent . . . . . . . . . . . . . . . . . 639MRRGE Matrix Representation of a Restriction to a Generalized Eigenspace . . . . . . . . 642

Section JCFGESD Generalized Eigenspace Decomposition . . . . . . . . . . . . . . . . . . . . . . . . 643DGES Dimension of Generalized Eigenspaces . . . . . . . . . . . . . . . . . . . . . . . . 649JCFLT Jordan Canonical Form for a Linear Transformation . . . . . . . . . . . . . . . . 650CHT Cayley-Hamilton Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 664

Version 1.08

THEOREMS xxix

Section CNOPCNA Properties of Complex Number Arithmetic . . . . . . . . . . . . . . . . . . . . . 674CCRA Complex Conjugation Respects Addition . . . . . . . . . . . . . . . . . . . . . . 675CCRM Complex Conjugation Respects Multiplication . . . . . . . . . . . . . . . . . . . 676CCT Complex Conjugation Twice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 676

Section SETSection PTSection FFIMP Field of Integers Modulo a Prime . . . . . . . . . . . . . . . . . . . . . . . . . . . 790

Section TTL Trace is Linear . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 797TSRM Trace is Symmetric with Respect to Multiplication . . . . . . . . . . . . . . . . . 798TIST Trace is Invariant Under Similarity Transformations . . . . . . . . . . . . . . . . 798TSE Trace is the Sum of the Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . 798

Section VMDVM Determinant of a Vandermonde Matrix . . . . . . . . . . . . . . . . . . . . . . . 803NVM Nonsingular Vandermonde Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . 806

Section PSMCPSM Creating Positive Semi-Definite Matrices . . . . . . . . . . . . . . . . . . . . . . . 807EPSM Eigenvalues of Positive Semi-definite Matrices . . . . . . . . . . . . . . . . . . . . 808

Section RODROD Rank One Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 812

Section TDTD Triangular Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 817TDEE Triangular Decomposition, Entry by Entry . . . . . . . . . . . . . . . . . . . . . 821

Section SVDEEMAP Eigenvalues and Eigenvectors of Matrix-Adjoint Product . . . . . . . . . . . . . . 825SVD Singular Value Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . 829

Section SRPSMSR Positive Semi-Definite Matrices and Square Roots . . . . . . . . . . . . . . . . . 831EESR Eigenvalues and Eigenspaces of a Square Root . . . . . . . . . . . . . . . . . . . 832USR Unique Square Root . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 834

Section PODPDM Polar Decomposition of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . 835

Section CFIP Interpolating Polynomial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 838LSMR Least Squares Minimizes Residuals . . . . . . . . . . . . . . . . . . . . . . . . . . 840

Version 1.08

THEOREMS xxx

Section SAS

Version 1.08

Notation

M A: Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23MC [A]ij: Matrix Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23CV v: Column Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24CVC [v]i: Column Vector Components . . . . . . . . . . . . . . . . . . . . . . . . . . . 24ZCV 0: Zero Column Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24LSMR LS(A, b): Matrix Representation of a Linear System . . . . . . . . . . . . . . . . 25AM [A | b]: Augmented Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26RO Ri ↔ Rj, αRi, αRi + Rj: Row Operations . . . . . . . . . . . . . . . . . . . . . . 27RREFA r, D, F : Reduced Row-Echelon Form Analysis . . . . . . . . . . . . . . . . . . . 29NSM N (A): Null Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60IM Im: Identity Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68VSCV Cm: Vector Space of Column Vectors . . . . . . . . . . . . . . . . . . . . . . . . . 78CVE u = v: Column Vector Equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79CVA u + v: Column Vector Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80CVSM αu: Column Vector Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . 80SSV 〈S〉: Span of a Set of Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111CCCV u: Complex Conjugate of a Column Vector . . . . . . . . . . . . . . . . . . . . . 165IP 〈u, v〉: Inner Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166NV ‖v‖: Norm of a Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169VSM Mmn: Vector Space of Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178ME A = B: Matrix Equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178MA A + B: Matrix Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179MSM αA: Matrix Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . 179ZM O: Zero Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181TM At: Transpose of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181CCM A: Complex Conjugate of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . 184A A∗: Adjoint . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185MVP Au: Matrix-Vector Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190MI A−1: Matrix Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210CSM C(A): Column Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . 235RSM R(A): Row Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242LNS L(A): Left Null Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257D dim (V ): Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340NOM n (A): Nullity of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 346ROM r (A): Rank of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 346DS V = U ⊕W : Direct Sum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 360ELEM Ei,j, Ei (α), Ei,j (α): Elementary Matrix . . . . . . . . . . . . . . . . . . . . . . . 369SM A (i|j): SubMatrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373

xxxi

NOTATION xxxii

DM det (A), |A|: Determinant of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . 373LT T : U 7→ V : Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . 446KLT K(T ): Kernel of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . 473RLT R(T ): Range of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . 490ROLT r (T ): Rank of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . 512NOLT n (T ): Nullity of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . 512JB Jn (λ): Jordan Block . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 609GES GT (λ): Generalized Eigenspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . 629LTR T |U : Linear Transformation Restriction . . . . . . . . . . . . . . . . . . . . . . . 633IE ιT (λ): Index of an Eigenvalue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 639CNE α = β: Complex Number Equality . . . . . . . . . . . . . . . . . . . . . . . . . . 674CNA α + β: Complex Number Addition . . . . . . . . . . . . . . . . . . . . . . . . . . 674CNM αβ: Complex Number Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . 674CCN c: Conjugate of a Complex Number . . . . . . . . . . . . . . . . . . . . . . . . . 675SETM x ∈ S: Set Membership . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 677SSET S ⊆ T : Subset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 677ES ∅: Empty Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 677SE S = T : Set Equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 678C |S|: Cardinality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 678SU S ∪ T : Set Union . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 679SI S ∩ T : Set Intersection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 679SC S: Set Complement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 680T traceA: Trace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 797SRM A1/2: Square Root of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . 834

Version 1.08

Examples

Section WILATMP Trail Mix Packaging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

Section SSLESTNE Solving two (nonlinear) equations . . . . . . . . . . . . . . . . . . . . . . . . . . 10NSE Notation for a system of equations . . . . . . . . . . . . . . . . . . . . . . . . . . 11TTS Three typical systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11US Three equations, one solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15IS Three equations, infinitely many solutions . . . . . . . . . . . . . . . . . . . . . . 16

Section RREFAM A matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23NSLE Notation for systems of linear equations . . . . . . . . . . . . . . . . . . . . . . . 25AMAA Augmented matrix for Archetype A . . . . . . . . . . . . . . . . . . . . . . . . . 26TREM Two row-equivalent matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27USR Three equations, one solution, reprised . . . . . . . . . . . . . . . . . . . . . . . . 28RREF A matrix in reduced row-echelon form . . . . . . . . . . . . . . . . . . . . . . . . 29NRREF A matrix not in reduced row-echelon form . . . . . . . . . . . . . . . . . . . . . . 29SAB Solutions for Archetype B . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32SAA Solutions for Archetype A . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33SAE Solutions for Archetype E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

Section TSSRREFN Reduced row-echelon form notation . . . . . . . . . . . . . . . . . . . . . . . . . 46ISSI Describing infinite solution sets, Archetype I . . . . . . . . . . . . . . . . . . . . 47FDV Free and dependent variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48CFV Counting free variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51OSGMD One solution gives many, Archetype D . . . . . . . . . . . . . . . . . . . . . . . . 52

Section HSEAHSAC Archetype C as a homogeneous system . . . . . . . . . . . . . . . . . . . . . . . . 57HUSAB Homogeneous, unique solution, Archetype B . . . . . . . . . . . . . . . . . . . . . 58HISAA Homogeneous, infinite solutions, Archetype A . . . . . . . . . . . . . . . . . . . . 58HISAD Homogeneous, infinite solutions, Archetype D . . . . . . . . . . . . . . . . . . . . 58NSEAI Null space elements of Archetype I . . . . . . . . . . . . . . . . . . . . . . . . . . 60CNS1 Computing a null space, #1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60CNS2 Computing a null space, #2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

xxxiii

EXAMPLES xxxiv

Section NMS A singular matrix, Archetype A . . . . . . . . . . . . . . . . . . . . . . . . . . . 67NM A nonsingular matrix, Archetype B . . . . . . . . . . . . . . . . . . . . . . . . . 68IM An identity matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68SRR Singular matrix, row-reduced . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69NSR Nonsingular matrix, row-reduced . . . . . . . . . . . . . . . . . . . . . . . . . . . 69NSS Null space of a singular matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70NSNM Null space of a nonsingular matrix . . . . . . . . . . . . . . . . . . . . . . . . . . 70

Section VOVESE Vector equality for a system of equations . . . . . . . . . . . . . . . . . . . . . . 79VA Addition of two vectors in C4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80CVSM Scalar multiplication in C5 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81

Section LCTLC Two linear combinations in C6 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86ABLC Archetype B as a linear combination . . . . . . . . . . . . . . . . . . . . . . . . . 87AALC Archetype A as a linear combination . . . . . . . . . . . . . . . . . . . . . . . . . 88VFSAD Vector form of solutions for Archetype D . . . . . . . . . . . . . .