¥146.00 199.00

　　编辑推荐

　　适读人群 ：数据科学、信号处理、优化和机器学习方向的学生

　　学生通过本书能够学到很多东西，包括数学推理、算法、数据模型，以及如何将这些模型与实际问题联系起来。本书还提供核心算法的计算机代码——学生可以直接验证书中所介绍的方法，以及精心设计的习题——这使得本书成为一本适合高年级本科生和研究生的完美教科书。本书的广度和深度也使它成为所有对数据科学的数学基础感兴趣的人的bi备参考书。

　　——Emmanuel Candès，斯坦福大学

　　对于数据处理而言，所有核心技术的基础都在于信息源是结构化的。对数据进行显式或隐式建模，是我们揭示和利用这种结构的方式，是信号处理、图像处理和机器学习领域的本质。过去的二十年，我们对此的理解经历了翻天覆地的变化。本书为了解这些变化提供了基础，全面且清晰地涵盖该领域的原理、计算和应用。

　　——Michael Elad，以色列理工学院

　　内容简介

　　本书主要介绍从高维数据中感知、处理、分析和学习低维结构的基本数学原理和高效计算方法，系统地归纳了建模高维空间中低维结构的数学原理，梳理了处理高维数据模型的可扩展高效计算方法，阐明了如何结合领域具体知识或考虑其他非理想因素来正确建模并成功解决真实世界中的应用问题。本书包括基本原理、计算方法和真实应用三个部分：基本原理部分系统地介绍稀疏、低秩和一般低维模型的基本性质和理论结果，计算方法部分介绍解决凸优化和非凸优化问题的有效算法，真实应用部分通过实例演示利用前两部分的知识改进高维数据处理和分析问题的解决方案。本书适合作为计算机科学、数据科学和电气工程专业的高年级本科生和研究生的教材，也适合学习稀疏性、低维结构和高维数据课程的学生参考。

　　作者简介

　　约翰·莱特(John Wright) 哥伦比亚大学电气工程系副教授。2009~2011年曾在微软亚洲研究院工作。他的研究方向是高维数据分析，目前致力于开发从不完整的、被损坏的观测中稳健地恢复

　　结构化信号表示的高效算法，并将其应用于科学成像和计算机视觉问题。他曾获得2009年Lemelson-Illinois创新奖、2009年UIUC Martin研究生卓越研究奖、2012年COLT最

　　佳论文奖。他拥有伊利诺伊大学厄巴纳-香槟分校博士学位。

　　马毅香港大学教授，数据科学研究院院长，计算与数据科学学院院长;加州大学伯克利分校电气工程与计算机科学系教授。曾任教于上海科技大学和伊利诺伊大学厄巴纳-香槟分校，曾任微软亚洲研究院计算机视觉组主任及首席研究员。他的研究兴趣包括三维计算机视觉、高维数据的低维模型、可扩展优化算法和机器学习，近年来的研究主题包括低维结构与深度网络的关系以及智能系统的计算原理。他是IEEE、ACM和SIAM会士。他拥有加州大学伯克利分校博士学位。

　　目录

　　目录

　　译者序

　　推荐序

　　前言

　　致谢

　　符号表

　　第 1 章 绪论 1

　　1.1 最普遍的任务: 寻找低维结构 1

　　1.1.1 系统辨识和时序数据 1

　　1.1.2 人造世界中的模式和秩序 3

　　1.1.3 高效数据采集和处理 4

　　1.1.4 用图模型解释数据 7

　　1.2 简史.8

　　1.2.1 神经科学: 稀疏编码 9

　　1.2.2 信号处理: 稀疏纠错 .11

　　1.2.3 经典统计: 稀疏回归分析 14

　　1.2.4 数据分析: 主成分分析 16

　　1.3 当代 18

　　1.3.1 从高维灾难到高维福音 18

　　1.3.2 压缩感知、误差纠正和深度

　　学习.20

　　1.3.3 高维几何和非渐近统计 21

　　1.3.4 可扩展优化: 凸与非凸 23

　　1.3.5 一场完美的风暴 25

　　1.4 习题 25

　　第一部分 基本原理

　　第 2 章 稀疏信号模型 28

　　2.1 稀疏信号建模的应用 28

　　2.1.1 医学影像中的实例 29

　　2.1.2 图像处理中的实例 32

　　2.1.3 人脸识别的实例 34

　　2.2 稀疏解的恢复 35

　　2.2.1 线性空间上的范数 36

　　2.2.2 .0 范数 38

　　2.2.3 最稀疏的解: 最小化 .0

　　范数.38

　　2.2.4 .0 最小化的计算复杂度.41

　　2.3 对稀疏恢复问题进行松弛 44

　　2.3.1 凸函数 .44

　　2.3.2 .0 范数的凸替代: .1 范数 .46

　　2.3.3 .1 最小化的简单测试 48

　　2.3.4 基于 Logan 现象的稀疏

　　纠错.53

　　2.4 总结 54

　　2.5 注记 55

　　2.6 习题 56

　　第 3 章 稀疏信号恢复的凸方法 61

　　3.1 为什么 .1 最小化能够成功? 几何

　　直观 61

　　3.2 关于不相干矩阵的第一正确性

　　结果 64

　　3.2.1 矩阵的相干性 64

　　3.2.2 .1 最小化的正确性 66

　　3.2.3 构造一个不相干矩阵 69

　　3.2.4 不相干性的局限性 71

　　3.3 更强的正确性结果 73

　　3.3.1 受限等距性质 73

　　3.3.2 受限强凸性条件 75

　　3.3.3 RIP 条件下 .1 最小化的正

　　确性.79

　　3.4 具有受限等距性质的矩阵 82

　　XXIV

　　3.4.1 Johnson-Lindenstrauss

　　引理.82

　　3.4.2 高斯随机矩阵的 RIP .85

　　3.4.3 非高斯矩阵的 RIP.89

　　3.5 含噪观测或者近似稀疏性 91

　　3.5.1 稀疏信号的稳定恢复 92

　　3.5.2 非精确稀疏信号的恢复 100

　　3.6 稀疏恢复中的相变.102

　　3.6.1 关于相变的主要结论 103

　　3.6.2 通过系数空间几何看相变 104

　　3.6.3 通过观测空间几何看相变 107

　　3.6.4 支撑恢复的相变 108

　　3.7 总结 115

　　3.8 注记 116

　　3.9 习题 117

　　第 4 章 低秩矩阵恢复的凸方法 120

　　4.1 低秩建模的一些实例 121

　　4.1.1 从光度测量中重建三维

　　形状 121

　　4.1.2 推荐系统.122

　　4.1.3 欧几里得距离矩阵嵌入 123

　　4.1.4 潜语义分析.124

　　4.2 用奇异值分解表示低秩矩阵.124

　　4.2.1 基于非凸优化的奇异向量 125

　　4.2.2 最佳低秩矩阵近似 128

　　4.3 恢复低秩矩阵 128

　　4.3.1 一般的秩最小化问题 128

　　4.3.2 秩最小化的凸松弛 129

　　4.3.3 核范数作为秩的凸包络 132

　　4.3.4 秩 RIP 条件下的核范数最小化

　　问题 134

　　4.3.5 随机测量的秩 RIP 139

　　4.3.6 噪声、非精确低秩和相变 144

　　4.4 低秩矩阵补全 149

　　4.4.1 利用核范数最小化求解矩阵

　　补全 150

　　4.4.2 增广拉格朗日乘子法 150

　　4.4.3 核范数最小化何时能够成

　　功? .153

　　4.4.4 证明核范数最小化的正

　　确性 155

　　4.4.5 含噪声的稳定矩阵补全 166

　　4.5 总结 167

　　4.6 注记 168

　　4.7 习题 169

　　第 5 章 分解低秩加稀疏矩阵 175

　　5.1 鲁棒主成分分析和应用实例.175

　　5.1.1 问题描述.175

　　5.1.2 矩阵刚性和植入团猜想 176

　　5.1.3 鲁棒主成分分析的应用 178

　　5.2 基于主成分追踪的鲁棒主成分

　　分析 180

　　5.2.1 稀疏低秩分离的凸松弛 180

　　5.2.2 用交替方向法求解主成分

　　追踪 181

　　5.2.3 主成分追踪的数值仿真与

　　实验 182

　　5.3 可辨识性和精确恢复 187

　　5.3.1 可辨识性条件 .187

　　5.3.2 主成分追踪的正确性 189

　　5.3.3 对主要结果的一些扩展 198

　　5.4 含噪声的稳定主成分追踪 201

　　5.5 压缩主成分追踪 205

　　5.6 带有被损坏元素的矩阵补全.206

　　5.7 总结 208

　　5.8 注记 209

　　5.9 习题 210

　　第 6 章 恢复广义低维模型 214

　　6.1 简明信号模型 214

　　6.1.1 原子集合及几个例子 215

　　6.1.2 结构化信号的原子范数最

　　小化 218

　　XXV

　　6.2 几何、测度集中与相变 221

　　6.2.1 作为两个不相交的锥的成功

　　条件 221

　　6.2.2 固有体积与运动公式 223

　　6.2.3 统计维数与相变 226

　　6.2.4 .1 范数下降锥的统计

　　维数 229

　　6.2.5 分解结构化信号中的

　　相变 232

　　6.3 凸松弛的局限性 235

　　6.3.1 多重结构的凸松弛的次

　　优性 235

　　6.3.2 高阶张量不可计算的凸

　　松弛 236

　　6.3.3 双线性问题没有凸松弛 237

　　6.3.4 非线性低维结构的存在 237

　　6.3.5 非凸问题表述和非凸优化的

　　回归 238

　　6.4 注记 238

　　6.5 习题 239

　　第 7 章 恢复低维模型的非凸方法.241

　　7.1 简介 241

　　7.1.1 非线性、对称性与非凸性 242

　　7.1.2 对称性和优化问题的全局

　　几何 245

　　7.1.3 对称非凸问题的分类 246

　　7.2 具有旋转对称性的非凸问题.248

　　7.2.1 极简的例子: 只含一个未知数

　　的相位恢复.248

　　7.2.2 广义相位恢复 .249

　　7.2.3 低秩矩阵恢复 .252

　　7.2.4 其他具有旋转对称性的非凸

　　问题 258

　　7.3 具有离散对称性的非凸问题.258

　　7.3.1 极简例子: 1-稀疏的字典

　　学习 259

　　7.3.2 字典学习.262

　　7.3.3 稀疏盲解卷积 .264

　　7.3.4 其他具有离散对称性的非凸

　　前言/序言

　　前言

　　“即将到来的这个世纪无疑是数据的世纪. 基于一些重要的目的和有些盲目

　　的信念, 我们的社会在收集和处理各种数据上投入巨大, 达到了在不久以前还难

　　以想象的规模. ”

　　——David Donoho, High-Dimensional Data Analysis: The Curses and

　　Blessings of Dimensionality, 2000

　　大数据的时代

　　在过去的二十年里, 我们的世界已经进入了 “大数据” 的时代. 信息技术行业正面临

　　着每天处理和分析海量数据的挑战与机遇. 数据的数量和维度已经达到了前所未有的规模,

　　并且还在以前所未有的速度增长.

　　例如, 在技术方面, 普通数码相机的分辨率在过去的十年左右已经增长了近十倍. 每天

　　有超过 3 亿张照片被传到 Facebook 上一, 每分钟有 300 小时的视频被发布到 YouTube 上,

　　每天有近 2000 万条娱乐短视频被制作并发布到 TikTok 上.

　　在商业方面, 在繁忙的一天里, 阿里巴巴网站需要接收超过 1500 万种产品的超过 8 亿

　　个订单, 处理超过 10 亿次付款, 并递送超过 3000 万个包裹. 亚马逊全球的运营规模应该与

　　之相当, 甚至更大. 而这些数字还在增长, 并且增长迅猛!

　　在科学研究方面, 超分辨率显微成像技术在过去的几十年里有了巨大的进步二, 其中一

　　些技术现在已经能够大量产生分辨率达到亚原子级别的图像. 高通量基因测序技术能够一

　　次对数亿个 DNA 分子片段进行测序三, 并且可以在短短几个小时内对长度超过 30 亿个碱

　　基和包含 20 000 个蛋白质编码基因的整个人类基因组进行测序.

　　信息获取、处理和分析的范式转变

　　过去, 科学家或工程师在实验和工作中获取数据时, 能够仔细地控制获取数据的设备和

　　过程. 由于设备昂贵而且采集数据过程耗时严重, 他们通常仅为特定的任务收集必要的数

　　据或者信号. 除了一些不可控的噪声之外, 收集的数据或信号大部分是与任务密切相关的,

　　不包含太多冗余或无关的信息. 因此, 经典的信号处理或者数据分析通常在所谓的 “经典前

　　提” 下操作:

　　一 几乎所有的照片都要经过几条图像处理流水线, 用于人脸检测、人脸识别以及物体分类, 以便进行内容筛选.

　　二 例如, 2014 年, Eric Betzig、Stefan W. Hell 和 William E. Moerner 被授予诺贝尔化学奖, 以表彰他们开发了跨

　　过传统光学显微镜 0.2 微米极限的超分辨率荧光显微镜.

　　三 2002 年, Sydney Brenner、John Sulston 和 Robert Horvitz 被授予诺贝尔生理学或医学奖, 以表彰他们对人类

　　基因组计划的开创性工作和贡献.

　　X

　　经典前提: 数据 ≈ 信息.

　　在这种经典的范式中, 数据分析在实践中主要需要处理的问题是去除噪声或者压缩数据, 以

　　便存储或者传输.

　　前面我们提到, 像互联网、智能手机、高通量成像和基因测序这样的技术已经从根本上

　　改变了数据获取和分析的本质. 我们正在从一个 “数据匮乏” 的时代进入一个 “数据富集”

　　的时代. 正如吉姆·格雷 (Jim Gray, 图灵奖获得者) 曾经预言的: “科学突破将越来越多地

　　依靠能够帮助研究人员处理和探索海量数据集的先进计算能力.” 现在这被称为科学发现的

　　“第四范式”.

　　然而, 数据富集并不一定意味着 “信息富集”, 至少从原始数据提取出有用的相关信息

　　不会是免费的. 与过去不同, 如今大量的数据被收集时, 事先并没有任何特定的目的或者任

　　务. 无论是在所获取的数据的数量上还是在质量上, 科学家或者工程师通常不再能够直接

　　控制数据的获取. 因此, 当把这些数据用于解决任何特定的新任务时, 相关的信息都可能被

　　大量不相关或者冗余的数据所干扰甚至被淹没.

　　为了帮助大家直观地理解为什么会这样, 让我们首先以人脸识别这个问题为例. 图 1

　　显示了两位小姐妹的两张图像. 大家应该不会有异议, 通过眼睛来观察, 这两张图像几乎同

　　样好地传递了两人的身份信息, 即使第二张图像的像素其实只有第一张图像的 1/100. 换句

　　话说, 如果我们将两张图像各自看作一个向量, 它们的像素值是这个向量的元素, 那么对应

　　右边低分辨率图像的向量的维数只有原始图像的 1/100. 通过这个例子我们可以明显看到,

　　人的身份信息应该依赖维数比原始高分辨率图像低得多的特征统计量一. 因此, 在类似于这

　　样的现代数据分析的场景下, 我们有了一个新的前提:

　　新的前提 I: 数据 . 信息.

　　图 1 两张 Mary 与 Isabella 的图片: 图 a 的分辨率是 2 500×2 500 像素; 而图 b 的分辨率降到 250×250

　　像素, 其像素只有图 a 中原始图像的 1/100

　　一 事实上, 进一步来讲, 即使右边这样分辨率的图像仍然是高度冗余的. 研究表明, 人们甚至可以从分辨率低至 7×10

　　左右像素的图像中识别出自己所熟悉的面孔 [Sinha et al., 2006]. 最近大脑神经科学方面的研究表明, 大脑有可能

　　仅使用下颞 (IT) 皮质中的 200 个左右细胞就可以编码和解码任何面孔 [Chang et al., 2017]. 现代的人脸识别系

　　统也仅仅提取几百个特征来进行可靠的人脸验证.

　　XI

　　而对于目标检测任务而言, 例如检测图像中的人脸或者监控视频中的行人, 我们所面

　　对的问题不再是数据冗余, 而是如何在存在大量与目标任务不相关的数据的情况下找到相

　　关信息. 例如从图 2 中检测和识别出我们所熟悉的人. 首先, 与人脸相关的图像像素仅占

　　据所有图像像素 (这张图像共有 1000 万像素) 的非常小的一部分, 而大量的像素属于周围

　　环境中接近不相关的物体. 此外, 我们感兴趣的对象, 例如本书的两位作者, 只是图中许多

　　人脸中的两个. 现在想象一下, 我们将这样的任务扩展到数十亿张图像或者数百万个用手

　　机或监控摄像头所捕获的视频. 类似的 “检测” 和 “识别” 任务也出现在基因研究中: 在近

　　20 000 个基因以及它们可以编码的数百万个蛋白质中, 科学家常常需要识别出哪一个 (或

　　者少数几个) 基因与某些遗传性疾病有关联. 因此在这样的场景下, 我们又有了第二个新的

　　前提:

　　新的前提 II: 数据 = 相关信息 + 不相关的数据.

　　图 2 从集体照中检测和识别人脸 (例如本书的两位作者). 这是 2016 年 BIRS 在墨西哥的 Casa

　　Matemática Oaxaca (CMO) 举办的 “应用调和分析、海量数据集、机器学习和信号处理” 研讨

　　会的集体合照

　　电子商务、在线购物和社交网络的爆炸式增长创造了大量的用户喜好或者偏好数据.

　　大型互联网公司通常拥有数十亿人的记录, 涉及数百万个商业产品、社交媒体以及其他更

　　多内容. 一般来讲, 这些关于用户偏好的数据, 无论多么庞大, 都是不完整的. 例如, 在图

　　3 所示的电影评分数据中, 没有人看完并评论过所有的电影, 也没有任何一部电影被所有

　　的人看过并评论过. 然而, 像 Netflix 这样的公司需要从这些不完整的数据中推测所有用

　　户的偏好, 以便向用户发送最相关的推荐或者广告. 在信息文献检索领域, 这个问题被称

　　为协同过滤 (collaborative filtering). 绝大多数互联网公司的业务一依赖于有效且高效地解

　　决这样的问题. 之所以可以从如此高度不完整的数据中得到完整的信息, 最根本的原因在

　　一 大多数互联网公司从广告中赚钱, 包括但不限于谷歌、百度、Facebook、字节跳动、亚马逊、阿里巴巴、Netflix 等.

　　XII

　　于用户的偏好并不是随机的, 因而这种数据是有结构的. 例如, 许多人对电影有相似的品

　　位、许多电影的风格相似等. 这样的用户偏好数据列表的行和列具有很强的相关性. 因此,

　　相对于这种列表数据的巨大维度, 列表数据的内在维度 (或者作为矩阵的秩) 实际上是非

　　常低的. 因此, 对于具有类似低维结构的大规模 (不完整) 数据集, 我们又有了第三个新的

　　前提:

　　新的前提 III: 不完整的数据 ≈ 完整的信息.

　　图 3 协同过滤用户偏好数据的一个例子: 如何猜测用户对一部电影的评分? 即使他从来没有看过这部电影

　　正如上面的例子所表明的, 在如今的大数据时代, 我们经常面临的问题是从有高度冗

　　余、大量不相关、看起来不完整、部分受到损坏的一数据中提取或者恢复某些特定信息. 这

　　样的信息无一例外地被编码为高维数据的某些低维结构, 并且可能仅依赖于 (大规模) 数据

　　中的一个很小的 (或稀疏的) 子集. 这与在经典前提下的数据处理问题非常不同. 这也正是

　　现代数据科学和工程在其数学原理和计算范式上正在经历着一个根本性转变的原因. 为了

　　给这种新的数据分析建立一个坚实的理论基础, 我们需要发展一套新的数学框架来描述在

　　何种条件下这些低维结构信息可以被正确且有效地获取和提取. 同样重要的是, 我们需要

　　开发能够从如此海量的高维数据中, 以前所未有的效率在任意的规模下, 精确地检索出这些

　　信息的有效算法.

　　本书的目的

　　在过去的二十年中, 对高维空间中低维结构的研究已经有了爆炸性的发展. 在很大程

　　度上, 最有代表性的低维模型 (例如稀疏模型与低秩模型及其扩展) 的几何和统计性质现在

　　已经被充分理解. 人们已经彻底弄清楚了在何种条件下这些结构可以从 (最少量的采样) 数

　　据中被有效且高效地恢复出来. 针对从高维数据中提取这些低维结构的问题, 人们已经开

　　发出一套完整的高效且可大规模实现的算法. 而且这些算法的适用条件、数据复杂性和计

　　算复杂性也已经被彻底和精确地刻画清楚. 这些新的理论结果和算法已经彻底改变了数据

　　科学和信号处理的实践, 并且已经对数据采集、数据传输和信息处理产生了重大影响. 它们

　　一 比如由于疏忽、错误信息、谣言或者恶意篡改.

　　XIII

　　显著提升了许多应用领域的技术水平, 例如科学成像一、图像处理二、计算机视觉三、生物

　　信息学四、信息检索五以及机器学习六. 正如我们将从本书所展示的应用中看到的, 有些进

　　展甚至打破了对这些问题的传统认知.

　　作为这些有着历史意义的发展的见证者, 我们认为现在时机已经成熟, 应该对这一新

　　的知识体系进行全面整理, 并在统一的理论和计算框架下把这些丰富的成果有机组织起

　　来. 当然, 关于压缩感知和稀疏/低维建模的数学/统计原理, 已经有许多优秀的专著, 例

　　如 [Elad, 2010a; Fan et al., 2020; Foucart et al., 2013; Hastie et al., 2015; Van De Geer,

　　2016; Wainwright, 2019b]. 然而, 本书的目标是针对基于低维模型的高维数据分析, 通过高

　　效的计算方法建立起基本原理与真实应用之间的桥梁:

　　新的框架: 基本原理

　　计算方法

　　←.......→ 真实应用.

　　因此, 本书不仅建立了建模低维结构和理解它们能够被恢复的理论极限的数学原理, 而且展

　　示了如何利用经典的和近期新的优化方法系统地开发有效性与可扩展性具有严格理论保证的

　　算法.

　　此外, 本书包含一系列在科学和工程技术中的丰富应用, 旨在进一步指导读者结合各个

　　具体领域的具体知识或者其他非理想因素 (例如非线性), 正确地应用这些新的原理和方法

　　来对真实世界的数据进行建模, 并成功解决这些真实世界的问题.

　　尽管本书中所介绍和展示的应用不可避免地受到作者的专业领域和自身实践偏好的影

　　响, 但这些应用都经过精心选择, 以向读者传达我们在这个历程里所学到的各种不同的经验

　　教训 (往往是通过付出不小的代价换来的). 我们相信这些经验教训对理论学者和工程实践

　　者都具有重要价值.

　　目标读者

　　从各方面来讲, 本书中涵盖的知识体系对数据科学领域的年轻研究人员和学生具有巨

　　大的学习价值. 本书给出了严格的数学推导, 希望读者能够获得的关于高维几何和高维统

　　计的新知识和新见解, 远远超出他们能够从经典信号处理和数据分析中所获得的知识体系.

　　这些新知识和新见解适用于一系列广泛的、有用的低维结构和模型 (包括现代的深度神经

　　网络), 并且可以引导他们为重要的科学和工程问题开发全新的算法.

　　因此, 本书旨在作为一门课程的教科书, 介绍从高维数据中感知、处理、分析和学习低

　　维结构的基本数学和计算原理. 本书的核心目标读者是电子工程和计算机科学 (EECS) 的

　　低年级研究生, 特别是数据科学、信号处理、优化算法、机器学习 以及相关应用领域的研

　　一 医学和显微镜图像的压缩采样和恢复等.

　　二 自然图像的降噪、超分辨率、补绘等.

　　三 规则纹理合成、相机校准和三维重建等.

　　四 用于基因–蛋白质关系的微阵列数据分析.

　　五 用户偏好、文档和多媒体数据等的协作过滤.

　　六 特别是用于解释、理解和改进深度网络.

　　XIV

　　究生. 本书可以为学生提供关于高维几何、统计和优化的概念和方法的系统而严格的训练.

　　通过一系列丰富多样的应用与 (编程) 练习, 本书还指导学生如何正确地使用这些概念和方

　　法, 以对真实世界的数据进行建模, 并解决来自真实世界的工程和科学问题.

　　本书的编写对教师和学生都很友好. 书中提供了大量的插图、示例、习题和程序. 学

　　生可以从中获得关于书中所涵盖的概念和方法的实践经验. 本书中的材料是基于作者以及

　　他们的同事在过去的十年中, 在伊利诺伊大学厄巴纳–香槟分校、哥伦比亚大学、上海科技

　　大学、清华大学和加州大学伯克利分校开设的几门为期一学期的研究生课程或者暑期课程.

　　所需要的主要先修课程是大学水平的线性代数、优化方法和统计学. 为了让更多读者能够

　　更方便地理解本书, 我们努力使本书的内容尽可能完整和自成一体: 我们在附录中系统地

　　介绍了本书正文中用到的线性代数、优化方法和高维统计知识. 对于 EECS 的学生来说,

　　如果学习过信号处理、矩阵分析、优化方法或者机器学习方面的预备课程, 将会更好地理

　　解本书. 从我们的经验来看, 不仅低年级研究生, 许多高年级本科生都能够毫无困难地选修

　　这门课程并阅读这本书.

　　本书的组织结构

　　本书的主体由三个相互关联的部分组成: 基本原理、计算方法和真实应用. 本书还包

　　含了五个关于相关数学背景知识的附录.

　　. 第一部分: 基本原理 (第 2～7 章). 这部分系统地介绍稀疏、低秩和一般低维模型的

　　基本性质和理论结果, 主要刻画求解恢复这些低维结构的逆问题的条件 (包括所需

　　样本/数据的数量), 以保证这些逆问题的正确解能够被高效算法高精确度地求解.

　　. 第二部分: 计算方法 (第 8～9 章). 为开发出适合求解低维结构的高效实用算法, 这

　　部分系统地介绍相关凸优化和非凸优化方法. 这些方法能够为提高算法效率和降低

　　总体计算复杂度提供正确且有效的思路, 从而使开发的优化算法具有最优收敛速度,

　　并且能够扩展到海量和高维数据.

　　. 第三部分: 真实应用 (第 10～16 章). 这部分通过实例演示书中前两部分所介绍的原

　　理和计算方法如何显著地改进多种现实世界中高维数据处理与分析问题的解决方

　　案. 这些应用也指导读者通过纳入特定应用中额外的领域知识 (先验知识或约束条

　　件), 正确地定制和扩展本书所介绍的理想模型和算法, 以解决实际问题.

　　. 附录 A～E 所介绍的内容是为了使本书基本上自成一体, 涵盖了本书正文中所用到

　　的线性代数、优化方法和高维统计中的基本概念和结果.

　　本书的章节和附录的总体结构以及它们之间的逻辑依赖关系如图 4 所示.

　　如何使用本书进行教学或学习

　　本书包含了足够讲授两个学期的系列课程所需的材料. 我们有意将本书中的材料以模

　　块化的方式组织起来, 这样可以方便教师根据自己的需求进行选择和重组, 以支持不同类型

　　的课程. 下面是几个例子.

　　XV

　　图 4 本书的组织结构以及各章和附录之间的依赖关系. 红色路径: 通过凸优化实现稀疏恢复. 蓝色路径:

　　通过凸优化实现低秩矩阵恢复. 绿色路径: 对低维模型的非凸处理. 橙色路径: 优化算法的发展

　　. 面向高年级本科生和低年级研究生开设的 “稀疏模型与