¥98.60 128.00

　　内容简介

　　《联邦学习》为研究人员和从业者深入探讨了联邦学习最重要的问题和方法。

　　联邦学习(Federated Learning，FL)是一种机器学习方法，其中训练数据不是集中管理的。数据由参与联邦学习过程的各方保留，不与任何其他实体共享。这使得联邦学习成为一种日益流行的机器学习解决方案，适用于因隐私、监管或实际原因而难以将数据集中到一个存储库中的任务。

　　本书阐述了联邦学习的最新研究进展和最先进的发展成果，包括从最初构想到首次应用和商业化使用。为了全面、深入地了解这个领域，研究人员从不同的角度探讨了联邦学习:机器

　　学习、隐私和安全、分布式系统以及具体应用领域。读者将从这些角度了解联邦学习所面临的挑战、它们之间的相互关系，以及解决这些挑战的前沿方法。

　　本书第1章介绍了联邦学习的基础知识，之后的24章深入探讨了各种不同的主题。第l部分涉及以联邦方式解决各种机器学习任务的算法问题，以及如何进行高效、规模化和公平的训

　　练。第I部分主要介绍联邦学习过程运行的系统的实际问题。第川部分着重介绍如何选择隐私和安全解决方案，以适应特定的应用场景。第IV部分讲解了联邦学习的其他重要应用案例，如拆分学习和纵向联邦学习。最后，第V部分介绍实际企业环境中联邦学习的应用和案例。

　　目录

　　第Ⅰ部分 联邦学习概述及其作为

　　机器学习方法的问题

　　第1章 联邦学习介绍 3

　　1.1　概述 3

　　1.2　概念与术语 5

　　1.3　机器学习视角 7

　　1.3.1 深度神经网络 7

　　1.3.2　经典机器学习模型 9

　　1.3.3 横向联邦学习、纵向

　　联邦学习和拆分学习 11

　　1.3.4 模型个性化 12

　　1.4　安全和隐私 13

　　1.4.1 操纵攻击 14

　　1.4.2 推断攻击 15

　　1.5　联邦学习系统 16

　　1.6　本章小结 18

　　第2章 采用基于树的模型的联邦

　　学习系统 25

　　2.1　介绍 25

　　2.1.1 基于树的模型 26

　　2.1.2 联邦学习中基于树的

　　模型的关键研究挑战 27

　　2.1.3 联邦学习中基于树的

　　模型的优势 27

　　2.2　基于树的联邦学习方法

　　综述 28

　　2.2.1 横向与纵向联邦

　　学习 29

　　2.2.2 联邦学习中基于树的

　　算法类型 30

　　2.2.3 基于树的联邦学习的

　　安全需求 30

　　2.2.4 联邦学习中基于树的

　　模型的实现 31

　　2.3　决策树和梯度提升的初步

　　探讨 31

　　2.3.1 联邦学习系统 31

　　2.3.2 集中式ID3模型初探 32

　　2.3.3 梯度提升初探 33

　　2.4　用于联邦学习的决策树 34

　　2.5　用于联邦学习的

　　XGBoost 37

　　2.6　开放性问题及未来研究

　　方向 41

　　2.6.1 数据保真度阈值策略 41

　　2.6.2 基于树的联邦学习

　　模型的公平性和偏差

　　缓解方法 41

　　2.6.3 在其他网络拓扑上训练

　　基于树的联邦学习

　　模型 41

　　2.7　本章小结 42

　　第3章 语义向量化：基于文本和

　　图的模型 47

　　3.1　介绍 47

　　3.2　背景 48

　　3.2.1 自然语言处理 48

　　3.2.2 文本向量化器 49

　　3.2.3 图向量化器 50

　　3.3　问题表述 51

　　3.3.1 共同学习 51

　　3.3.2 向量空间映射 52

　　3.4　实验与设置 54

　　3.4.1 数据集 54

　　3.4.2 实现 55

　　3.5　结果：共同学习 55

　　3.6　结果：向量空间映射 57

　　3.6.1 余弦距离 57

　　3.6.2 排名相似度 58

　　3.7　本章小结 58

　　第4章 联邦学习中的个性化 63

　　4.1　介绍 63

　　4.2　个性化的第一步 65

　　4.2.1 对全局模型进行个性化

　　微调 65

　　4.2.2 作为一阶元学习方法的

　　联邦平均 65

　　4.3　个性化策略 66

　　4.3.1 客户端(参与方)聚类 67

　　4.3.2 客户端语境化 68

　　4.3.3 数据增强 70

　　4.3.4 蒸馏 70

　　4.3.5 元学习方法 71

　　4.3.6 模型混合 72

　　4.3.7 模型正则化 74

　　4.3.8 多任务学习 76

　　4.4　个性化技术的基准 77

　　4.4.1 合成联邦数据集 77

　　4.4.2 模拟联邦数据集 77

　　4.4.3 公共联邦数据集 78

　　4.5　偶然参数问题 79

　　4.6　本章小结 80

　　第5章 使用Fed+进行个性化的鲁

　　棒联邦学习 87

　　5.1　介绍 87

　　5.2　文献综述 88

　　5.3　联邦学习训练失败的

　　示例 89

　　5.4　个性化联邦学习 91

　　5.4.1 问题表述 91

　　5.4.2 处理鲁棒聚合 92

　　5.4.3 个性化 93

　　5.4.4 均值与鲁棒聚合的重

　　组与统一 93

　　5.4.5 Fed+算法 95

　　5.4.6　Fed+的均值和鲁棒

　　变体 95

　　5.4.7 从Fed+推导现有算法 97

　　5.5　Fed+的固定点 97

　　5.6　收敛性分析 100

　　5.7　实验 103

　　5.7.1 数据集 103

　　5.7.2 结果 104

　　5.8　本章小结 105

　　第6章 通信高效的分布式优化

　　算法 109

　　6.1　介绍 109

　　6.2　本地更新SGD和

　　FedAvg 111

　　6.2.1 本地更新SGD及其

　　变体 111

　　6.2.2 FedAvg算法及其

　　变体 114

　　6.3　模型压缩 116

　　6.3.1 带有压缩更新的

　　SGD 116

　　6.3.2 自适应压缩率 120

　　6.3.3 模型剪枝 121

　　6.4　本章小结 121

　　第7章 通信高效的模型融合 127

　　7.1　介绍 127

　　7.2　模型的置换不变结构 128

　　7.2.1 匹配平均的一般

　　表述 129

　　7.2.2 求解匹配平均 130

　　7.3　概率联邦神经匹配 131

　　7.3.1 PFNM生成过程 131

　　7.3.2 PFNM推理 132

　　7.3.3 实践中的PFNM 135

　　7.4　带有SPAHM的无监督

　　联邦学习 136

　　7.4.1 SPAHM模型 137

　　7.4.2 SPAHM推理 137

　　7.4.3 实践中的SPAHM 138

　　7.5　后验分布的模型融合 140

　　7.5.1 KL散度下的模型

　　融合 140

　　7.5.2 实践中的KL-fusion 142

　　7.6　低通信预算的深度神经

　　网络融合 143

　　7.6.1 将PFNM扩展到深度

　　神经网络 144

　　7.6.2 实践中的FedMA 146

　　7.7　模型融合的理论理解 147

　　7.7.1 预备知识：参数化

　　模型 147

　　7.7.2 联邦设置中模型融合的

　　优点和缺点 149

　　7.8　本章小结 150

　　第8章 联邦学习与公平性 155

　　8.1　介绍 155

　　8.2　预备知识和现有的缓解

　　方法 156

　　8.2.1 符号和术语 156

　　8.2.2 偏差缓解方法的

　　类型 157

　　8.2.3 数据隐私和偏差 157

　　8.3　偏差来源 158

　　8.3.1 集中式和联邦式的

　　原因 158

　　8.3.2 联邦学习的特定

　　原因 159

　　8.4　文献探究 160

　　8.4.1 集中式方法 160

　　8.4.2 联邦学习采用集中式

　　方法 162

　　8.4.3 没有敏感属性的偏差

　　缓解 163

　　8.5　衡量偏差 164

　　8.6　未解决的问题 164

　　8.7 本章小结 165

　　第Ⅱ部分 系统和框架

　　第9章 联邦学习系统介绍 171

　　9.1　介绍 171

　　9.2　跨设备联邦学习与跨孤岛

　　联邦学习 172

　　9.3　跨设备联邦学习 173

　　9.3.1 问题表述 173

　　9.3.2 系统概述 174

　　9.3.3 训练过程 175

　　9.3.4 挑战 176

　　9.4　跨孤岛联邦学习 178

　　9.4.1 问题表述 178

　　9.4.2 系统概述 178

　　9.4.3 训练过程 179

　　9.4.4 挑战 180

　　9.5　本章小结 182

　　第10章 联邦学习系统的本地

　　训练和可扩展性 187

　　10.1　参与方本地训练 187

　　10.1.1 计算资源 187

　　10.1.2 内存 188

　　10.1.3 能量 189

　　10.1.4 网络 190

　　10.2　大规模联邦学习系统 192

　　10.2.1 聚类联邦学习 192

　　10.2.2 分层联邦学习 194

　　10.2.3 去中心化联邦

　　学习 197

　　10.2.4 异步联邦学习 199

　　10.3　本章小结 201

　　第11章 掉队者管理 205

　　11.1　介绍 205

　　11.2　异构性影响研究 206

　　11.2.1 制定标准的联邦

　　学习 206

　　11.2.2 异构性影响分析 207

　　11.2.3 实验研究 208

　　11.3　TiFL的设计 209

　　11.3.1 系统概述 209

　　11.3.2 分析和分层 210

　　11.3.3 稻草人提议：静态层

　　选择算法 211

　　11.3.4 自适应层选择

　　前言/序言

　　亲爱的读者，很荣幸能够为大家带来这本《联邦学习》的中文版。作为一名机器学习领域的研究者和从业人员，我深知联邦学习作为一种新的学习范式对机器学习领域的重要性和带来的挑战。《联邦学习》旨在为读者提供一个全面而深入的了解联邦学习的平台，帮助大家更好地理解联邦学习的概念、原理和应用，并且将联邦学习的最新研究进展和技术成果带给大家。

　　2018年，我从北京大学毕业后，工作中一次偶然的机会让我开始研究联邦学习，从研究理论到工程实践，再到商业应用，在联邦学习领域取得的每一次进展都历历在目。不得不说，联邦学习是非常有挑战性同时具有巨大发展前景的研究课题。2018年，我从最早的端云联邦学习开始研究，将端云联邦应用于图片、文本以及推荐领域。2020年，我开始探索企业之间的纵向联邦学习方向，研究纵向联邦学习在营销领域的应用与落地。联邦学习面临的不仅是一些学术领域的挑战，更多的是工程实践以及落地应用带来的工程问题和成本效率问题。

　　《联邦学习》汇集了联邦学习领域的顶尖研究人员的经验和成果，从各个角度论述了联邦学习的发展历程、关键技术和应用前景。这里，我要感谢原书的作者以及参考文献的学者，他们的研究成果和深刻见解使得本书足以成为联邦学习领域的一本重要参考书。

　　我相信，通过本书的阅读，您将对联邦学习有更深入的了解，也将对如何应用联邦学习技术有更清晰的认识。无论是从学术研究还是实际应用的角度，您都能找到研究方向，它们在以后的工作中具有实际的参考意义和价值。

　　最后，我要衷心感谢每一位读者的支持和关注，希望本书可以为您带来有益的启示和帮助;也希望我们在联邦学习的研究和实践中不断探索和创新，为机器学习的发展、企业应用的创新、数据安全保护等方面作出更多贡献。

　　敬祝好运!

　　刘璐

　　嗨，亲爱的读者!

　　很高兴为大家带来这本《联邦学习》的中文译本。无论您对联邦学习已有所了解还是想要在联邦学习领域发展，本书都是一个必选项!

　　随着国内一个个联邦学习项目的落地，可以肯定地说，联邦学习将成为未来国内乃至全球信息系统发展的重要技术基础。联邦学习作为隐私保护的解决方案，能够在不共享数据的情况下进行联合建模和持续模型训练，解决数据隐私和安全问题。它能有效解决企业数据孤岛问题，实现行业生态的人工智能的协作。联邦学习在企业应用、金融、医疗、推荐系统等领域有广泛应用，并且在技术发展和商业化方面具有巨大潜力。

　　能够参与本书的翻译工作，我深感荣幸。我希望通过我的理解和经验，将作者的著作精华准确地传达给读者，并为大家提供一份关于联邦学习的全面的、有价值的学习资料。同时，我也希望读者能够在阅读本书的过程中，深入理解联邦学习的核心价值和应用前景，从而更好地为您的项目和职业生涯提供帮助。

　　最后，我要感谢所有为《联邦学习》的中文译本付出努力的人，包括出版社和编辑，他们的辛勤工作和专业精神使得本书的中文版得以顺利出版，感谢他们对我的耐心指导和帮助。同时，我也要感谢本书的译者刘璐，她为这本书的整体翻译效果付出非常大的努力，并给予我不少帮助。

　　希望这本书能够为大家带来启发和帮助，让我们一起加入联邦学习的领域，创造更加美好的未来!

　　此致

　　张玉君

　　序 言

　　在过去二十年中，机器学习取得了巨大的进步，并广泛应用于诸多领域。机器学习的成功很大程度上取决于能否使用高质量的数据进行训练，包括有标签和无标签的数据。

　　关于数据隐私、安全和所有权的问题引起了公众和技术界的激烈讨论，讨论的焦点是如何在兼顾监管和相关者利益的前提下，使用数据进行机器学习。这些问题和相关的法律法规让人们意识到，把所有训练数据都存储在一个集中数据库里的方式与保护数据所有者的隐私权利是有冲突的。

　　虽然分布式学习和模型融合的概念已经被讨论了至少十年，而联邦机器学习(FL)作为一个新概念，自2017年以来才开始由MacMahan等人推广。在接下来的几年中，学术界和工业界都进行了大量的研究，在撰写本书时，第一个可行的联邦学习商业框架已进入市场。

　　《联邦学习》旨在捕捉过去几年在该领域的研究进展和最新技术，从该领域的原始概念到首次应用落地和商业化使用。为得到广泛而深入的概述，我们邀请了前沿的研究人员从不同视角讨论联邦学习：机器学习的核心视角、隐私和安全视角、分布式系统视角和特定应用领域视角。

　　《联邦学习》面向研究人员和从业者，深入介绍了联邦学习的最重要问题和方法。部分章节包含一系列技术内容，这些内容有助于理解算法和范例的复杂性，以便在多个企业情况下部署联邦学习。其他章节专注于介绍如何选择针对特定用例定制的隐私和安全解决方案，还有部分章节则介绍了联邦学习系统运行过程中的实际情况。

　　由于这个主题是跨学科的，因此在本书的不同章节中会有不同的术语约定。例如，联邦机器学习中的“参与方”对应分布式系统中的“客户端”。本书的开头介绍了一些常用的专业术语，对章节中涉及的特定领域的专业术语，我们会转换为通用术语进行描述。这样做的目的是让不同背景的读者都能理解本书内容，同时又保持特定学科领域的范式。

　　总体而言，《联邦学习》为读者提供了关于最新研究进展的全面综述。

　　在编辑本书和撰写其中部分章节的过程中，我们得到了许多人的帮助，这里表示特别的感谢。IBM研究所不仅为我们提供了在这个领域中进行学术研究的机会，还让我们将这项技术付诸实践并成为产品的一部分。在这个过程中，我们学到了很多宝贵的经验，因此非常感谢IBM的同事们。此外，特别感谢我们的主管Sandeep Gopisetty，他为这本书的研究提供了条件;感谢Gegi Thomas，他确保我们的研究成果被纳入产品中;还要感谢我们的团队成员。

　　感谢《联邦学习》的所有作者为本书提供了有价值的内容，并且耐心地接受了我们对他们所写内容的修改请求。

　　感谢我们的家人，在编写和编辑本书的一年中，他们能够忍受我们将本该陪伴他们的时间投入撰写书籍中。Heiko深深感谢他的妻子Beatriz Raggio，感谢她的付出和一直以来的支持。Nathalie深深感谢她的丈夫Santiago和儿子Matthias Bock，感谢他们的爱和支持以及为她完成所有项目(包括本书)加油打气。Nathalie还感谢她的父母Adriana和Jesus;如果没有他们大力和持续的支持，本书以及许多其他相关成果都将不可能实现。