TEP:科普：联邦学习的分类和应用场景_STE

前言

上一篇我们讲述了人工智能，机器学习与联邦学习的关系。

这篇我们将继续探索联邦学习方法的分类。联邦学习方法被分为横向联邦学习、纵向联邦学习和迁移联邦学习三类，适用于解决不同的实际问题。

横向联邦学习

在两个数据集的用户特征重叠较多而用户重叠较少的情况下，把数据集按照用户维度切分，并取出双方用户特征相同而用户不完全相同的那部分数据进行训练。这种方法叫做横向联邦学习。

▲?应用场景

横向联邦学习的本质是样本的联合，适用于参与者间业态相同但触达客户不同，即特征重叠多，用户重叠少时的场景，比如不同地区的银行间，他们的业务相似，但用户不同。

徐明星新书《趣说金融史》正式发布 科普金融发展之道:金色财经现场报道，9月23日，欧科云链创始人徐明星携手著名财经作家李霁月、行业观察者顾泽辉力作《趣说金融史》一书，跨越5000年金融历史，重读金钱故事，并预测新的金融时代。该书由中信出版社出版，将于近期正式发售。据了解，本书可以更好地呈现金融的起源与发展，帮助人们理解货币、金融与未来经济。作为区块链行业领军企业——欧科云链的创始人，徐明星深知技术探索对经济社会的重要推动作用，他曾先后出版过《图说区块链》、《区块链：重塑经济与世界》、《通证经济》、《链与未来》等行业权威著作，解读区块链等新型技术的推动下，金融与社会的升级之道，对经济社会发展做出了重大贡献。其中，《区块链：重塑经济与世界》曾作为新中国70周年重点推荐图书之一被相关书店推荐。[2021/9/23 17:00:57]

比如，有两家不同地区银行?—?上海与杭州两地的两家银行，它们的用户群体分别来自上海与杭州的居住人口，用户的交集相对较小。由于银行间的业务相似，记录的用户特征大概率是相同的。因此，横向联邦学习可以被考虑用来构建联合模型。

人大附中物理老师李永乐科普拜占庭将军问题和区块链:5月14日，人大附中物理老师、科普视频网红李永乐在其公众号发布视频《拜占庭将军问题是什么？区块链如何防范恶意节点？》。李永乐老师在视频中对拜占庭将军问题和区块链进行了讲解，他表示，拜占庭将军问题本质上指的是，在分布式计算机网络中，如果存在故障和恶意节点，是否能够保持正常节点的网络一致性问题。在近40年的时间里，人们提出了许多方案解决这一问题，称为拜占庭容错法。例如兰波特自己提出了口头协议、书面协议法，后来有人提出了实用拜占庭容错PBFT算法，在2008年，中本聪发明比特币后，人们又设想了通过区块链的方法解决这一问题。区块链通过算力证明来保持账本的一致性，也就是必须计算数学题，才能得到记账的权力，其他人对这个记账结果进行验证，如果是对的，就认可你的结果。与拜占庭问题比起来，就增加了叛徒的成本。[2020/5/14]

于2017年，Google提出了一个针对安卓手机模型更新的数据联合建模方案：在单个用户使用安卓手机时，不断在本地更新模型参数并将参数上传到安卓云上，从而使特征维度相同的各数据拥有方建立联合模型的一种联邦学习方案。

动态 | 浙江卫视节目科普支付宝区块链防伪溯源产品:昨日，在浙江卫视播出的科普综艺栏目《智造将来》现场，支付宝首次展示了支付宝区块链防伪溯源产品，以接地气的方式公开向大众展示区块链在生活中的应用。[2019/3/4]

▲?学习过程

Step1.参与方各自从协调方上下载最新模型；

Step2.每个参与方利用本地数据训练模型，加密梯度上传给协调方，协调方聚合各用户的梯度以更新模型参数；

Step3.协调方返回更新后的模型给各参与方；

Step4.各参与方更新各自模型。

纵向联邦学习

在两个数据集的用户重叠较多而用户特征重叠较少的情况下，把数据集按照特征维度切分，并取出双方用户相同而用户特征不完全相同的那部分数据进行训练。这种方法叫做纵向联邦学习。

科普时报：区块链与云计算长期发展目标不谋而合:据《科普时报》今日报道，区块链与云计算两项技术的结合，从宏观上来说，一方面，利用云计算已有的基础服务设施或根据实际需求做相应改变，实现开发应用流程加速，满足未来区块链生态系统中初创企业、学术机构、开源机构、联盟和金融等机构对区块链应用的需求。另一方面，对于云计算来说，“可信、可靠、可控制”被认为是云计算发展必须要翻越的“三座山”，而区块链技术以去中心化、匿名性，以及数据不可篡改为主要特征，与云计算长期发展目标不谋而合。[2018/5/4]

▲?适用场景

纵向联邦学习的本质是特征的联合，适用于用户重叠多，特征重叠少的场景，比如同一地区的商超和银行，他们触达的用户都为该地区的居民，但业务不同。

比如，有两个不同机构，一家是某地的银行，另一家是同一个地方的电商。它们的用户群体很有可能包含该地的大部分居民，用户的交集可能较大。由于银行记录的都是用户的收支行为与信用评级，而电商则保有用户的浏览与购买历史，因此它们的用户特征交集较小。纵向联邦学习就是将这些不同特征在加密的状态下加以聚合，以增强模型能力的联邦学习。

▲?学习过程

介绍一种简单通用的纵向联邦学习的建模学习过程，加密方式也以半同态加密的PallierEncryption为主。

训练前：

先采用加密文本对齐的技术手段，在系统内筛选出不同企业之间的共同用户。

训练时：

Step1.协调方C向企业A与B发送公钥，用来加密所需传输的数据；

Step2.A和B分别计算和自己相关特征的中间结果，并加密完后进行交互，用来求解各自的梯度结果和损失结果；

Step3.A和B分别计算各自加密后的梯度并添加掩码后发送给C，同时B计算加密后的损失先发送给C；

Step4.C解密梯度和损失后回传给A和B，A、B去除掩码并更新模型。

迁移联邦学习

在两个数据集的用户与用户特征重叠都较少的情况下，不对数据进行切分，而可以利用迁移学习来克服数据或标签不足的情况。这种方法叫做联邦迁移学习。

▲?适用场景

当参与者间特征和样本重叠都很少时可以考虑使用联邦迁移学习，如不同地区的银行和商超间的联合。主要适用于以深度神经网络为基模型的场景。

迁移学习的核心是，找到源领域和目标领域之间的相似性。举一个杨强教授经常举的例子来说明：我们都知道在开车时，驾驶员坐在左边，靠马路右侧行驶。这是基本的规则。然而，如果在英国、香港等地区开车，驾驶员是坐在右边，需要靠马路左侧行驶。那么，如果我们从到了香港，应该如何快速地适应他们的开车方式呢？诀窍就是找到这里的不变量：不论在哪个地区，驾驶员都是紧靠马路中间。这就是我们这个开车问题中的不变量。找到相似性?(不变量)，是进行迁移学习的核心。

比如有两个不同机构，一家是位于中国的银行，另一家是位于美国的电商。由于受到地域限制，这两家机构的用户群体交集很小。同时，由于机构类型的不同，二者的数据特征也只有小部分重合。在这种情况下，要想进行有效的联邦学习，就必须引入迁移学习，来解决单边数据规模小和标签样本少的问题，从而提升模型的效果。

▲?学习过程

联邦迁移学习的步骤与纵向联邦学习相似，只是中间传递结果不同。

以上是常见的几种联邦学习类型，联邦学习这件“小事”能用在什么场景中，带来怎样的价值，会在下一篇文章中详细介绍。也欢迎各位与我们一起对以上三种类型的联邦学习进行更深一步的讨论，添加小助手加入技术交流群。

作者简介

严杨

来自数据网格实验室BitXMesh团队?PirvAIの修道者

标签：区块链STEPSTETEP我朋友做区块链被捉了怎么办stepn币发行价格Stellatep币价格

火币交易所热门资讯