早在11年,极光研发区块链技术时,便已启动“联邦学习框架”的预研工作。
次年,瑶瑶姐带队完成,场景化广告系统的换代升级后,便正式启动了该项目。
历时两年有余,终于完成了全部开发工作。
“联邦学习”,是一种保护数据隐私的分布式机器学习技术。
其核心思想是:允许多个参与方,在不共享原始数据的前提下,联合训练模型。
通过差分隐私、同态加密、安全多方计算聚合等加密技术,实现“数据可用不可见”。
这种隐私技术,可应用于多个方面。
首先是广告领域。
利用联邦学习框架,瑶瑶姐带队,打造了一套“联邦学习广告模型”。
这也是极光研发该技术的核心目的。
不同于传统广告系统,依赖原始数据集中存储与传输。
即便是极光,全业务系统,皆已完成加密技术改造,但用户行为数据,仍集中存储在云端。
在国内还好,但在海外,特别是老欧洲,随着个人隐私保护监管趋严,合规成本也在不断提升。
如数据脱敏处理费、合规审计费、潜在罚款风险准备金等等。
而“联邦学习广告模型”,则通过“数据不动模型动”的核心理念,实现了数据协作范式的颠覆式革命!
并从根源上,解决了合规风险!
该模型以“特征安全提取-参数加密流转-全域模型聚合”为闭环,融合隐私计算与深度学习,叠加区块链的“去中心化信任机制”,形成了四大技术支柱。
基础防护层,落地“哈希化特征提取+同态加密传输+安全多方计算”三重防护。
联邦协作层,支持纵向、横向双范式联邦学习,以适配极光多平台数据特性。
模型引擎层,融合场景化广告系统的“深度神经网络”与“长短期记忆网络”优势,创新性提出“联邦深度时序模型”。
信任基座层,复用极光链的去中心化账本能力,确保数据无法被篡改、滥用。
光看其中涉及到的诸多技术领域,就知道这一工程级项目,技术难度有多夸张和复杂。
简单来说,通过平台给出的“行业通用基础模型”,广告主使用自有数据,先在本地进行初步训练。
而后将训练产生的数据,通过同态加密或差分隐私技术,处理后上传。
而“极光联邦智投模型”,则作为可信第三方,对各参与方的加密参数进行聚合,生成全局模型后,再分发给所有参与者,形成闭环迭代。
如此一来,广告主的用户行为数据,始终保留在本地。
而极光作为聚合平台,全程不触碰,任何广告主的原始用户数据。
仅通过加密算法,处理各参与方上传的模型参数。
且每一次参数传输、聚合过程,都会同步至极光链进行存证,确保参数不被篡改、聚合结果可追溯。
既避免了数据泄露风险,也让各广告主,清晰看到自身数据的贡献度,彻底打消广告主“数据被滥用”的顾虑。
以微信和京东的合作为例。
此前,虽双方达成了战略合作,但核心数据始终泾渭分明。
微信不敢开放,用户的“社交关系链”、“深度内容偏好”等核心数据。
一方面是怕泄露用户隐私,毕竟涉及聊天、社交等敏感信息。