区块链技术和机器学习作为两个备受关注的领域,分别以其去中心化的特性和数据驱动的能力引领着技术的进步。区块链技术中的 ZK(零知识,Zero-Knowledge,下文简称 ZK)是密码学中的一个概念,指的是一种证明或交互过程,其中证明者能够向验证者证明某个陈述的真实性,而不泄露任何有关这个陈述的具体信息。ML(机器学习,Machine Learning,下文简称 ML),是 AI 的分支领域。机器学习从输入数据中学习、总结形成模型并能做出预测和决策。
在这一背景下,结合两者的 ZKML(Zero-Knowledge Machine Learning 零知识机器学习)在近期蓬勃发展。ZKML 将零知识证明的隐私保护和验证能力与机器学习的数据处理和决策能力相结合,为区块链应用带来了全新的机遇和可能性。ZKML 为我们提供了一种同时保护数据隐私、验证模型准确性和提升算力效率的解决方案。
本文将深入介绍 ZKML,了解其技术原理和应用场景,与开发者们一起探索这个令人兴奋的交叉领域,揭秘 ZKML 如何构建隐私性更加完备、更具安全性和高效性的数字化未来!
零知识证明与机器学习能在区块链上结合的原因有二:
一方面,ZK 的零知识技术不仅希望能实现链上交易的高效验证,ZK 的开发者也更希望 ZK 能用在更广阔的生态领域中,ML 的强大 AI 支持,成为 ZK 应用生态扩展的极佳助力者。
金色晨讯 | 12月5日隔夜重要动态一览:21:00-7:00关键词:数字人民币、美国国防授权法、花旗
1.美国国防授权法中将包含加密货币和区块链元素;
2.花旗CEO:花旗正帮助各国政府创建数字货币;
3.美联储理事:数字美元需要包括广泛的公众咨询;
4.美国SEC专员:正在研究安全港提案2.0版本;
5.MicroStrategy再度购买5000万美元比特币;
6.美股三大指数齐收涨 区块链概念股涨跌各异;
7.香港金管局:正在研究使用数字人民币进行跨境支付的技术测试;
8.苏州2000万数字人民币消费红包启动预约11日公布中签结果;
9.OCC代理署长:政府或于未来6到8周内推出一系列加密利好政策;
10.Facebook发起的加密稳定币项目Diem,其测试网TPS仅为6笔/秒。[2020/12/5 14:04:21]
另一方面,ML 模型从开发到使用的全流程都面临着信任证明问题,ZK 能帮助 ML 实现不泄露数据和信息的前提下实现有效性的证明,解决 ML 的信任困境。ZKML 的结合,是两者各取所需、双向奔赴,也将为区块链生态添加动能。
ML 有大量信任问题需要解决,各个工作流程的准确性、完整性、隐私性需要被证明。ZK 刚好能在确保隐私性的前提下有效验证任何类计算是否正确运行,很好地解决了机器学习长期存在的信任证明问题。模型的完整性是 ML 训练过程中的重要信任证明问题,但 ML 模型训练和使用的数据和信息的隐私保护同样重要。这使 ML 的训练难以通过第三方审计监管机构完成信任证明,去中心化的零知识属性的 ZK 是与 ML 具有极高匹配性的信任证明路径。
金色午报 | 8月10日午间重要动态一览:7:00-12:00关键词:商务部、央行、Uniswap、镇江市
1. 商务部:区块链技术服务等新兴数字化服务离岸执行额同比增长迅猛;
2. 央行广州分行行长:支持在大湾区率先开展数字货币支付场景应用试点;
3. 数据:UniswapV2的24h交易笔数突破11万次;
4. 以太坊期权未平仓合约过去三个月增长5倍,达3.37亿美元;
5. 镇江市政协副主席:区块链创新中心将走出具有润州特色的发展之路;
6. 珠海网警巡查执法: 脱下数字货币伪装;
7. 数据:7月份中心化交易所的平均网站流量环比增加13%;
8. 盛松成:数字货币与传统货币的不同在于货币发行技术的变化;
9. BTC现报11999.47美元,当前加密货币总市值为3646.77亿美元。[2020/8/10]
“AI 提升生产力,区块链优化生产关系”,ML 为 ZK 赛道注入更高的创新动能和服务质量、ZK 为 ML 提供可验证性与隐私保护,ZKML 双方在区块链环境中互补运行。
ZKML 的主要技术优势实现了计算完整性、隐私保护性与启发式优化结合。从隐私角度上来看,ZKML 的优势在于:
实现透明验证
零知识证明(ZK)可以在不暴露模型内部细节的情况下评估模型性能,实现透明和无需信任的评估过程。
金色晚报 | 6月25日晚间重要动态一览:12:00-21:00关键词:奥地利、摩纳哥、Wirecard、欧盟
1. 奥地利监管机构对四家金融公司发警告 其中两家提供数字货币交易服务;
2. 观点:美国共和党提议的加密数据法案将危及普通用户的安全;
3. 国际清算银行:私人机构稳定币提案并非推动央行CBDC发行的关键因素;
4. 摩纳哥开始批准证券代币融资计划以支持政府环境和社会治理项目;
5. Deribit持有约63%未平仓合约 占据BTC期权市场主导地位;
6. Cardano团队建议继续开发激励测试网 将其用作快速测试网络;
7. 上海将开展区块链自主创新研发 筹建区块链功能型服务平台;
8. 亿邦国际明日上市:Q1亏250万美元 胡东有92%投票权;
9. 加密借记卡发行商Wirecard已申请破产;
10. 欧盟委员会计划为Libra等全球加密货币制定强有力的监管规则。[2020/6/25]
数据隐私保障
ZK 可用于使用公共模型验证公共数据或使用私有模型验证私有数据,以此保证数据的隐私性和敏感性。
ZK 本身通过密码学协议,在保证隐私性的前提下确保了某个声明的正确性,很好的解决了计算正确性证明机器学习在隐私保护上、同态加密机器学习在隐私保护上的缺陷。将 ZK 融入 ML 过程中,创建了一个安全且保护隐私的平台,解决了传统机器学习的不足。这不仅鼓励隐私公司采用机器学习技术,Web2 开发人员也更有动力来探索 Web3 的技术潜力。
金色晨讯 | 2月13日隔夜重要动态一览:21:00-7:00关键词:欧洲央行、美联储、FinCEN、嘉楠、FCoin、Algorand、微众银行
1. 法国央行报告:欧洲央行推出CBDC的可能性取决于选定资产准则。
2. 美联储主席:美国围绕数字货币需回答网络、隐私等问题。
3. 美国财政部长:FinCEN将发布与加密货币相关的新要求。
4. 法国要求欧盟制定战略以消除区块链障碍。
5. 嘉楠内部信:仅做好芯片远远不够 必须打通从硅到算力之间的障碍。
6. FCoin:系统未遭黑客入侵,将开放邮件形式申请提现。
7. 加密矿商Riot Blockchain在其矿场部署1067台S17 Pro蚂蚁矿机。
8. Algorand发布透明度报告,新投入流通1.26亿枚Algo。
9. 微众银行区块链已研发出WeDPR隐私保护解决方案。[2020/2/13]
ML 上链的算力桎梏与 ZK-SNARKs
在链下已经较为成熟的 ML 之所以刚刚进军链上,是因为区块链的算力成本过高。很多机器学习项目因算力限制无法直接在以 EVM 为代表的区块链环境下运行。同时,虽然 ZK 的有效性验证比重复计算效率更高,但这种优势仅限于区块链原生的交易数据处理。当 ZK 本就复杂的密码学运算和交互面临 ML 的大量运算时,区块链的低 TPS 问题便暴露出来,区块链算力低下的问题成为阻碍 ML 上链的最大桎梏。
金色午报 | 12月27日午间重要动态一览:7:00-12:00关键词:最高法、北斗、苏通链、V神、期货合约、ETC
1. 最高法:促进区块链等在内的数字丝绸之路建设。
2. 国务院参事:要处理好数字货币与现行电子支付工具的关系。
3. 北斗系统新闻发言人:北斗正在与区块链等新技术加速融合。
4. 江苏企业间联盟链“苏通链”在南京大学发布。
5. 中国电子技术标准化研究院发布三项区块链团体标准。
6. V神:短期内需并行开发区块链第1层和第2层协议。
8. 爱沙尼亚总统:Libra不能用作货币。
9.火币、OKEx、芝商所等多家交易所季度及半年期合约将于今日结算。
10.近一周以太经典ETC全网活跃地址数出现大幅上升。[2019/12/27]
ZK-SNARKs 的出现缓解了 ML 的高算力需求问题。ZK-SNARKs 是一种零知识证明的密码学构造,其全称为"零知识可扩展非交互式参数论证"(Zero-Knowledge Succinct Non-Interactive Argument of Knowledge)。它是一种基于椭圆曲线密码学和同态加密的技术,用于实现高效的零知识证明。ZK-SNARK 具有高度紧凑性的特点,通过使用 ZK-SNARKs,证明者可以生成一个短而紧凑的证明,而验证者只需进行少量的计算即可验证证明的有效性,无需与证明者多次交互。这种仅需一次有证明者向验证者交互的性质,使 ZK-SNARKs 在实际应用中具有高效性和实用性,更加适配 ML 的链上算力需求。目前,ZK-SNARKs 是 ZKML 中 ZK 的主要形式。
ML 的链上基础设施需求与对应项目
ZK 对 ML 的赋能主要体现在 ML 全过程的零知识证明上,是 ML 与链上功能的交互。这种交互所需解决的两大问题是将两者的数据形态对接并为 ZK 证明过程提供算力。
ZK 硬件加速:ML 的 ZK 证明较为复杂,这需要硬件辅助链上算力加速证明计算。这类项目包括:Cysic、Ulvetanna、Ingonyama、Supranational、Accseal。
ML 链上数据处理:将链上数据处理为可进入 ML 训练的数据形式,并帮助 ML 的输出结果更方便从链上访问。这类项目包括:Axiom、Herodotus、LAGRANGE、Hyper Oracle。
ML 计算电路化:ML 计算模式与 ZK 的链上电路化证明有所差异,ML 的上链必须将其计算模式转化为能被区块链 ZK 处理的电路形式。这类项目包括:Modulus Labs、Jason Morton、Giza。
ML 结果的 ZK 证明:ML 的信任证明问题,需要由链上 ZK 解决。基于 ZK-SNARKs 建构在 Risc Zero 或 Nil Foundation 上的应用就可以实现模型真实性证明。这类项目包括:RISC Zero、Axiom、Herodotus、Delphinus Lab、Hyper Oracle、Poseidon ZKP、IronMill。
ZK 解决 ML 的信任证明问题,并为 ML 提供了上链机会。很多 Web3 领域急需 AI ML 的生产力或决策支持,ZKML 使链上应用在保证去中心化与有效性的前提下,实现了 AI 的赋能。
DeFi
ZKML 可以帮助 DeFi 更加自动化,其一是链上协议参数更新的自动化;其二是交易策略的自动化。
Modulus Labs 推出了 RockyBot,其是有史以来第一个完全链上的人工智能交易机器人。
DID
ZKML 可以助力 Web3 去中心化身份 DID 的建设。此前,私钥、助记词等身份管理模式使 Web3 用户体验较差,真正的 DID 建设可以通过 ZKML 进行 Web3 主体生物信息的识别完成,同时,ZKML 能保证用户生物信息隐私的安全性。
Worldcoin 正在应用 ZKML 实现基于虹膜扫描的零知识 DID 验证。
游戏
ZKML 可以帮助 Web3 游戏实现全功能上链。ML 可以为游戏交互带来差异性的自动化,增加游戏的趣味性;而 ZK 可以使 ML 的交互决策上链。
Modulus Labs 推出了 ZKML 驱动的国际象棋游戏 @VsLeela;
AI ARENA 运用 ZKML 实现了链上 NFT 游戏的高交互性。
医疗保健与法律咨询
医疗保健与法律咨询是高隐私性且需要大量案例积累的领域,ZKML 可以帮助用户完成决策且保证用户的隐私不被泄露。
ZKML 目前正在蓬勃发展,但因其非原生于区块链且需要大量算力,ZKML 未来主要面临以下两大挑战:
ML 数据量化上链过程中的参数失真问题:
大多数 ML 采用浮点数表示模型的参数,而 ZK 电路需要使用定点数。在这一数字类型转化过程中,ML 的参数的精度会有所降低,一定程度导致 ML 输出结果的失真。
其大模型 ZK 证明的高算力要求问题:
目前区块链的算力无法应对大规模、高计算量的链上 ZKML,当下流行的 ZK-SNARKs 仅支持小规模、较小计算量的 ML 零知识证明。算力局限是影响 ZKML 区块链应用发展的关键因素。
ZK 生成证明的阶段计算复杂度较高,需要大量的算力资源。由于 ZK 证明阶段通常需要访问和处理的数据之间存在高度的关联性,导致这个过程难以分布式进行,其无法“可并行化”。将这个过程进行分布式处理,可能会引入额外的复杂性,甚至会降低整体性能。目前,解决 ZK 计算效率问题,主流的研究方向更多的是在算法优化和硬件加速。
ZKML 是零知识证明与机器学习的双向奔赴,近期不断发展的区块链技术 ZK 帮助 ML 解决信任证明问题并为 ML 提供链上环境;成熟的 AI 技术 ML 帮助 ZK 实现 Web3 生态拓展与应用创新。
ZKML 的发展面临一些挑战,如参数失真问题和大模型的高算力要求,但这些问题可以通过技术创新和硬件加速等手段得到解决。随着 ZKML 项目的不断涌现和发展,我们可以预见它在 DeFi、DID、游戏、医疗保健等领域将为 Web3 生态带来更多创新和价值。
在未来,ZKML 有望成为真正解锁 Web3 + AI 交叉融合的钥匙,为进一步构建安全、隐私保护和高效的区块链应用提供强有力的支持。通过结合 ZK 的零知识性和 ML 的数据处理能力,我们一定能够开创更加开放、智能和可信赖的数字世界!
TinTinLand
个人专栏
阅读更多
金色早8点
Odaily星球日报
金色财经
Block unicorn
DAOrayaki
曼昆区块链法律
作者:Roy Strom,Bloomberglaw;编译:星球日报随着 FTX 破产重组的进行,不断增加的法律成本引发巨大关注.
原文作者:Ryan、gt、coucou 导师指导:Jademont、Elaine、Bill @Waterdrip Capital在解释 NFTFi 之前.
本文为 SEC 发布的 “Framework for “Investment Contract” Analysis of Digital Assets” 一文中的主要内容编译.
LSDfi很热,主流交易所也很关注。比如,Binance连续上线了Maverick和Pendle,Binance Research也在三个星期内连发两份LSDfi研报.
作者:DAOrayaki去中心化科学或DeSci是web3领域中一个不断扩大的运动,探索基于区块链的解决方案如何改善科学研究中的问题,例如出版和资金.
作者:MICHAEL BODLEY& BESSIE LIU,blockworks 编译:金色财经,善欧巴随着做空兴趣的增加,交易员表示他们正在分析稳定币True USD的流动性和定价.