作者:?IgorMandrigin
翻译:?阿剑
来源:以太坊爱好者
什么是“无状态以太坊”?
如果您已经了解什么是“无状态以太坊”以及“区块见证数据”,可以跳过这一段。
为执行交易及验证区块,以太坊网络的节点需要了解整条区块链的当前状态——也就是所有账户和合约的余额和存储数据。这些数据一般来说是存储在DB里面的,在需要用于验证时才会加载到一棵默克尔树中。
无状态以太坊客户端的工作思路则稍有区别。顾名思义,无状态客户端就是不使用硬盘DB来执行区块。相反,无状态客户端依赖于“区块见证数据”——就是一段特殊的数据,它会跟相应的区块一起传播;拥有了这段数据,客户端就可以重建出一个默克尔子树,该分支足可用于执行该区块中的所有交易。
你可以在这篇文章中读到关于无状态客户端的更深入的描述:https://blog.ethereum.org/2019/12/30/eth1x-files-state-of-stateless-ethereum/
当然咯,需要传播区块见证数据就意味着无状态客户端的网络要求要比普通节点更高。
-见证数据大小折线图-
现在人们已经提出了很多降低见证数据规模的思路:使用有效性/计算完整性证明、加入更多的压缩手段,等等。其中一种办法是将以太坊的默克尔树从十六进制转为二进制。
这就是本文想要探讨的问题。
观点:加密货币和NFT的税收漏洞可能很快结束:金色财经报道,加密货币税务报告软件CoinLedger联合创始人兼首席执行官David Kemmerer发文表示,多年来,加密货币和NFT投资者利用清洗销售来节省数千美元的税收。然而,这个税收漏洞可能会在不久的将来结束。目前,拜登政府的预算方案包含一项条款,将清洗销售规则扩大到加密货币和NFTs,并限制加密货币投资者要求资本损失的能力。[2023/7/5 22:18:43]
为什么要使用二进制树
默克尔树的一大优良特性是,验证树根值正确与否并不要求你具有整棵树所有的数据。只需把所有省略的非空路径替代为相应的哈希值就可以可。
那么使用十六进制默克尔树有什么不好呢?
设想整棵树都已填满数据。要验证一个区块,我们只需要一小部分默克尔树节点的数据。那么,我们只需把其他路径的数据替代为哈希值就可以了。
但是,每多加入一条哈希值,区块见证数据就会大一些。
如果我们转变为二进制默克尔树,这个问题就可以得到缓解——因为默克尔树上的每个节点都只有两个子节点,所以至多只有一个字节点需要被替换为哈希值。
这样做也许能大幅降低见证数据的规模。
我们再举例说明一下。
假设执行某个区块只会影响一个账户:3B路径下的Acc1。整棵树是全满的。
观点:比特币或成为2021年的特斯拉 明年年底最多可达到10万美元:Strategic Wealth Partners首席执行官Mark Tepper认为,到明年年底,比特币的价格最多可以达到10万美元。但Tepper称,将加密货币与埃隆·马斯克(Elon Musk)旗下公司的股票相比较,4万美元大关的可能性更大。“你可以把它比作特斯拉。特斯拉今年增长超过500%。我认为比特币有可能成为2021年的特斯拉。在我最看好的情况下,到明年年底,它可能会达到10万美元。那是我假设的牛市情况下的价格。我认为我假设的基本情况更接近实现,比特币到2021年底翻一番,达到大约4万美元。”(The Daily Hodl)[2020/12/28 15:52:28]
-二进制状态树与十六进制状态树的比较-
如果说二进制状态树看起来有点吓人,那只是因为二进制树我画全了,但没有把十六进制树的所有代之以哈希值的节点都画出来。
来数个数:
为创建出一棵二进制状态树,见证数据需要包含8个哈希值,7个分支节点和1个账户节点。也就是见证数据中有16个元素。
为创建出一棵十六进制状态树,我们只需1个分支节点,1个账户节点,但需要30个哈希值。也就是有32个元素。
所以,假设哈希值和分支节点在区块见证数据中的所占的空间是一样大的,在我们的例子中,使用二进制树所需的见证数据大小只有十六进制下的一半。看起来不错。
那么,理论上就是这样。
我们来看看实际情况是如何。我们直接拿以太坊主网的数据来看看吧。
开始实验
先说最紧要的:我们怎么知道自己构建出来的区块见证数据是有用的呢?
观点:随着各地法币贬值,政府可能被迫开始将比特币纳入外汇储备:宏观投资者、Real Vision联合创始人Raoul Pal在接受采访时表示,他认为禁止比特币的这种尝试是徒劳的。1933年,美国前总统富兰克林·罗斯福试图禁止囤积金币、金条和黄金证书,许多人以此作为可能禁止比特币的先例,Raoul Pal指出,这一努力完全适得其反,导致人们寻找其他途径获得黄金。他表示,不仅各国政府将很难禁止比特币,而且随着世界各地的法定货币继续面临贬值,政府甚至可能被迫开始将比特币纳入自己的外汇储备。(The Daily Hodl)[2020/11/15 20:50:40]
测试方法如下:我们使用区块见证数据来生成一棵默克尔子树,在这棵树上运行相应区块中的所有交易,然后校验结果是否与我们所知的一致。只要交易都能成功执行,等等),我们就可以断定这个见证是足够充分的。
-测试方法:1.执行区块;2.从状态树中抽取出见证数据;3.使用见证数据构造出一棵子树;4.禁用DB访问、使用子树来执行区块(具体可见
github)-
其次,我们需要一些基准数据。因此,我们也使用500万到850万高度的区块、在十六进制默克尔树模式下生成了见证数据,并将见证数据大小的统计数据存在一个超级大的csv文件中。
我们尝试的第一步是执行完一个区块后就组装出一棵十六进制树,然后将它转为二进制树,再从这棵二进制树中提取出见证数据。
这种方法有几个好处:易于实现,而且验证十六进制-二进制的转换也很简单。
观点:比特币可以给央行行长提供有关数据安全的知识:在MIT比特币博览会上,麻省理工学院数字货币研究科学家Robleh Ali表示,比特币结合了透明性,加密技术和经济激励措施,可以向央行行长教授有关数据安全的知识。与传统系统相比,这是一种完全不同的实现安全性的方式:不是试图将数据隐藏在墙后,而是使系统具有内在的弹性。此外,CBDC可以被视为“第三代”数字货币。如果比特币是第一代,那么以太坊和其他所谓的智能合约平台可以被视为第二代。在CBDC系统中添加更多的东西是错误的方法,因为越复杂,就越给攻击者提供更多闯入的机会。第三代系统要比特币系统简单得多。(Technologyreview)[2020/4/21]
不过,我们遇到了两个问题,而且其中一个还不小。
第一个,正如我们上面证明的那样,比起二进制树,十六进制树包含更多的账户节点,如果我们先生成十六进制树再转换,得到的结果就跟在二进制树模式下直接生成所得到的见证数据不一样。
为什么呢?
因为十六进制树数据总是以1/2字节的速度增长,而二进制树总是以1比特的速度增长,因此键的长度可以是奇数位。
实际上,见证数据中还包含一些额外的扩展节点,它们还要稍微大一点。不过即便对内容较多的区块,体现在见证数据大小上的差别也非常之小。
关键的是性能。随着树的规模增长,转换的速度会越来越慢。
用更具体的数字来说明一下:在我们的GoogleComputeEngine虚拟机上,处理速度约为每秒0.16个区块,也就是每分钟处理小于10个区块,处理100万个区块要超过3个月!
所以,我们决定采取更复杂的办法,开发出一个原生使用二进制默克尔树的实验性分支。也就是说,我们要把turbo-geth代码库例地所有十六进制状态树全部替换为二进制树,然后区块就是基于二进制树来执行的了。
观点:缺乏现实采用是阻止加密货币增长的最大问题:韩国金融服务委员会(FSC)区块链咨询委员会的一名关键成员Hong Ki-hoon表示,缺乏真实世界采用是阻止加密货币增长的最大问题。Hong补充表示,试图通过创造没有现实需求的技术来取悦政府是没有效果的;相反,重点应该是可推动有机增长的实际效用。(Decrypt)[2020/3/3]
这种办法的不利之处在于,部分哈希值的校验只能被忽略掉。
但主要的验证机制还是一样的:我们需要能够使用二进制树来执行区块、从见证数据中创建出默克尔子树。
再来谈谈key。
为简化起见,我们对key的编码方式是非常低效的:1bytepernibble;一个key的每一比特就要占用1字节。这样做大大简化了代码层面的改变,但区块见证数据中的”key“部分会是我们使用bitset时候的8倍大。
因此,在进一步分析中,我会假设key的编码方式是最优的。
Hexvs.Bin:结果
我的分析分为两段,总共分析了以太坊主网上的200万个区块。
区块高度500万到650万
我在这个github库里面提供了使用python脚本来重复这一实验的命令行:
https://github.com/mandrigin/ethereum-mainnet-bin-tries-data
首先我们来分析一下数据集。
pythonpercentile.pyhex-witness-raw.csvbin-stats-5m-6.5m.csv50000006500000adjust
-
一个箱型图,箱体显示上四分位到下四分位之间的数据,左右延伸出去的线条显示上1%到下1%之间的数据
-百分比分析-
现在我们可以生成一些很酷的图表了!
pythonxy-scatter-plot.pyhex-witness-raw.csvbin-stats-5m-6.5m.csv50000006500000adjust
-XY散点图(横轴为Hex下见证数据大小,纵轴为Bin下见证数据大小)-
可以看出,二进制见证数据的大小总是优于十六进制树下的见证数据。
我们再加入另一个参数,用二进制见证数据大小除以十六进制见证数据大小,看看我们得到了怎样的提升。
pythonsize-improvements-plot.pyhex-witness-raw.csvbin-stats-5m-6.5m.csv50000006500000adjust
-二进制见证数据的大小/十六进制见证数据的大小-
为更好地理解这张图标,我们也输出了平均值和百分位值。
平均值=0.51
P95=0.58
P99=0.61
在实际场景中这意味着什么?
对于99%的区块,见证数据的大小可以降低至少39%。
对于95%的区块,见证数据的大小可以降低至少42%。
平均来说,见证数据可节省49%。
我们也要考虑见证数据大小的绝对值。为使数据变得可读,我们每1024个区块取滑动平均值。
pythonabsolute-values-plot.pyhex-witness-raw.csvbin-stats-5m-6.5m.csv50000006500000adjust
-依时间顺序绘制的见证数据大小折线图,纵轴单位为MB-
再来看看最新区块的情况。
区块高度800万到850万
pythonpercentile.pyhex-witness-raw.csvbin-stats-8m-9m.csv80000008500000adjust
-箱型图,箱表示上下四分位以内的数据,线表示上下1%以内的数据-
-800万号到850万号区块的百分位分析-
还有XY散点图。
pythonxy-scatter-plot.pyhex-witness-raw.csvbin-stats-8m-9m.csv80000008500000adjust
还有规模上的节约。
pythonsize-improvements-plot.pyhex-witness-raw.csvbin-stats-8m-9m.csv80000008500000adjust
-XY散点图(横轴为Hex下见证数据大小,纵轴为Bin下见证数据大小)-
平均值=0.53
P95=0.61
P99=0.66
最后,再来看看见证数据的绝对大小。
pythonabsolute-values-plot.pyhex-witness-raw.csvbin-stats-8m-9m.csv80000008500000adjust
-依时间顺序绘制的见证数据大小折线图,纵轴单位为MB-
结论
在使用以太坊主网数据做过测试以后,我们可以看到,切换为二进制树模式可以大幅提升生成见证数据的效率。
另一个结论是,这种提升并没有理论上那么显著。原因可能在于主网区块的实际数据。
也许,通过分析一些例外情况,我们可以知道更多优化见证数据规模的办法。
试着使用别的原始数据来跑跑GitHub中的脚本吧:https://github.com/mandrigin/ethereum-mainnet-bin-tries-data
回首2019年,全球区块链行业经历了“螺旋上升式”的发展过程,产生了许多新事物,也发生了诸多新变化。为迎接2020年,链茶馆特别推出了“盘点2019”专题,让我们一起不忘过往,展望未来.
我们都知道区块链构建了一个可信的社会体系,但是在某种程度上,其实区块链也是一种非常低效率的,而作为很多人向往的区块链落地实体领域,效率和成本是非常重要的因素.
1月15日凌晨7点42分,比特币挖矿难度上调至14.78T,涨福为7.08%,再次创历史新高。以此反推,比特币全网算力约为105.76E(数据来源BTC.com).
在刚刚过去的2019年中,尽管对大多数加密资产来说总体上看跌,但去中心化金融却在不断壮大。最近的研究发现,在过去的一年中,对DeFi的一小笔投资可能比比特币产生更多的收益.
随着区块链技术的发展,去中心化应用程序成为了新的潮流,而以太坊作为首屈一指的平台,为此类应用程序的扩展提供了基础.
libsnark是目前实现zk-SNARKs电路最重要的框架,在众多私密交易或隐私计算相关项目间广泛应用,其中最著名当然要数Zcash.