背景
DeFi、GameFi等去中心化应用的蓬勃发展,极大地增加了对低交易费用的高性能区块链的需求。然而,构建高性能区块链的一个关键挑战是存储爆炸。下图是取自Etherscan的图表,它说明了一个以太坊全节点的区块链数据大小。
从图中我们可以看出,节点的链数据规模稳步增长,现在已经达到~9TB。由于去中心化区块链的一个目标是允许普通配置的计算机运行节点,因此在普通配置的计算机上强制要求9TB+存储会难以达到。
分解存储开销
如果我们进一步分析存储使用情况,我们可以发现区块数据只占了约300GB的数据,这一数字远小于9TB。那么剩下的8.7TB数据从何而来呢?
实际上,存档节点执行所有块并保留所有历史数据,包括:
区块
状态
交易收据
这其中,状态是这8.7TB的主要组成部分。所以有时,我们将存储爆炸称为“状态爆炸”。但是为什状态会如此之大?
什么是以太坊状态?
以太坊状态是一个MerklePatrica树,其中
东北首家集成区块链的互联网医院上线运行:大连医科大学附属第一医院创新医疗服务模式,依托实体机构建立了东北地区首家集成区块链技术的互联网医院并已上线运行。(辽宁日报)[2020/9/25]
叶子节点是地址(0x...)=>帐户的映射,其中帐户存储与地址关联的余额、nonce等
内部节点维护树结构,以便可以快速计算整个树的哈希根
由于存档节点将保留所有区块的所有历史状态,这意味着MPT中的任何更新都将创建O(log(N))个内部节点,并且不会删除旧的内部节点。
Geth的全节点
为了解决存档节点状态爆炸的问题,Geth的天才工程师们创建了一种称为“修剪”模式的新模式,该模式仅定期存储MPT。这里我们举一个简化的例子,其中节点只保存每3个区块的MPT。。
声音 | 安徽省政协委员胡艳军:加快区块链+应用和标准制定:在今年省两会上,省政协委员胡艳军带来了关于抢抓发展先机、加快区块链+应用和标准的制定的建议。胡艳军表示:“目前,全球主要国家都在加快布局区块链技术发展,智能化、去中心化等颠覆性理念正以前所未有的速度和力度重塑产业模式。我认为安徽省尤其是合肥作为综合性国家科学中心,应该抢抓这一先机,积极融入到国家标准体系中去。”
胡艳军建议,结合安徽省的应用行业,鼓励和加快省区块链技术、服务、应用的相关地方标准和行业标准的制定,积极参与相关国家标准体系建设,抢占发展制高点。她还认为,区块链是多种技术和领域的结合,更要注重跨界人才储备,组建跨界联盟,如鼓励高校、科研院所加大与企业及相关机构合作,组建“部门+高校+企业”及联合金融界、法律界、科技界、信息界等方面跨界联盟,共同制定区块链相关标准,促进区块链技术健康发展,为安徽产业发展提供支撑。(安徽商报)[2020/1/14]
通过定期存储MPT,状态的存储大小显著减少。据Etherscan数据,目前Geth全节点的区块链数据大小约为1TB。
Geth的可快速同步的全节点
动态 | ZB 创新智库:全球多个国家正在迅速跟进中国的区块链发展战略:根据 ZB 创新智库的统计数据发现,自从中国在 10 月 25 号宣布将区块链作为自主创新的重要突破口,加快推进区块链技术和产业创新以来,全球已经有多个国家跟进发布区块链国家战略,包括韩国、印度、法国、阿联酋、马来西亚、泰国、新加坡、菲律宾等,都在 11 月份密集发布了相应的区块链技术发展扶持政策或者战略规划。ZB 创新智库分析师表示,这表明区块链已经成为国家间展开新一轮科技和金融竞争的关键技术。[2019/11/28]
通过从创世区块开始重放所有交易来运行节点的一个问题是,重放所有交易会占用很长时间。一般来说,建立这样一个节点需要数周时间才能从创世区块赶上网络的最新状态。为了加速节点的启动过程,Geth进一步提供了一种快速同步模式,可以下载最新的稳定区块的MPT,而无需重放和维护区块之前的历史MPT。下载完MPT后,它会像全节点一样重放新区块。
在不存储历史MPT的情况下,一个Geth节点的存储大小可以进一步减少到447G。通过减去300GB的区块数据,我们推断状态大小约为150GB。
行情 | A股开盘:区块链板块开涨1.18%:A股开盘,区块链板块开涨1.18%。85只概念股中,78只为涨,5只为跌,2只平盘。上涨股份为:光环新网(+2.66%)、恒银金融(+2.08%)、深科技(+2.08%);跌幅前三为:中元股份(-3.25%)、金财互联(-2.88%)、华软科技(-1.12%)。[2018/12/27]
问题
以目前以太坊447GB的存储大小和15TPS,我们预计具有1TBSSD的普通配置计算机应该能够运行以太坊节点相当长的一段时间。那么存储爆炸或状态爆炸真的存在吗?或许未来几年以太坊并不会,但假如我们可以将以太坊的虚拟机(EVM)扩展到数百或数千TPS呢?
让我们将目光转向另一个基于EVM的链,币安智能链。截至2021年12月8日,BSC已有:
约984GB链上数据,其中区块约占550GB,状态约占400GB。
20.6623亿笔交易,100TPS
如果我们进一步用交易数量来预测数据大小,我们可以得到:
如果TPS为100,即~3,153MTPY
1年后,总TX~5,219M,区块~1.375TB,状态~1.085TB
3年后,总TX~11,525M,区块~3.025TB,状态~2.387TB
支付宝爱心捐赠平台:使用区块链技术的筹款速度是普通项目的2倍:据西部网报道,近日,由支付宝绘制的全国首份“移动支付公益图谱”出炉。支付宝爱心捐赠平台负责人刘琴表示,移动支付、区块链等科技力量的加大投入,是推动互联网公益发展的两股重要力量。支付宝爱心捐赠平台上使用区块链技术记录和追溯捐款过程的公益项目,筹款速度是普通项目的2倍。[2018/6/4]
如果TPS为150,即~4,730MTPY
1年后,总TX~6,796M,区块~1.809TB,状态~1.427TB
3年后,总TX~16,256M,区块~4.327TB,状态~3.414TB
综上所述,对于BSC来说,如果保持目前的速度甚至更高,则很快就会达到以太坊存档节点相同的存储大小,这是普通计算机几乎无法运行的。
具有极高TPS区块链的存储爆炸问题
如果我们对一个极高TPS的区块链做一个更大胆的假设,这个数字会变成多少?我们来考虑一个具有1000TPS的区块链并分析其区块和状态大小,将是:
假设tx大小约为100字节,每年区块所需的存储量为1000(TPS)*100*365*24*3600=2.86TB
假设MPT有100亿账户,我们预计状态大小将为150G/0.18B*10B=8.3TB
将这些数字放在一起,我们很容易得出一个结论,这是大多数普通配置计算机将无法承受的要求!
优化
为了优化存储成本,我们必须将限制放宽为兼容EVM而不是兼容以太坊。即,我们必须构建/运行另一个支持EVM的链,而不是高度优化的以太坊客户端。
状态存储优化
我们提出的第一个优化是使用普通的KV而不是MPT。当MPT很大时,MPT中的所有内部节点可能非常昂贵。而我们的优化将去掉MPT中的所有内部节点。假设每个账户的数据大约是50字节,我们可以节省下100亿账户的数据为:
~10B*50+100GB=600GB,大约是MPT版本的1/10!
虽然使用普通KV会带来巨大的好处,但一个主要问题是我们无法在如此短的区块间隔内计算每个区块的状态后哈希,这意味着我们将失去以太坊的以下好处:
快速同步:下载任何区块的状态并通过重放剩余的区块来快速同步网络
分叉检测:来自对等方新创建的区块是否会导致与本地执行区块的状态不同。
为了启用快速同步,我们有一个周期性的快照区块。一个快照区块包含前状态哈希这一附加信息,即前一个快照区块的后状态哈希:
非快照区块不维护状态哈希,而是具有增量哈希,其中包含该区块的所有交易事务的原始数据库操作的哈希。这使得分叉检测成为可能!
我们使用交易前状态哈希来代替以太坊中区块的交易后状态哈希。原因是节点不能立即计算状交易后的状态哈希,但是通过使用交易前状态哈希,节点可以使用整个epoch间隔来计算哈希。例如,假设状态哈希计算每秒处理10M的状态数据,那么计算600GB的整个状态将需要600GB/10M~16.67小时
计算状态前哈希的流程如下:
1.当一个快照区块被接收并最终确定时,它的KV状态被快照,并创建一个后台线程来迭代所有KV条目并计算哈希。
2.当下一个快照区块被创建时,计算出的状态前哈希值将存储在该区块中。同样,节点将创建KV的另一个快照并在后台计算其哈希。
3.当下一个快照区块被创建时,节点除了存储状态前哈希之外,节点现在可以释放快照区块的KV快照,这意味着来自快照区块以来所有被删除/更新的数据将被自动垃圾回收
其结果意味着,要存储状态,节点只需要最多两个KV快照。
区块存储优化
使用快照区块,我们可以通过仅存储以下数据来进一步减少节点中所需的区块数据:
最新的快照区块的交易执行前状态快照,即快照区块的交易执行后状态
快照区块之后的完整区块?
我们可以对存储成本进行简单的数学计算:假设epoch持续时间为2周,则区块重放大小为
2*14*24*3600*100*1000=224GB!
而且,这里的数字不会随着时间的推移而增长!
总结
我们分析了以太坊当前的存储使用情况:
不仅是区块,状态存储消耗了很多的空间
当TPS>1000时,存储空间用量高得令人望而却步
我们提出对区块和状态进行优化:
区块大小从每年2.86TB减少到224GB
状态大小从8.3TB减少到600GB
一台2TB的普通配置计算机应该能满足长时间运行节点的条件
缺点:轻节点无法验证状态中的一个数据
致谢
感谢dapp-learning主办此次活动。教学全程视频可点击公众号第二条推送观看。
这就是未来天使投资应该有的样子:从你的ENS钱包向公司的ENS发送USDC,并获得数字镜像资产回到你的钱包中.
作为近一段时间“最靓的仔”,元宇宙触及的领域正越来越广。游戏、视频、教育、服饰甚至酿酒……众多行业急速跟进,颇为热闹。 万物皆可元宇宙? 各行各业似乎皆可元宇宙。互联网巨头自不必说.
当你拿起手机随时随地购物、刷短视频的时候,你可能不会想到,全球有近40亿人无法接入互联网。因为传统移动网络商基于利润考虑不在偏远地区投资移动通信网络.
加密社区2021年的最后一个周末由OpenDAO点燃,这个西方世界的圣诞节里,加密爱好者们在SOS空投的狂欢中度过.
2021年元宇宙概念在各大科技公司的推波助澜下爆火,紧接着,日韩等发达国家政府相继出台了建设元宇宙实施细则,意图建立新型国家优势。元宇宙在中国的发展,离不开政策的支持.
DAO也是让我感慨良多的一个领域。?早在2019年参加在北京举办的以太坊开发者大会时,我就曾经思考过关于DAO的发展。那时之所以想到DAO主要原因是由于当时我对初露苗头的DeFi应用不太看好.