HASH:区块链说数据没被篡改过，是不是在你 ？_区块链技术的特点

前文《打破K/V存储的性能瓶颈》中，我们提到用一个哈希值来反映区块链系统中所有对象的当前状态集合，并称之为“世界状态”。现在大多数区块链底层平台为了支持与其他链集成，或者为了部署在更小的终端，都会提供轻节点的功能，轻节点也就是存储少量数据的“轻量级节点”，但因为没有存储全量数据，无法对其他节点的数据进行正确性的验证。这里便需要其他节点生成一份数据证明，配合轻节点本地保存的“世界状态”来进行数据的验证。

这份数据证明是什么？又是怎么实现的？带着这份疑问，本文将详细介绍目前主流的数据证明的实现以及解决方案和优化思路。

介绍数据证明前，我们先要了解传统的默克尔树，以及对应的证明生成和验证的流程。

默克尔树，因发明人叫Merkle，并且是树形结构而得名。如下图，默克尔树的叶节点存储数据或者数据的哈希值，任一父节点包含了其子节点总和的哈希值。

默克尔树最大的作用便是快速校验部分数据是否在原始数据中。

举个例子，要想验证L2在上图的这棵树上，只需要节点列表即可，通过L2可以计算出Hash0-1，通过Hash0-1与Hash0-0可以计算出Hash0，再通过Hash0与Hash1，便可以得到一个树根，再把该树根与TopHash进行比对即可快速验证L2是否在树中。默克尔树生成数据证明以及验证数据证明的原理就是如此，生成证明时自底向上，不断获取父节点的兄弟节点，打包成数据证明；验证时通过遍历证明中的节点列表，不断进行哈希得到父节点的操作，最后可以得到树根节点，再把该树根与原树根进行比对，达到验证的目的。

A股收盘：深证区块链50指数下跌2.09%:金色财经消息，A股收盘，上证指数报3073.77点，收盘下跌1.07%，深证成指报10949.12点，收盘下跌1.58%，深证区块链50指数报2720.87点，收盘下跌2.09%。区块链板块收盘下跌0.67%，数字货币板块收盘下跌0.36%。[2022/12/20 21:56:16]

这种基本的默克尔树广泛应用在区块链系统中，例如比特币中轻钱包的SPV便是应用该原理，比特币中区块记录的root便是区块中交易集合构成的默克尔树的树根，使得无需下载完整区块，只需要区块头便可以验证某条交易的有效性。

默克尔树虽然满足了数据证明以及验证的需求，但是其二叉树的结构，会使其在存储庞大的状态数据时，造成中间节点太多，有存储压力大的问题；并且默克尔树在对数据的增删改查方面没有解决方案，我们知道状态数据在执行合约时需要频繁的读写，因此可以对数据进行查询修改也是非常重要的，针对以上几点问题，以太坊提出了默克尔帕特里夏树。

▲?什么是MPT？

MPT主要结合了默克尔树和前缀树的特点，前缀树顾名思义，是一种利用字符串的公共前缀来进行查询的树，如下图所示，用来查询有共同前缀的数据不需要进行字符的比对，十分方便，但缺点也十分明显，如果一个字符串与其他节点没有公共前缀时，便会带来很多节点的创建，造成存储空间的浪费。

动态 | 平安集团已在香港建成由监管部门主导的区块链贸易平台:据证券日报报道，平安集团致力于在“一带一路”沿线国家和地区落地区块链应用，已在中国香港建成全球首个由监管部门主导的区块链贸易平台致力于“贸易联动”，联通粤港澳大湾区等地区的国际贸易枢纽，构建金融贸易“空中走廊”，进而初步形成亚太地区乃至全球贸易融通、资金畅通的桥梁。[2019/2/19]

基于默克尔树以及前缀树的优缺点，MPT提出了四种节点类型：

1）空节点：用来表示空字符串；

2）分支节点：用来表示MPT树中所有拥有超过1个子节点以上的非叶子节点，最多能容纳十六个子节点；

3）叶子节点：表示为的一个键值对，其中key是一种十六进制编码(HP编码)，value是节点具体内容的RLP编码；

4）扩展节点：同样表示为的一个键值对，不过value是其他节点的hash值，这个hash可以被当做key，用来在数据库中查询子节点；

动态 | 以色列证券管理局开始使用区块链技术提高网络安全性:据The Times of Israel消息，以色列证券管理局（ISA）今日表示，已开始使用区块链技术来提高网络安全并应对信息安全挑战，其已在ISA的一个系统中嵌入使用区块链技术的Yael，政府机构将使用这一系统来向其监管下的机构传递信息。[2018/10/3]

相比于普通的前缀树以及默克尔树，MPT加入了扩展节点，可以将不共享的前缀压进一个节点，带来路径压缩的特性，降低了树的高度，减少了空间浪费；分支节点的加入，使得单个节点最多能有十六个分叉，同样也是降低了树高；并且通过哈希值进行树节点间的连接，确保了安全性与可验证性。

对MPT上的数据进行增删改查，需要通过前缀索引到对应的节点，叶子节点的改动会带来新的分支节点或者扩展节点的加入，新的节点需要进行哈希计算得出新的哈希值，然后更新父节点的信息，造成索引路径上节点的哈希值的连锁的改动，最后生成一个唯一的“世界状态”。

在MPT上，要想生成数据证明，也需要沿着树进行前缀的索引，并把索引路径上的节点打包成证明返回即可。验证数据证明的时候，需要验证叶子节点中键的正确性，并且对证明中的节点列表进行自底向上的哈希操作，最后比对树根的值即可。

动态 | 基于区块链的Mesh应用落地 有望解决共享单车乱停放问题:根据证券日报消息，日前在“2018区块链创新应用论坛”上，出现了很多基于无线网络、蓝牙传播的Mesh万物互联的区块链应用。目前Mesh技术正在共享单车停放、区块链水表等多个项目上进行试水。MTCMesh相关负责人表示：“采用Mesh后，可以设定一个停车母桩，并根据实际情况来设定母桩周围多少米是停车区。如果用户不在这个停车区内停车，就无法把车锁上，会持续计费。”[2018/8/30]

▲?性能瓶颈

上文提到以太坊是以节点的哈希值作为数据库存储节点的键，这些节点的存储与区块号或交易并没有任何绑定关系，并且散落在整个状态空间中的，那么随着交易量的增大，状态变迁带来的新节点也会增多，数据存储压力会越来越大。

由于以太坊底层采取的是leveldb存储，对于每个键值的读取最坏情况下需要一次磁盘IO，那么在执行合约的时候，将会有大量的时间耗费在状态的读取中，久而久之系统整体的性能会越来越差。

当下主流数据库一般分为两种：以LSM树为主的数据库例如leveldb、rocksdb；还有以B+树为主的数据库例如mysql。相同条件下B+树的读要比LSM树更有效率，在联盟链场景下，我们知道大部分应用场景都是读多写少，那么针对联盟链，能不能基于B+树来提出一种既能实现数据证明，又可以兼顾到读写性能的方法呢？答案是肯定的，我们提出了一种默克尔B+树的结构，结合了B+树以及默克尔树的特点，降低了查询所需的磁盘IO以及存储的数据量，在保持高性能的同时，还能提供数据证明、数据可验证的功能。

国美将区块链技术应用在零售方面:据国美零售方面介绍，目前国美已进入全面数字化时代，经营数字门店是国美“一号工程”，而公司对区块链技术和去中心化技术一直在做研究。国美零售相关负责人接受采访时表示：“国美共享零售经营模式，以及员工美店零售战略非常符合区块链去中心化的模型体系，员工美店也是国美希望搭建的一个新渠道。[2018/4/14]

▲?什么是默克尔B+树？

B+树是一种n叉的平衡查找树，所有键值对都会按键值的大小顺序存放在最后一层叶子节点中，父节点会记录其连接的子节点的最小键值，方便索引。

默克尔B+树以B+树为基础，包含了两种节点：处于最后一层的数据节点、索引节点，该树具有以下的特点：

1）每个节点会有一个ID；

2）索引节点的子节点列表中存放了子节点的最小键以及哈希值；

3）数据节点的子节点列表存放的是状态数据键值对；

4）每个节点的哈希值由它的子节点列表总和的哈希值得出；

如上图，将状态数据以键值对的形式存入数据节点，每个节点最后会以页的形式存放到磁盘中，为了更适应磁盘的读写策略，规定每个页大小为4K，这样就可以通过计算出页ID*页大小的偏移量从磁盘读取某个节点。

同样我们规定每个节点最多容纳4K的数据，如果某个数据节点插入太多键值对，导致其超过了4K的阈值，将会产生分裂，变为多个不超过阈值的新数据节点，并把对应的新节点信息插入到原父节点的子节点列表中，再递归检查父节点即索引节点是否超过阈值，如果超过将会重复分裂过程。

这里我们会提供一个最大页ID以及空闲ID列表来管理页ID，当新建了一个节点时，会先去空闲ID列表查询一下是否存在满足条件的ID，有则取出来分配给新节点，否则会把最大页ID分配给新节点，并递增最大页ID。有分配自然就会有回收，当节点A分裂为节点B和节点C时，节点A的页ID就会被回收，纳入到空闲ID列表中。当发现某个节点变为空节点时，也会被回收页ID。

由于默克尔B+树在每个节点都存储了哈希值，每次对状态数据的增删改查，都会造成底层数据节点的变动，进而影响从数据节点到根节点路径上的节点哈希值，最后生成出唯一的“世界状态”。

在生成数据证明时，同样是沿着树根，通过键的比对向下索引，并把索引路径上的节点打包成证明返回即可。验证数据证明的时候，可以在数据证明中的节点路径进行同样的索引操作，验证索引路径的一致性，并且进行节点哈希值的正确性校验，最后比对树根的值即可。

▲?优化思路

根据上文来看，默克尔B+树确实可以实现较高的读写效率以及可验证性，但是还有很大的优化空间，基于此，我们打算从优化磁盘读的角度提出优化思路。

对于节点限制在4K大小这点，可以有效提高节点分叉数，降低树高，进而降低磁盘IO次数，但是仍然需要log(n)次的磁盘IO，为了最大化降低IO次数，我们把索引节点与数据节点分开存储为索引文件和数据文件。索引节点中可以认为只存放了键，因此索引文件远远小于数据文件，把索引文件通过mmap的形式维护在内存中，这样对底层的数据的读取只需要数据文件的一次磁盘IO即可，大大提升了读效率，在联盟链读多写少的场景下具有较大的优势。

本文是存储系列推文的延续，主要阐述了区块链中数据证明的实现。

首先介绍了对状态数据做数据证明的背景需求，并以以太坊为例，详细介绍其状态数据存储结构MPT，阐述了在MPT上数据证明以及验证的实现，并进一步分析了以太坊的性能瓶颈。

针对联盟链读多写少的场景，本文提出了一种以默克尔B+树为基础的解决方案，解释了在默克尔B+树上的数据证明以及验证的实现，并且为了进一步提高性能，提供了优化思路，通过索引与数据分离的方式来完善可用性。

作者简介

郑柏川趣链科技基础平台部区块链存储研究小组

参考文献

?https://github.com/ethereum/go-ethereum

https://en.wikipedia.org/wiki/Merkle_tree

标签：区块链ETAHASHMPT区块链技术的特点MetaMask钱包官网indaHashAMPT价格

酷币热门资讯