DEFI:科普 | IPFS中MFS以及GC机制_DeFi Wizard

概述

IPFS的介绍在《IPFS文件存储详解》已经详细介绍过，本文主要介绍IPFS中的文件系统MFS以及文件的GC机制。

MFS和传统的文件系统一样使用目录对文件进行管理，区别在于MFS中的目录和文件都有哈希，该哈希由文件内容或者目录下面所有目录以及文件的内容唯一确定，如果目录下面的文件或者目录有变化则该目录的哈希也会变化，所以根据哈希可以判断该文件或者目录下面的内容是否有修改。

文件的GC机制主要介绍IPFS是如何进行文件删除的。

本文所述的IPFS的版本为v0.6.0。

MFS

本版块主要介绍IPFS的文件系统，即文件及目录结构是如何生成、组织和存储。

MFS中文件及目录结构如下图所示，最上层是root目录，表示该文件系统的根目录，所有文件夹以及文件都在该目录下面，MFS中用Root，Directory，File这三种类型分别表示root目录，文件夹，文件。root目录通过link链接到文件夹或者文件，文件夹又通过link链接到文件夹或者文件。

火币推出《一分钟读懂DeFi》系列科普视频:据官方消息，8月24日，火币推出《一分钟读懂DeFi》系列科普视频，并与微博财经合作冠名播出，布道DeFi认知，助力行业发展《一分钟读懂DeFi》是由火币成长学院打造的业内首个系统全面讲解DeFi的系列科普动画，继推出《区块链100问》后的再续佳作。《一分钟读懂DeFi》系列动画对DeFi的发展进行系统梳理，适合想要由浅入深、全面系统了解区块链DeFi的人们轻松了解DeFi。目前视频已由火币网官方微博发布。[2020/8/24]

其中，root目录、文件夹都会存储在IPFS的DAG中进行持久化，另外root目录的CID存储在IPFS内置的LevelDB中，当IPFS启动的时候从LevelDB中取出root目录的CID，然后在IPFS的DAG中取出根目录，最后加载出整个目录结构。

动态 | 链客社区联合北京交通广播推出区块链技术科普节目:12月11日15:15—16:00，区块链技术社区——链客区块链技术社区将联合北京交通广播FM103.9从零开始为大众科普解码区块链技术，蜻蜓FM及北京广播网同期进行全球直播。首期做客嘉宾为链客区块链技术社区创始人郄建军和百度区块链产品负责人于雅楠。[2019/12/11]

下面详细介绍创建文件夹和增加文件的过程：

创建文件夹的过程如下图所示：

1.新建文件夹；

2.将该文件夹的父文件夹添加一条link，link包含该文件夹的Name、CID和Size；

3.调用该文件夹的update函数，通过parent递归更新父级文件夹的状态，逐级向上层文件夹更新，直到更新root结束递归过程。

删除文件夹和创建文件夹类似，只需要unlink和递归update即可。

现场 | 火币中国推出数字经济及区块链产业科普新书:金色财经现场报道，12月6日，由海南省工业和信息化厅主办，南南合作金融中心协办，海南生态软件园、火币中国承办的“海南自贸港数字经济和区块链国际合作论坛”在海口举行，这是全球首次区块链部长级论坛。

在本次论坛上，火币中国举行了“数字经济及区块链产业科普系列新书发布”仪式，希望通过教材、专业教育、培训等多种方式，帮助从业者、高校、研究机构深入了解区块链，从而建立起区块链全局性知识模型，真正推动区块链应用落地。火币中国CEO袁煜明介绍，将联合机械工业出版社面向普通高等教育推出《区块链导论》、《区块链系统设计与应用》和《区块链新商业模式分析》系列教材，这是国内最早推动的区块链教材之一；火币中国还积极参与数字经济的研究，由中信出版社出版的新书《读懂Libra》已经上市；由火币中国负责编写的区块链技术科普读物《区块链技术进阶指南》将于12月面世；首本行业内最全的区块链应用案例集《区块链产业应用100例》在本次论坛进行了首次刊印。[2019/12/6]

动态 | 新浪财经：官媒针对区块链的报道从科普宣传转向打假监管:据新浪财经今日消息，“1025新政”满月，一个月间，官媒对区块链的态度风向已转。据11月初的一项统计，七家党媒在新政一周内发布了65篇直接相关报道，当时文章中的关键词是数据、产业、安全、创新等，大量文章偏向于科普区块链的概念以及应用介绍，提醒警惕虚拟货币炒作的仅有3篇。近期，官媒的批评焦点则纷纷指向借区块链之名进行的虚拟货币发行和炒作行为。据统计，新华网、人民网收录转载的，以打击虚拟货币或揭露假借区块链行为主题的文章，自10月25日到11月25日午间，共28篇；其中，11月19日至11月25日的一周内就高达15篇。这些文章主要围绕三个观点展开：厘清区块链和虚拟货币的关系，说明二者概念不等；打击伪“区块链”局，或是虚拟货币局揭露；提醒民众，区块链不能成为炒作的噱头，更不是行的招牌，需警惕此类活动，理性投资。[2019/11/26]

增加文件的过程如下图所示：

动态 | 浙江卫视节目科普支付宝区块链防伪溯源产品:昨日，在浙江卫视播出的科普综艺栏目《智造将来》现场，支付宝首次展示了支付宝区块链防伪溯源产品，以接地气的方式公开向大众展示区块链在生活中的应用。[2019/3/4]

1.?上传文件

2.将该文件的父文件夹添加一条link，link包含该文件夹的Name，CID和Size；

3.调用该文件的flush函数，通过parent递归更新父级文件夹的状态，逐级向上层文件夹更新，直到更新root结束递归过程。

删除文件和增加文件的过程类似，只需要unlink和flush即可。

文件GC机制

IPFS中删除文件时并不会立即删除掉该文件，而是将该文件的CIDunpin，下次GC的时候则可以真正的删除该文件。

下图是IPFS的配置文件，其中红色部分是GC相关的配置。

StorageMax是存储文件的最大容量，默认是10GB，可以根据项目需要进行修改，当存储的文件超过该最大容量时会有warning，文件还是可以继续存储的。

StorageGCWatermark是GC的阈值，默认是90，即90%，触发GC的阈值容量为10GB*90%=9GB。

另外，GCPeriod是GC的间隔，默认是1h。GC触发的机制是每一个GC间隔时间，触发GC的检查，当存储容量超过阈值时则开始GC，将需要删除的文件或者块进行删除。

文件或者块的Pin模式如下图所示，文件的Pin模式是recursive，即递归Pin文件的所有的块。

如下图所示，pinner是块的GC管理器，其中recursePin是递归的pin的集合，里面存储所有文件的根CID：

每次触发GC时会进行ColoredSet，如下面两张图所示，将所有recursePin中的CID依次遍历，深度遍历该CID所有的links，这些links的CID都会存储到gcs这个集合中：

然后通过bs.AllKeysChan(ctx)可以获得所有的块的CID集合，最后遍历这些CID集合，判断gcs中没有的该CID的块都需要删除掉，具体见下图，从而实现了所有unpin的块GC触发的时候都会删除的效果。

注意：GC的时候会lock，此时上传文件和删除文件都会阻塞，GC需要占用的时间和文件存储量以及删除的文件大小有关系，可以将GC时间固定在每天用户操作最少的时间点，例如每天的凌晨3点，减少用户操作和GC的冲突。

总结

IPFS中MFS提供了一套基于CID的文件系统，目录结构也存储在IPFS的DAG中，目录的树状结构和DAG的结构本身是很类似的，所以将目录结构存储在DAG中巧妙地解决了文件系统目录结构地存储问题，最后只需要存储文件系统的根目录的CID从而可以方便地加载整个文件系统的目录。

IPFS中的文件GC机制目前不是很高效，通常文件存储10GB容量左右时，触发GC可能就需要几分钟到十几分钟的时间，由于IPFS是一个面向公网的一个用户一个IPFS节点的模式，所以该问题对于IPFS项目本身并不明显，但是如果将IPFS的存储以及GC机制作为投产项目使用，则需要对GC机制进行优化，减少GC占用的时间间隔。

另外IPFS本身每隔一段时间触发GC也不是很合理，针对项目的用户使用情况可以将GC触发时间固定在每天的凌晨某个时间，然后每24小时的GC触发间隔也是一种比较简单的解决IPFS的GC冲突问题的办法。

作者简介

姚文豪

来自数据网格实验室BitXMesh团队，数据平台架构师

标签：区块链ROOTDEFDEFI门罗币是什么区块链OneRootCredefiDeFi Wizard

火必热门资讯