区块见闻 区块见闻
Ctrl+D收藏区块见闻

DAL:Medalla 测试网网络动荡始末_ANIME价格

作者:

时间:

编者注:2020年8月15日,Medalla测试网出现了验证者参与率的大幅下降,起因是Prysm客户端默认使用Cloudflare公司的roughtime服务来较准节点的本地时间,但当时的roughtime服务出了错,导致所有Prysm节点的本地时间都快了4个小时,如此一来,Prysm节点就与使用其它客户端的节点隔绝开来了。

事发之后,Prysm客户端团队迅速推出了紧急修复并密切跟踪事态。但Medalla测试网仍因为各种原因而继续动荡,无法敲定epoch。事实上,事发之后,截至发文之时,Medalla测试网仅在北京时间2020年8月20日凌晨曾敲定区块,随后验证者参与度又降到了66%以下,未能敲定区块。

事实虽然令人不安,但它恰好提供了一个我们审视Eth2网络、审视节点行为的机会——绝不应放过这样的审视和反思的机会,否则我们仍有可能重蹈覆辙。

我们选择了多份材料,尝试多角度、多层次地复现完整的事实、囊括尽可能多不应被忽略的因素。诚然,我们缺乏能观察到去中心化网络全局情形的上帝之眼,认知的深度必定有其边界,但我们仍然希望,对陷入混沌的网络的恢复过程和参与者在此过程中的激励因素,能有一个完整的描述。到目前为止,这个目标还未实现。

第一份材料,来自Prysm客户端工程师prestonvanloon.eth在推特上对事件的报告。

Medalla测试网全局性故障初探

phil.eth:

ETH2.0测试网Medalla目前无法敲定区块,因为Prysm客户端的roughtime时钟同步出了问题。目前已经有了修复方案。请Prysm用户更新并重启你们的客户端。这一突发情况再次表明了客户端多样性以及测试网的重要性。

prestonvanloon.eth:

今天早些时候,Prysm出现了全局性故障,持续时间将近90分钟。本次事件的始末如下:

世界协调时17:30左右,@terencechain发现其客户端的时钟提前了4小时。很快,出现时钟偏移报警,discord频道也被大量用户报告淹没。

BitGo曾在Alameda破产前拒绝其赎回3000枚WBTC的请求:12月15日消息,BitGo首席执行官Mike Belshe在Twitter Spaces表示,BitGo在Alameda Research破产前拒绝了其赎回价值5000万美元WBTC的请求。Belshe表示,在11月11日Alameda申请破产前几天,该公司的一名代表联系了BitGo,要求将3000枚WBTC(约合5000万美元)兑换为比特币。他称该赎回请求不同寻常,因为它来自BitGo之前没有接触过的Alameda代表。BitGo熟知持有WBTC的每家公司的所有操作人员。

与此同时,Alameda的代表没有通过安全验证程序,也不熟悉WBTC销毁流程。WBTC仪表板显示这笔赎回仍在等待中,因此WBTC目前超额抵押了3000枚BTC。BitGo目前持有202,255枚BTC,而流通中的WBTC为199,238枚。(The Block)[2022/12/15 21:46:06]

Prysm客户端确实出了问题。

Medalla测试网上的验证者参与度骤降,其下降速度甚至超越了$YAM的归零速度,从75%降至5%以下。PrysmaticLabs团队立即展开了紧急行动。

我们决定将软件改成默认禁用roughtime时钟同步,取而代之的是可选择的功能切换。这样可以防止此类问题再次大规模爆发。从现在开始,roughtime的结果将仅供客户端软件参考,不再用于自动时钟校准。

下图是Prysm节点出现超过2秒的时钟偏移的时间段,从北京时间凌晨1:30至3:00持续了大约90分钟。

-图片来源:@prestonvanloon.eth-

现在,我们正看着这个数据思考一个问题“roughtime服务器怎么会偏差这么大?”数据显示,所有Prysm服务器报告的偏移量都在0.1秒不到。最后为什么会提前4小时??

-图片来源:@prestonvanloon.eth-

NFT沉浸式链游Untamed Planet完成2430万美元融资:5月5日消息,基于元宇宙和 NFT 概念的 3D 沉浸式游戏 Untamed Planet 完成 2430 万美元融资,本轮融资由 Animoca Brands 领投。

据悉,作为合作的一部分,Untamed Planet 和 Animoca Brands 将开发并共同发行元宇宙游 Untamed Metaverse,Animoca Brands 子公司 Nway 将会为这款游戏提供开发支持。(venturebeats)[2022/5/5 2:52:51]

我们还在调查这个问题!肯定是roughtime的增量计算出了bug,我们希望能尽快找到它。无论调查结果如何,我们认为应该将自动时间校准作为可选项,甚至彻底取消掉。

欢迎阅读完整的事后调查报告,了解最新的调查进展。

在主网上线之前,测试网就是用来发现这类问题的。面对这种情况,多几个客户端选择对用户更为有利。

原文链接:

https://twitter.com/preston_vanloon/status/1294392007599652865

作者:?prestonvanloon.eth

翻译&校对:?闵敏?&?阿剑

编者注:第二份材料来自Prysm客户端团队的分析报告,有详尽的时间线记录。从中我们可以知晓Prysm客户端发布紧急修复的整个过程,以及紧急修复带来的连带影响。截至本译稿发表之时,该分析报告表示已经找到了故障的具体原因。值得一提的是,报告原文所用的都是UTC时间,我们一律转换成了北京时间。

“roughtime”事件分析报告

作者:Terence、Raul、Preston

状态:等待决议。根本原因已找到,问题已缓解。

网络:Medalla

Forte提议与BitDAO、Alameda等投入5亿美元构建GameFi孵化DAO Game7:10月29日消息,区块链游戏平台Forte和Magnus Ventures在BitDAO论坛提出关于投入5亿美元构建区块链游戏生态加速器DAO计划Game7的提案,其中,除Forte外,Game7合作伙伴还包括BitDAO、Alameda Research和Mirana。提议的所有权初始分配中,BitDAO占据69%至79%,Forte占据9%至19%,社区合作伙伴占据最多20%,Mirana和Alameda Research各占据1%。Game7将加速区块链技术在游戏行业的采用,投资区块链游戏公司,并提供赠款计划以发展开源生态系统。

该提案由 Forte 战略合作伙伴 Ronen Kirsh 和 Magnus Ventures 普通合伙人 Jon Allen 提出。[2021/10/29 6:19:25]

总结:Cloudflare的roughtime服务器全都返回错误信息,而Prysm节点并没有采取适当的应急措施。这个bug导致所有Prysm节点出现时钟偏移。在时钟偏移的影响下,验证者为超前的slot提议区块并生成见证消息。

影响:由于roughtime响应错误以及出现时钟偏移,验证者计算slot错误,提议的区块和生成的见证消息均无效。这个问题影响到了全局参与度。在北京时间凌晨1:30至2:45之间,所有Prysm节点都受到了影响。

根本原因:来自Cloudflare服务器的roughtime响应出错。具体来说,是因为“ticktock”报告了一个24小时之后的时间。这个时间戳,再经过所有6个服务器的数据取平均值,是的所有Prysm节点都产生了4小时的时间调整。

解决方案:在我们评估roughtime响应错误所引发的潜在问题时,先将roughtime时钟同步设为可选项。

发现:Terence最先发现了这个问题。他注意到一个本地信标链节点一直在拒绝超前的区块和见证消息。几分钟之后,由于roughtime时钟偏移量较高,产生了报警。同时,#general和#bug-report频道的用户开始报告本地节点拒绝超前区块和见证信息的问题。

动态 | 腾讯御见:警惕Medusalocker勒索变种攻击企业,中被勒索1比特币:据腾讯御见威胁情报中心监测,Medusalocker勒索病在国内有部分感染,该病出现于2019年10月,已知该病主要通过钓鱼欺诈邮件及垃圾邮件传播。该病早期版本加密文件完成后添加扩展后缀.encrypted,最新传播病版本加密文件后添加.ReadTheInstructions扩展后缀。由于病使用了RSA+AES方式对文件进行加密,在未得到作者手中的RSA私钥时,暂无解密工具。攻击者会向受害者勒索1BTC(比特币),市值约6.5万元。[2019/11/6]

经验教训

哪里出了问题

我们误以为,对于roughtime服务器故障的问题,我们有适当的应急方案。

网络中的每个Prysm节点同时受到影响,导致验证者参与率大幅降低。

PrysmaticLabs团队原以为,NTP服务器本身较为分散,而且每个服务器都开放6个端口,不会出现全局故障的问题。

万幸的是

一位贡献者已经向我们提交了一个PullRequest,把roughtime时间校准设为可以选择退出的功能。

我们已经可以用命令行功能标签立即选择取消roughtime时钟校准,这让修复措施变得简单,而且只需一次PullRequtest就能验证。

用户在Discord上积极参与讨论。当节点出现问题时,有大量用户提供了详细报告和重要指标。

我们有一个持续不断的重同步机制,当它发现时钟偏移量超过2秒时,它会不断更新节点本地的时间。我们一直在重新校准roughtime时钟,以便更快解决这一问题。这可能让这次事件提前了大约30分钟至1小时结束。

roughtime时钟同步问题似乎在大约90分钟后就解决了,而且在我们能够紧急发布新版本前,这个事件就已经结束了。

时间线

动态 | Medici Ventures投资区块链初创公司PeerNova:根据10月22日的新闻稿,Overstock的风险投资部门Medici Ventures投资了区块链初创公司PeerNova,该公司为金融机构开发基于区块链的解决方案,以便在多个系统之间同步数据。PeerNova表示已经筹集了3100万美元的成长资金,由现有投资者Mosaik Partners牵头,Medici Ventures和Intuitive Venture Partners参与。本轮融资使募集的资金总额达到7400万美元。(cointelegraph)[2019/10/23]

2020/08/15

1:25AM:Terence发现他的本地节点由于一直拒绝超前区块,收到了大量报警。这些区块的slot都超前了4个多小时。

1:28AM:Prometheus监控报警系统收到了roughtime偏移量高的报警。那时,距离网络最后一次敲定区块过去了10epoch。

1:35AM:至少有30名用户在Discord频道表示他们开始收到下方报警:WARNroughtime:Roughtimereportsyourclockisoffbymorethan2secondsoffset=4h0m0.028854657s

1:43AM:Terence在#war-room频道群发了告警消息,称这是一个PS0级别的事件,需要大家共渡难关。

1:45AM:Discord频道的用户提出,重启信标链节点和验证者客户端无法暂时解决这个问题。最可行的方案是将roughtime时钟同步设为可选禁用的功能。

1:51AM:问题上升到了多客户端聊天室

1:52AM:Ivan完成了https://github.com/prysmaticlabs/prysm/pull/6898

2:00AM:Terence与512位验证者一起在本地测试了6898号PullRequest。

2:20AM:据已捕获的调试日志显示,“ticktock”服务器有段时间一直在报告24小时之后的时间。

2:27AM:Raul联络了Preston。Preston将在1小时内回来构建新版本。同时,我们将发布docker镜像。

2:40AM:Preston指出只靠紧急修复还不够,我们需要取消将roughtime时钟同步作为默认项。

2:42AM:Raul开始调查Kibana,并使用fluentd中的filter分析来自roughtime的调试日志响应。

2:43AM:Terence交叉检查了信标链命名空间中所有pod的kubectl日志。正如预期的那样,pod确实存在roughtime时钟偏移问题。

2:46AM:Raul向6898号PR提交了正确的修复程序。

3:05AM:Raul确认该修复程序可以让节点在本地工作。如果存在时钟偏移,修复程序会产生告警日志,但是不会试图基于roughtime服务器更新时间。

3:08AM:Terence在我们的discord频道向所有人宣布:“Prysm节点出现roughtime响应错误,应急措施没有达到预期效果。我们已经找到了故障所在,很快就会进行紧急修复,并在1小时内上线新版本。在即将发布的新版本中,roughtime时钟同步将不再是默认项。”

3:18AM:Buildkite单元测试、规范测试、docker镜像构建成功。e2e测试尚未完成。Preston准备启动上线流程。

3:22AM:新版本生成:https://github.com/prysmaticlabs/prysm/commit/d24f99d66db22691b69c76bc57c7509e7f3ba8fe。Terence确认这个方法可以修复其验证者节点。Preston开始使用新的docker镜像依次重启我们的有状态集合中的pod。集群验证者会基于新的镜像进行更新。

3:34AM:Docker镜像被标记成alpha21版本,稳定性好,二进制文件已经构建完成

3:34AM:对有状态集合中pod的健康状态进行监控,确保滚动更新成功

3:36AM:使用新的docker镜像对我们的验证者pod进行滚动启动。

4:29AM:在日志上查看返回的延时值。平均来看,这些值似乎都在0.1秒以下。延迟不是调查的关键指标。准确来说,“中点”才是需要研究的地方。注:下表时间是太平洋标准时间。https://kibana.prylabs.network/goto/e5f5f64a4426c85aee1d76abc2d994be

-图片来源:@prestonvanloon.eth-

5:32AM:查看高于2秒的偏移量。从该数据中可以看出,在长达90分钟的全局故障期间,Prylabs出块节点的偏移量大约是14000秒。注:下表时间是太平洋标准时间。https://kibana.prylabs.network/goto/6ce2d73c13c0eef600b604fee6d8f4f4

-图片来源:@prestonvanloon.eth-

4:41AM:通过Prometheus报警系统关于平均偏移量的数据,我们可以明显看出在北京时间凌晨1:30至2:45之间确实存在时钟偏移问题,之后偏移量开始下降并恢复正常。

4:52AM:即时调查结束。这次时钟偏移故障显然已经结束,而且修复程序已经发布。已经更新的节点将立即恢复,还没有更新的节点需要过段时间恢复。监控系统显示,验证者参与度在逐步回升。

6:20AM:用户报告说罚没保护机制已经启动。这是因为之前的时钟偏移导致验证者超前4小时提议区块并生成见证消息。为了避免遭到罚没,Prysm验证者没有继续提议无效区块。

8:13AM:再次故障

8:13AM:Nishant注意到6898号PR中存在严重缺陷。只有在roughtime功能标记开启的情况下,用户才能设置它的功能。

8:16AM:Preston更新了“最新的”二进制文件,使其指向alpha20版本来实现临时回滚,并建议用户回滚至alpha20版本。我们现在正在等待合并7004号PR作为alpha22版本的候选。

8:45AM:值班团队正在评估是否扩大热状态缓存的大小,以便alpha22版本能够更快让网络重新开始敲定区块。当前默认的热状态缓存大小为8个epoch,但是Medalla测试网距离上一次敲定区块已经过去了将近100个epoch。

9:12AM:值班团队决定将默认缓冲大小更新至64epoch,并使其可以通过功能标记来配置。经过初步测试,这有可能会使内存使用量增加1.5G。等网络重新开始敲定区块后,缓冲大小还可以调整。

9:57AM:所有PrysmaticLabs验证者节点都生成了会被罚没的见证消息。紧急修复程序删除了Prylabs验证者节点的本地存储。没有任何外部的罚没保护机制在运行。具体情形尚待确认……在1024名验证者中,至少有800名验证者已经或即将遭到罚没。

10:37AM:多名用户报告称无法同步区块链。目前的问题是,网络中有太多节点在同一时间进行同步。Alpha22版本被推迟,需要等待进一步通知。

10:46AM:Prylabs团队认为现在最好的办法就是等待。用户应该运行alpha20版本或最新的docker镜像。

2020/08/16

2:12AM:正在对同步难的问题进行调查。

11:36AM:Nishant和Victor发布初始同步修复程序。参见PullRequest7012。

2020/8/17

1:51AM:合并拉取7012号PR。一些用户报告说同步成功。PrysmaticLabs开始将7012部署到出块节点上。

5:15AM:从commit0be1957c2897909b943b80fdd028f5346ae6cde6开始开发Alpha.22版本

5:33AM:Alpha22版本发布。链接:https://github.com/prysmaticlabs/prysm/releases/tag/v1.0.0-alpha.22

5:40AM:通过Discord频道宣布Alpha22版本上线。Prysmatic的值班团队继续监控同步情况,以便进行优化。与此同时,越来越多用户同步至最新区块。

12:53AM:Alpha23版本上线,已在Discord频道宣布该消息。Alpha23版本包含一些同步修复程序,有望解决Medalla测试网的问题。建议用户在运行时开启“--dev”标记,以便获得更好的体验。

原文链接:

https://docs.google.com/document/d/11RmitNRui10LcLCyoXY6B1INCZZKq30gEU6BEg3EWfk/edit#

作者:?PrysmaticLabs

翻译&校对:?闵敏?&?阿剑

标签:IMESTODALMATANIME价格storj币值得投资吗ADALCremation Coin

比特币行情热门资讯
EFI:Filecoin动作频频,太空竞赛一触即发!_DEFI

2020年,Filecoin重回大家的视野,关注度不断提高,频频成为“热点”新闻。8月19日,Filecoin官方发布最新消息:FilecoinTestnet奖励计划将于8月25日正式开启.

STO:库币上线DMM Ecosystem(DMG)!_ATIC

亲爱的库币用户: 我们很高兴的宣布,作为库币将上线另一个DeFi项目DMMEcosystem(DMG)并支持交易对DMG/USDT.

LABS:关于上线IDEX及其交易的公告_SIRIN LABS

尊敬的EXX用户:? ????您好!根据市场的情况及用户的建议,EXX将于香港时间2020年8月20日16:00开放SPA的充提业务.

以太坊:多头贪婪值上升,一周来回震荡中我们来看看谁是赢家?_BTC

币圈启明灯:多头贪婪值上升,来回震荡中我们来看看谁是赢家?一周以来,数字货币数据又经历了近期以来的大行情波动,首先是周一白天经历了平稳发展,晚间多头发力,大盘暴涨至12448最高点.

以太坊:证券时报:采用区块链系统 形成独具中国特色的数字货币_ETH

国际清算银行2019年一项调查报告显示,80%的中央银行表示设立中央银行数字货币项目,10%的中央银行准备在三年内发布数字货币.

LOOP:韩国旅游热点要求使用COVID-19区块链应用_我朋友做区块链被捉了怎么办

韩国旅游岛试图通过区块链技术保持开放和安全。济州岛是韩国南部的一个岛屿,是韩国人最受欢迎的旅游胜地之一,每年约有1500万游客.