Bitget App
Trade smarter
行情交易合约跟单策略理财Web3

Crust Network 系统优化:提升链上计算效率与文件存储功率处理(文末含福利)

PolkaWorldPolkaWorld2024/08/21 11:51
作者:PolkaWorld

文末有福利!点击试试看?

Crust Network 最近在优化其网络底层结构方面取得了显著进展,为更高效、更强大的去中心化存储基础设施奠定了基础。这些优化不仅提高了链上计算效率,还简化了文件存储功率(spower)的处理,使 Crust Network 在去中心化存储领域处于领先地位。通过将复杂计算转移到链下处理并利用零知识证明等前沿技术,Crust Network 不仅紧跟去中心化网络的需求,还在积极塑造多链生态系统的发展未来。


接下来,我们将深入探讨 Crust Network 底层基础设施中实施的技术优化。这些优化旨在提高计算效率,同时有效缓解状态爆炸的挑战。通过改进工作报告的处理方式和简化存储功率计算,Crust Network 显著减少了区块链上的计算负担,确保了更具扩展性和弹性的网络。


本文将深入介绍这些技术改进如何提升 Crust 生态系统的整体性能和稳定性,使其能够支持不断增长的去中心化应用及各类区块链生态系统。


Crust Network 在第二季度完成了链上系统的设计优化,主要关注以下两项改进:

1. sworker 工作报告的批量聚合处理。

2. 将文件存储功率的计算移至链下进行批量处理,然后在链上进行批量更新。

以下是这些优化的详细描述:


1. 工作报告的批量聚合处理


当前问题

在之前的链上逻辑中,sworker 节点提交的每份工作报告都会遍历报告中的每个新增文件和删除文件,调用 market pallet 的 upsert_replica 和 delete_replica 方法来更新 FilesV2 链上存储数据。


目前,一份工作报告可以包含最多 300 个新增文件和 300 个删除文件,每个文件处理平均涉及 4 次数据库读写操作。这意味着一份工作报告可能导致多达约 2400 次数据库读写操作。鉴于当前网络上有超过 1600 个 sworker 节点,每个节点在每个报告槽(600 个区块)内的 400 个区块内提交一次报告,每个区块平均有 4 个报告,峰值期间每个区块可能涉及近 10,000 次数据库读写操作。


由于之前的链上计算逻辑,工作报告限制为每份报告最多 300 个新增文件和 300 个删除文件,以防止消耗过多的节点计算资源并避免区块拥塞。然而,随着 sworker 节点数量的持续增加,这可能很容易导致瓶颈。


优化方案

基于当前报告逻辑和数据分析,发现时间相近提交的工作报告通常包含大量重叠文件,这为批量聚合优化提供了机会。


在实施过程中,在处理工作报告时进行数据验证,以确保工作报告的合法性。新增文件和删除文件的具体处理会在达到一定数量或时间间隔后排队并批量处理。


经过批量聚合处理后,单份工作报告的数据库读写操作次数从最多约 2400 次减少到不到 100 次,减少了约 97%。


这也显著减少了 FilesV2 数据结构的读写操作。如果一个文件在批量报告中出现 N 次,原本需要处理 N 次,现在只需处理一次。进一步优化将单个文件的数据库读写操作从 4 次减少到 2 次。


此优化显著减少了链上工作报告的计算资源,为未来逐步增加每份报告中新增文件和删除文件的限制奠定了基础。同时,这也大大提高了网络中 sworker 节点的理论最大数量。


2. 文件存储功率的链下批量计算


当前问题

在之前的链上逻辑中,所有文件存储功率的计算都是在链上进行的,由 market.calculate_rewards 交易触发。该交易逻辑相当复杂,涉及计算和更新文件存储功率值,还包括处理文件清算、关闭和续约。


calculate_rewards 交易一次处理一个文件。当前链上有超过 260 万个文件,更新所有文件面临以下几个问题:


  • 更新所有文件将花费极长的时间。

  • 需要发起大量交易,消耗大量链上计算资源和 Gas 费用。

  • 更新一个文件的存储功率值需要更新与该文件相关的所有副本的存储功率值,每个文件平均有 40-50 个副本。更新一个文件的存储功率值涉及约 100 次数据库读写操作,消耗大量资源。


鉴于这些问题,之前的链上逻辑将文件存储功率的生效时间设定为 3 个月,这降低了激励,因为矿工需要等待 3 个月才能看到存储功率的实际增加。这种激励反馈的延迟降低了矿工存储文件的积极性。


优化方案


在分析链上交易数据和存储数据后,实施了以下优化:


  • 链下计算:将资源密集型的存储功率计算逻辑移至链下。

  • 增量更新:链下监控文件修改情况,仅对副本发生变更的文件计算并更新存储功率值。由于大部分文件在稳定后副本变更频率较低,因此无需每次更新所有文件。

  • 批量聚合处理:不同文件的副本相关矿工节点之间存在一定重叠。批量聚合后,在链上更新一批文件的存储功率将显著减少数据库读写操作。


通过这些优化,文件存储功率更新的效率将大大提高,将原来的 3 个月生效时间缩短至 1 天(实际生效时间将基于经济和反作弊考虑进行设置)。这种及时的激励反馈将显著增强矿工存储文件的积极性。


3. 确保存储功率值更新的可信度


文件存储功率值直接影响矿工的质押限额及其质押奖励。因此,存储功率值的准确和可信更新至关重要。在新的优化方案中,文件存储功率的计算移至链下,需要采取相应措施确保其可信度:


  • 乐观挑战:类似于以太坊 Layer2 Rollup 的乐观挑战机制,文件存储功率计算可以采用类似的方法。如果挑战者(通常是矿工)对节点的存储功率值提出质疑,可以提交详细的验证和计算数据,启动争议解决流程。如果挑战被证明正确,则相关交易或状态可以被撤销或更新,挑战者将获得奖励。如果挑战不正确,挑战者将受到惩罚。目前,我们将在后续更新中使用乐观挑战方案。

  • 零知识证明:零知识证明领域发展迅速,一批成熟的产品和框架正在涌现,例如 risc0。这些 zkEVM/zkVM 产品可以显著降低链下可信计算和链上可信验证的开发成本。


未来,Crust 将继续监控和验证此类 zkVM 产品,并计划使用 zk 框架重写链下存储功率计算模块,并在 Crust 主网上进行 zk 验证,以确保存储功率值的可信更新。


此外,随着 zk 产品的逐渐成熟和稳定,Crust 将考虑将运行在矿工节点上的 sworker 程序从 TEE 技术过渡到 zk 技术。这一变化可以降低矿工节点的服务器配置成本和复杂性,并增加服务器选择的多样性。随着更多进展和计划的推出,Crust 将单独发布相关信息。


总结

总体来说,这次优化升级为 Crust Network 带来了几个关键的好处:


显著的性能提升:

通过批量处理工作报告,数据库读写操作次数从最多 2400 次减少到不到 100 次,降低了约 97% 的计算负担。这意味着系统在处理大量文件时可以更高效地运行,减少因过多数据库操作导致的性能瓶颈。


增强的扩展性:

减少计算资源的消耗为网络扩展铺平了道路。随着 sworker 节点数量的增加,这种优化确保网络可以支持更多节点,而不会因资源有限而遇到瓶颈。因此,Crust Network 的理论最大节点数量显著增加。


更高效的操作:

对于用户,尤其是矿工和节点运营者,这意味着他们可以处理更多的文件和报告,而无需担心资源消耗过多或网络拥堵。这种改进提高了系统的响应速度和整体效率,增加了矿工的积极性并改善了用户体验。


巨大的未来潜力:

这些优化不仅提高了当前系统的效率,还为未来逐步增加每个工作报告中新增文件和删除文件的数量限制奠定了基础。这意味着用户和开发者可以处理更大规模的数据集,而无需担心性能下降。


增加矿工激励:

通过将文件存储功率的生效时间从 3 个月缩短至 1 天,矿工可以更快地获得奖励。这种及时的激励反馈显著增强了矿工存储文件的积极性,鼓励更多矿工参与网络。


降低矿工的运营成本:

计算资源的减少和 Gas 费用的降低直接降低了矿工的运营成本,提高了他们的经济效率。这使得矿工能够在较少的投资下获得更大的收益。


总之,Crust Network 不仅在优化其底层系统以提升性能和可扩展性,还战略性地将这些改进与 Crust 的长期发展路线图对齐。这些基础优化使 Crust 更接近其成为领先去中心化存储基础设施的目标。


多年来,Crust 不仅限于波卡生态系统。我们已扩展到支持广泛的以太坊 Layer 2 解决方案,包括 Arbitrum、Optimism、Polygon、Base、Zksync 等。通过推出 EthDA 协议,Crust 利用 EIP-4844 等创新技术来促进高效的数据发布,解决以太坊上高 Gas 成本和潜在的拥堵问题。展望未来,我们即将推出专为 TON 生态打造的存储协议和工具。每一个这些举措都是 Crust 提供强大去中心化存储解决方案的重要组成部分,覆盖了多个区块链生态系统。


这些努力体现了 Crust 致力于创新和多轨道存储解决方案的尝试,每一个都旨在满足不同区块链生态系统的独特需求。随着我们不断进化,Crust Network 将继续坚定不移地追求成为去中心化存储的中坚力量,为不断增长的 Web3 生态系统提供可扩展、高效和适应性强的解决方案。


另外,庆祝《黑神话:悟空》上线,Crust 抽取4 份游戏作为福利送给社区成员!只需要转推 + 关注 Crust 推特账号 @CrustNetwork 即可。36H 开奖!Crust 支持所有有梦想的团队,我们相信 Crust 也会在不断打磨下走向成功!


https://x.com/CrustNetwork/status/1825779272751132947


Crust 是一个去中心化的云存储网络,利用区块链技术提供安全、高效和可扩展的数据存储解决方案。Crust 旨在成为数据层基础设施,专注于数据存储、数据可用性和数据智能。(Crust aims to be the data layer infrastructure, focusing on Data Storage, Data Availability, and Data Intelligence.)


⬇️ 试用免费的 Web3 个人云存储,Crust Files (crustfiles.io):



官网:

https://crust.network/ 

Wiki:

https://wiki.crust.network/

Twitter:

@CrustNetwork @CommunityCrust

Medium:

https://medium.com/@crustnetwork

GitHub:

https://github.com/crustio

Telegram:

https://t.me/CrustNetwork

中文社区 Telegram:

https://t.me/Cruchinese

Discord:

https://discord.gg/prkGRTeMGN


0

免责声明:文章中的所有内容仅代表作者的观点,与本平台无关。用户不应以本文作为投资决策的参考。

PoolX:质押赚新币
CEC、QTLX、GDV等热门新币火热进行中!
立即质押!

你也可能喜欢

PeerDAS 将如何改进以太坊的数据可用性?

为了确保数据的高效管理和安全验证,以太坊从 DA 演进到 DAS,最终引入 PeerDAS。

ChainFeeds2024/09/19 09:48