您正在查看: Ethereum-优秀转载 分类下的文章

理解账户抽象 - #1

本文提供一个新的视角来理解账户抽象(Account Abstraction)。通过从零开始设计智能合约钱包,你会明白几个简单选择之后,让 EIP-4337 如此复杂的原因。

理解账户抽象 - #1

通过从零开始设计智能合约钱包,你会明白几个简单选择之后,让 ERC-4337 如此复杂的原因。
账户抽象(Account Abstraction)即将完全改变我们与区块链的交互方式。但EIP-4337提出的账户抽象的版本艰难阅读,要理解为什么有这么多的参与者,为什么他们会以这样的方式交互,是一件很困难的事情。

会不会有更简单的东西呢?
在这篇文章中,我将介绍试图设计一个简单的账户抽象的过程,将看到随着我们增加更多的需求和解决出现的问题,我们最终会得到一个复杂度膨胀的东西,并且越来越接近于EIP-4337
这篇文章的目标受众是对智能合约有一定了解,但对账户抽象没有特别了解的人。

因为本文是在探索发明账户抽象的过程,所以会有很多时候,我描述的API或行为与EIP-4337的最终版本不一致。
例如,当我列出一个用户操作的字段时,请不要认为这些是实际的字段。这些字段代表了在最终版本之前对用户操作的第一次尝试性定义。
好了,准备好了吗?我们开始吧。

目标:创建一个能保护我们资产的钱包

为了开始工作,让我们发明一种方法来保护我们最宝贵的资产。我们希望能够用一个单一的私钥来签署大多数交易(就像一个典型的账户),但我们无价的Carbonated Courage NFT 应该只有在我们用第二把私钥签署时才有可能转移,我们会把它锁在由”三头犬“看守的银行保险库里。

这里是第一个问题:

每个以太坊账户要么是智能合约,要么是外部拥有的账户(EOA),其中后者是由链外使用私钥控制的。持有这些资产的账户应该是智能合约还是EOA?
事实上,资产持有者必须是一个智能合约。如果它是一个EOA,那么资产总是可以通过EOA的私钥签署的交易来转移,这就绕过了我们想要的安全性。
因此,与今天的大多数人不同,我们在链上的存在将由一个智能合约来代表,而不是一个EOA,我们将其称为智能合约钱包,或只是一个 "钱包"。
我们需要一种方法来向这个智能合约发布命令,以便它执行我们想要的行动。特别是,我们(从EOA 账户发起)需要能够命令智能合约进行任何形式的转账或调用。
每个希望自己的资产以这种方式得到保护的用户都需要自己的智能合约。不可能有一个大的合约持有多个人的资产,因为生态系统的其他应用假定一个地址代表一个实体。
例如,如果有人想向联合钱包合约中的某人发送NFT,NFT的转移API将只允许发送者指定联合钱包的地址,而不是其中的单个用户。

用户操作

我将部署一个钱包智能合约,它将持有我的资产,钱包需要有一个函数,以便我把我希望它进行的调用的信息传递给它。
这里把代表希望我的钱包执行的行动的数据称为用户操作(User Operation)。
因此,钱包的合约看起来像这样:

contract Wallet {
  function executeOp(UserOperation op);
}

用户操作的内容是什么?

首先,需要所有我们通常会传递给eth_sendTransaction的参数:

struct UserOperation {
  address to;
  bytes data;
  uint256 value; // Amount of wei sent
  uint256 gas;
  // ...
}

除此之外,我们还需要提供一些东西来授权请求 -- 也就是说,钱包将查看一块数据(签名)来决定是否要执行该操作。
对于我们的NFT保护的钱包,对于大多数用户的操作,我们会传递一个主密钥签名的操作部分的数据。
但是,如果用户操作是转移我们超级有价值的 Carbonated Courage NFT,那么钱包将需要我们传递由我们两个密钥各自签署的操作的签名。
我们还将需要有一个nonce,以防止重放攻击,即有人可以重新发送以前的用户操作来再次运行它。

struct UserOperation {
  // ...
  bytes signature;
  uint256 nonce;
}

这实际上已经达到了目的!
只要我的 Carbonated Courage NFT 被这个合约所持有,没有两个人的签名,它就不能被转让。
虽然钱包可以选择如何解释signature和nonce字段,但我希望几乎所有的钱包都使用signature字段来接收某种覆盖所有其他字段的签名,以防止未经授权的各方伪造或篡改操作。同样地,我希望几乎所有的钱包都能拒绝一个它已经使用过的nonce授权操作。

谁调用智能合约钱包?

这里有一个未回答的问题是executeOp(op)如何被调用。如果没有我的私钥的签名,它不会做任何事情,我们可以让任何人尝试调用它,不会有任何安全风险。但我们确实需要人来实际调用,以使操作得以发生。
在以太坊上,所有的交易都必须来自一个EOA,而调用的EOA必须用自己的ETH来支付Gas。
我可以做的是有一个单独的EOA账户,其唯一目的是调用我的钱包合约。虽然这个EOA不会像钱包合约那样有双签名保护,但它只需要持有足够的ETH来支付我的钱包运行所需的Gas,而更安全的钱包合约可以持有我所有的宝贵财产。
因此,我们实际上只用一个相当简单的合约就得到了大部分账户抽象的功能!

用户使用独立EOA调用智能合约的钱包。
我所说的 "钱包合约" 在ERC-4337中被称为 "账户"。我觉得这很让人困惑,因为我认为每个地址都是一个账户。我总是把这个参与者称为 "钱包合约" 或只是一个 "钱包"。

目标:没有单独的EOA

上述解决方案的一个缺点是要求我运行一个单独的EOA账户来调用我的钱包。如果我不想这样做呢?目前,我仍然愿意用ETH支付自己的Gas。我只是不想有两个独立的账户。

我们说过,钱包合约的executionOp方法可以被任何人调用,所以我们可以直接让其他拥有EOA的人帮我们调用它。我将把这个EOA和运行它的人称为 "执行者"。

由于执行者是支付Gas费的人,没有多少人愿意免费做这件事。所以新的计划是,钱包合约将持有一些ETH,作为执行者调用的一部分,钱包将转账一些ETH给执行者,以补偿执行者使用的任何Gas。
"执行者(Executor)" 不是ERC-4337的术语,但它很好地描述了这个参与者的工作。稍后,我们将用ERC-4337使用的实际术语 "捆绑者(bundler)"来代替它,但现在这样做还没有意义,因为我们目前还没有做任何捆绑工作。其他协议也可能把这个参与者称为 "中继者(relayer)"。

第一次尝试钱包在最后向执行者付款

让我们试着保持简单。钱包的接口是:

contract Wallet {
  function executeOp(UserOperation op);
}

我们将尝试修改executeOp的行为,以便在最后,它查看自己使用了多少Gas,并向执行者发送适当数量的ETH来支付它。

执行者调用智能合约的钱包,而不是用户自己的EOA。

第一次模拟

如果我的钱包是值得信赖的,那么这就很好用了!但执行者需要确定钱包真的会支付还款。如果执行者调用executionOp,但钱包并没有真正退还Gas,那么执行者就会承担Gas费的责任。

为了避免这种情况,执行者可以尝试在本地模拟executeOp操作,可能使用debug_traceCall,看看它是否真的得到了Gas的补偿。只有这样,它才会发送实际的交易。

这里的一个问题是,模拟并不能完美地预测未来。钱包在模拟过程中支付Gas,而在交易实际被添加到区块中时却没有这样做,也是完全有可能的。一个不诚实的钱包可以故意这样做,让它的操作免费执行,并为执行者带来巨大的Gas费。

由于以下原因,模拟可能与实际执行不同:

  • 操作可以从存储空间读取,而存储空间在模拟和执行的时候可能会发生变化。
  • 该操作可以使用TIMESTAMP、BLOCKHASH、BASEFEE等操作码。这些操作码从环境中读取信息,并在不同的区块之间发生不可预知的变化

执行者可以尝试的一件事是限制被允许操作什么,比如拒绝任何使用任何 "环境" 操作码的操作。但这将是一个非常苛刻的限制。

请记住,我们希望钱包能够做任何EOA能做的事情,所以禁止这些操作码会阻止太多的合法使用。例如,它将阻止钱包与Uniswap交互,后者广泛地使用TIMESTAMP。

由于钱包的executeOp可以包含任意的代码,而且我们不能合理地限制它以阻止它欺骗模拟,这个问题在目前的接口上是无法解决的。executeOp 是一个复杂的黑盒。

更好的尝试:引入入口点合约

这里的问题是,我们要求执行者从一个不受信任的合约中运行代码。执行者想要的是在一个给予某些保证的背景下运行这些不受信任的操作。这是智能合约的全部目的,所以我们将引入一个新的受信任的(即经过审计、源代码验证的)合约,称为入口(EntryPoint),并给它一个方法,由执行者来代替调用。

contract EntryPoint {
  function handleOp(UserOperation op);

  // ...
}

handleOp 将做以下工作:

  • 检查钱包是否有足够的资金来支付它可能使用的最大数量的Gas(基于用户操作中的Gas字段)。如果没有足够资金,拒绝执行。
  • 调用钱包的executeOp方法(使用适当的Gas),跟踪它实际使用的Gas数量。
  • 将钱包中的一些ETH发送给执行者,以支付Gas费用。

为了使第三个要点发挥作用,我们实际上需要EntryPoint持有支付Gas的ETH,而不是钱包本身,因为正如我们在上一节看到的,我们不能确定我们能够从钱包中获得ETH。因此,入口点还需要一个方法,让钱包(或代表钱包的人)将ETH放入EntryPoint,以支付其Gas,我们将有另一个方法,钱包就可以在想要的时候将其ETH 取回来。

contract EntryPoint {
  // ...

  function deposit(address wallet) payable;
  function withdrawTo(address payable destination);
}

有了这个实现,无论如何,执行者都会得到Gas的退款。

引入经过审计、源代码验证的入口点合约,以确保执行者得到补偿。

这对执行者来说是件好事!但对于钱包来说,这实际上是一个相当大的问题......
钱包难道不应该用自己的ETH而不是存入EntryPoint的ETH来支付Gas吗?是的,它应该! 我们会解决这个问题的,但是在我们有了下一节的变化之前,我们不能这样做,即使这样,仍然需要存款/提款系统。另外,我们以后还需要存款/取款系统来支持付款人。

分离验证和执行

我们之前将钱包的接口定义为:

contract Wallet {
  function executeOp(UserOperation op);
}

这个方法实际上做了两件事:它验证了用户操作(op)是被授权的,然后它实际执行了op所指定的调用。当钱包的主人用自己的账户支付Gas时,这种区别并不重要,但现在我们要求执行者来做这件事,这就很重要了。

我们目前的实现让钱包无论如何都要把Gas费退给执行者。但实际上,如果验证失败,我们不希望钱包付款。
如果验证失败,这意味着没有权力控制钱包的人要求钱包做一些事情。
在此案例中,钱包的executionOp将正确地阻止该操作,但在目前的实现下,钱包仍然要支付Gas。
这是一个问题,因为与钱包没有关系的人可以向该钱包请求进行一堆操作,并耗尽该钱包的所有Gas钱。
相比之下,如果验证成功,但之后的操作失败,那么该钱包应该被收取Gas费。这代表钱包所有者授权了一个行动,但结果却没有成功,就像从EOA中发送一个revert的交易一样,由于他们授权了,所以他们应该负责缴费。

目前的钱包接口只有一个方法,并没有提供区分验证失败和执行失败的方法,所以我们需要把它分成两部分。

我们的新钱包接口将是:

contract Wallet {
  function validateOp(UserOperation op);
  function executeOp(UserOperation op);
}
  • 调用validateOp如果失败,就此停止。
  • 从钱包的存款中留出ETH,用于支付它可能使用的最大数量的Gas(基于op的Gas字段)。如果钱包没有足够的钱,则拒绝。
  • 调用executionOp并跟踪它使用了多少Gas。无论这个调用是成功还是失败,都从我们预留的资金中退还执行者的Gas,并将其余的资金返还给钱包存款。

现在对钱包来说,事情看起来很好! 除了它授权的操作,它不会被收取Gas费。
将验证和执行分开,以区分验证失败和执行失败。

但对于执行者来说,事情看起来又很棘手了......
我们应该确保未经授权的用户不能直接调用钱包的executeOp,导致它未经验证就采取行动。钱包可以通过强制执行executeOp只能由入口点调用来防止这种情况。
另一个问题:为什么一个不诚实的钱包不在validateOp函数中做所有的执行,这样如果执行失败,它就不会被收取Gas?我们马上就会看到,validateOp 将有很大的限制,使其不适合 "真正的" 操作。

再次模拟

现在,当未经授权的用户给钱包提交操作时,该操作将在validateOp中失败,钱包无需支付。但是执行者仍然要为validateOp的链上执行支付Gas,而且不会得到补偿。

不诚实的钱包不能再让他们的操作免费运行,但攻击者仍然可以在任何时候让执行者为失败的操作损失Gas钱。
在前面的模拟部分,执行者先尝试在本地模拟操作,看是否会通过,然后才提交交易,在链上调用handleOp。
我们遇到了问题,因为执行者无法合理地限制执行,以防止它在模拟过程中成功,但在实际交易中失败。

但这次有些不同。
执行者不需要模拟整个执行过程,现在由validateOp和executeOp组成。它只需要模拟第一部分,validateOp,以知道它是否会得到报酬。而且,与executeOp不同的是,executeOp需要能够执行任意的操作,以便钱包能够自由地与区块链交互,我们可以对validateOp施加更严格的限制。

具体来说,除非validateOp满足以下限制,否则执行者将拒绝用户的操作,而不把它发送到链上:

  1. 它从不使用某个禁止列表中的操作码,其中包括TIMESTAMP、BLOCKHASH等代码。
  2. 它访问的唯一存储是钱包的相关存储,定义为以下任何一种:
    • 钱包自己的存储。
    • 对应于钱包的mapping(adress => value)中的插槽另一个合约的存储。
    • 另一个合约在与钱包地址相等的存储槽中的存储(这是一个不寻常的存储方案,在 Solidity 中并不自然出现)。

这些规则的目的是尽量减少验证Op在模拟中成功但在实际执行中失败的情况。
被禁止的操作码是不言而喻的,但这些存储限制可能看起来有点奇怪。

我们的想法是,任何存储访问都代表着虚假模拟的危险,因为存储槽在模拟和执行之间可以改变,但如果我们将存储限制在与这个钱包相关的位置,那么攻击者就需要更新这个钱包的特定存储来伪造模拟结果。我们希望更新这个存储空间的成本足以阻止破坏者的行为。

有了这种模拟,钱包和执行者都是安全的。
这种存储限制还有另一个好处,那就是我们知道对不同钱包的操作调用validateOp不太可能相互干扰,因为它们都能访问的存储是有限的。当我们谈论捆绑时,这将是很重要的。

改进直接从钱包中支付Gas费用

目前,钱包提供ETH购买Gas的方式是先将其存入入口点(EntryPoint),然后才发送用户操作。但一个普通的EOA从自己的ETH储备中支付Gas。我们的钱包能否也这样做?

现在可以做到这一点,因为我们已经将验证和执行分开,因为入口点可以要求钱包向入口点发送ETH作为验证步骤的一部分,否则操作会被拒绝。
我们将更新钱包的validateOp方法,这样入口点就可以要求它提供资金,如果validateOp没有向入口点支付要求的金额,入口点就会拒绝该操作。

contract Wallet {
  function validateOp(UserOperation op, uint256 requiredPayment);
  function executeOp(UserOperation op);
}

由于在验证时我们不知道执行过程中会使用多少Gas,入口点根据操作的Gas字段要求执行可能使用的最大数量。然后在执行结束时,我们要将未使用的Gas钱返回到钱包中。

但这里我们遇到了一个问题。

在编写智能合约时,向任意合约发送ETH是不可靠的,因为这样做会调用该合约上的任意代码,可能会失败,使用不可预测的Gas量,甚至试图对我们进行可重入攻击。所以我们不会直接把多余的Gas钱送回钱包。
相反,我们会扣留它,并允许钱包在以后通过调用提取它来获得它。这就是拉取-支付模式
因此,我们实际上要做的是让多余的Gas钱进入与入金时发送的ETH相同的地方,而钱包可以在以后通过 withdrawTo 将其取出。
事实证明,我们毕竟需要存款/取款系统(或者至少是取款部分)。
这意味着一个钱包的Gas支付实际上可以来自两个不同的地方:EntryPoint持有的ETH,以及钱包自己持有的ETH。
EntryPoint将首先尝试使用存入的ETH来支付Gas,然后如果没有足够的存款,它将在调用钱包的验证Op时要求获得剩余部分。

执行者激励机制

目前,作为一个执行者是一项不容易的任务。他们需要运行大量的模拟,没有任何利润,有时当他们的模拟被伪造时,还被迫自掏腰包买Gas。
为了补偿执行者,我们将允许钱包所有者在他们的用户操作中提交一个小费,这个小费将交给执行者。

我们将在用户操作中添加一个字段来表达这一点:

struct UserOperation {
  // ...
  uint256 maxPriorityFeePerGas;
}

与普通交易中类似的字段一样,maxPriorityFeePerGas表示发送方愿意支付的费用,以使其操作得到优先处理。
执行者在发送其交易以调用入口点的handleOp时,可以选择一个较低的maxPriorityFeePerGas,并将其中的差额收入囊中。

入口点作为单例

我们谈到了入口点应该是一个可信的合约,以及它的作用。你可能会注意到,关于入口点没有任何东西是特定于钱包或执行者的。因此,入口点可以是整个生态系统中的一个单例。所有的钱包和所有的执行者都将与同一个入口点合约交互。

这确实意味着我们需要调整用户的操作,以便他们也指定他们是为哪个钱包服务的,这样当操作被传递给入口点的handleOp时,入口点将知道要求哪个钱包进行验证和执行。

让我们更新一下:

struct UserOperation {
  // ...
  address sender;
}

不在需要单独的EOA

我们的目标是创建一个链上钱包,支付自己的Gas,而其所有者不需要管理一个单独的EOA,现在我们已经实现了这个目标!
我们所拥有的是一个具有以下接口的钱包:

contract Wallet {
  function validateOp(UserOperation op, uint256 requiredPayment);
  function executeOp(UserOperation op);
}

我们还有一个区块链范围内的单例入口,接口为:

contract EntryPoint {
  function handleOp(UserOperation op);
  function deposit(address wallet) payable;
  function withdrawTo(address destination);
}

当钱包所有者想要执行一个动作时,他们制作一个用户操作(UserOperation),并在链外要求一个执行者为他们处理。
执行者在这个用户操作上模拟钱包的validateOp方法,以决定是否要接受它。
如果它接受,执行者将发送一个交易到入口点,调用handleOp。
然后入口点处理验证和执行链上的操作,之后从钱包的存款中向执行者退还ETH。
耶!
这是一个很大的问题,但我们做到了!

插曲:捆绑

在我们进入下一个大功能之前,让我们花点时间做一个令人惊讶的简单优化。

到目前为止,我们已经实现了,执行者发送一个交易来执行一个用户操作。但现在我们有了一个不只绑定在一个钱包上的入口合约,我们可以通过从不同的人那里收集一堆用户操作,然后在一个交易中全部执行,从而节省一些Gas。

这种对用户操作的捆绑,将通过不重复支付固定的21,000 的交易费用,以及降低执行冷存储访问的费用(在一个交易中多次访问同一存储,在第一次之后会更便宜)来节省Gas。

需要的修改少得令人耳目一新。
我们将取代:

contract EntryPoint {
  function handleOp(UserOperation op);

  // ...
}

用这个:

contract EntryPoint {
  function handleOps(UserOperation[] ops);

  // ...
}

基本上就是这样了:

在一个交易中捆绑并执行一堆用户操作。

新的handleOps方法或多或少做了你所期望的事情。

  • 对于每个操作,在操作的发送者钱包上调用验证Op。任何验证失败的操作都会被丢弃。
  • 对于每个操作,在操作的发送者钱包上调用executeOp,跟踪我们使用了多少Gas,然后将ETH转给执行者以支付这些Gas。

这里需要注意的是,我们首先执行所有的验证,然后才执行所有的执行,而不是验证和执行每一个操作后再进入下一个操作。
这对于保护模拟是很重要的。

如果在handleOps过程中,我们在验证下一个操作之前先执行一个操作,那么第一个操作的执行将能够自由地扰乱第二个操作的验证所依赖的存储,并导致其失败,即使第二个操作在模拟时通过验证。
按照类似的思路,我们希望避免出现一个操作的验证会扰乱捆绑中的后一个操作的验证的情况。
只要这个捆绑中不包括同一个钱包的多个操作,我们实际上就可以容易实现这个,因为上面讨论的存储限制:如果两个操作的验证不接触相同的存储,它们就不会相互干扰。为了利用这一点,执行者将确保一个捆绑包最多包含一个来自任何特定钱包的操作。
对执行者来说,有一件好事是,他们有了新的收入来源。
执行者有机会通过在捆绑物中安排用户操作(也可能插入他们自己的操作),以一种有利可图的方式获得一些最大可提取价值(MEV)。
现在我们有了捆绑,我们可以不再把这些参与者称为 "执行者",而开始用他们真正的名字,捆绑者来称呼他们。
为了与ERC-4337的术语保持一致,我将在本系列的其余几篇文章称他们为捆绑者,但实际上我发现 "执行者"在我的头脑中是一个很好的方式,因为它强调他们的工作是通过从EOA发送交易来实际启动链上执行。

捆绑者作为网络参与者

我们有一个设置,钱包所有者向捆绑者提交用户操作,希望将这些操作包含在一个捆绑中。这与普通交易的设置非常相似,账户所有者将交易提交给区块构建者,希望将这些交易包含在区块中,所以我们可以从一些相同的网络架构中受益。

就像节点在mempool中存储普通交易并将其广播给其他节点一样,捆绑者可以在mempool中存储经过验证的用户操作,并将其广播给其他捆绑者。捆绑者可以在与其他捆绑者共享之前验证用户操作,从而节省了彼此验证每个操作的工作。

捆绑者也可以通过成为区块构建者而受益,因为如果他们可以选择他们的捆绑物所包含的区块,他们可以减少甚至消除操作在模拟成功后执行过程中失败的可能性。此外,区块构建者和捆绑者可以通过了解如何提取MEV来获得类似的好处。

随着时间的推移,我们可能会期望捆绑者和区块构建者合并成同一个角色。

耶! 已经探索很多了

到目前为止,我们已经弄清楚了如何创建一个智能合约钱包来保护我们最宝贵的资产,以及如何依靠一个执行者,或捆绑者,代表我们调用这个智能合约钱包。

继续阅读
接下来,我们会继续探索 sponsored 交易、钱包创建和聚合签名。
转载:https://learnblockchain.cn/article/5426

以太坊迈向full sharding的第一步,EIP-4844全面解析

简单概括,KZG Ceremony 是实现 EIP-4844 不可绕过的一个初始化环节,而 EIP-4844 是实现以太坊sharding过程中的先行版本。

一、Sharding: 以太坊扩容的长久之计

  • Sharding 从数据可用性角度扩容,而 rollup 主要从执行层面扩容,一起缓解主网拥堵问题;我认为sharding 可能是突破区块链不可能三角的一次尝试。
  • 下面这张以太坊区块大小的走势图可以从另一个角度说明数据层面扩容的必要性。从创世区块开始,以太坊从底层架构到上层应用都在不断地快速迭代,但平均区块大小仍为 90Kb 左右,最高点也没有质的突破。虽然Rollup从计算层切入,解决以太坊拥堵问题,但性能仍然受制于layer 1的数据存储能力。
  • 由于实现过程的复杂度和安全性考虑,以太坊开发团队将 sharding 分成了多个阶段,其中就包括最近提到的 proto-danksharding 和 danksharding 。整个过程将会是一个历时数年的更新;
  • 在目前的以太坊的数据存储模式下,只有少数特定高配置的机器可以加入网络成为节点,而 full sharding 之后 ethereum 不再需要每个节点都保存全部数据,在降低主网数据存储成本的同时加强了安全性(成为节点的门槛降低,去中心化程度进一步提升,同时降低被攻击的风险)。

二、EIP-4844: 短期高回报,Sharding的精简先行版

EIP-4844 = Proto-Danksharding;
Proto来自以太坊研究者的名称

由于实现 danksharding(下一节会分析)的复杂度很高,开发周期至少是以年为单位的。因此 proto-danksharding 是实现 danksharding 前对以太坊的扩容方案,主要实现了 danksharding 中的交易格式、precompile 等设计;

1. Proto-danksharding概述

Proto-Danksharding 主要引入了一种新的 transaction type,也就是 blob-carrying transaction。至此,Rollup 的数据通过blob 的形式以更低的成本向layer 1传输,并作非永久存储。同时,blob 远大于现在的 calldata,可以更好地支持 rollup 上的高TPS。

关于blob:

  • 每个transaction最多挂2个 blob;
  • 每个block理想状态包含8个 blob,约为1MB,最多包含16个 blob,约为2 MB;
  • Blob 不需要像calldata一样作为 history log 被永久存储;
  • 相比 danksharding,节点还是需要对完整的 DA进行验证。

2.Blob-carrying transaction解读

给transaction挂上blob(数据单元)

作用

参考Vitalik在提案中给出的图,Data blob 和当前的 calldata 相似,rollup 可以将交易、证明等数据通过blob上传到 layer 1 来保证 data availability。

成本

Data blob 的设计初衷是支持 rollup 高通量的交易,相比同等大小的 calldata(使用链上存储),blob 的成本将会降低很多(不需要永久存储)。因此,rollup 在维持数据可用性上花费的gas相比之前会显著降低。

容量

每个blob的大小约为125kB(fact: 当前平均block size只有~90kB)。

3. Blob-carrying transaction的价值和挑战

价值

可以把blob看成一种缓存,rollup 提交的交易数据从此以缓存的形式存在。降低对存储硬件的要求,为以太坊提供额外的数据扩容并降低 gas 成本。

挑战:对以太坊节点硬件性能的要求

Ethereum 当前平均区块大小只有~90kB,但是一个 blob 就有~125kB
根据 EIP-4844 的设计,每个slot正常情况下约为1 MB,因此每年增加的数据量为:
1 MB/block 5 block/min 43200 min/month * 12 month/year = 2.47 TB per year
每年增加的数据大小远超过了以太坊数据总量,这样的存储方案显然是不高效的。

解决方案

从短期扩容效果看,由于每个节点仍然需要储存全量历史数据,在实现 EIP-4844 的同时,对一段时间窗以外的 blob(具体的 limit time 还没有最终确定,可能是1个月或是1年)进行自动删除;

从 sharding 的长期利益看,实现EIP-4444,即节点不需要存储全量历史数据,而是只需要参照 history expiry,存储特定时间之后的数据;
这两种解决方案从不同程度上缓解了 blob-carrying transaction 在存储空间上的 tradeoff。

4. KZG Commitment

KZG Commitment是EIP-4844中采用的多项式承诺方案

解析 KZG commitment

KZG 是作者 Aniket Kate, Gregory M. Zaverucha和Ian Goldberg 姓氏的缩写,他们在2010年发表了多项式承诺方案论文“Constant-Size Commitments to Polynomials and Their Applications” ,并且这个方案在plonk-style的zk-snark协议中有很广泛的应用。

参考 Dankrad Feist 演讲中的示意图,KZG root 类似 Merkle root,区别在于 KZG root 承诺一个多项式,即所有 position 都在这个多项式上。基于 proto-danksharding 的场景,KZG root 承诺了一堆数据,其中的任何一个数据都可以被验证属于这个整体。

这也是为什么KZG commitment 在兼容性上对后面实现 DAS 更友好。

KZG commitment 的流程如下:

  • Prover:提供证明,计算 data 的 commitment,prover 无法改变给定的多项式,并且用于证明的commitment 只对当前这一个多项式有效;
  • Verifier:接收 prover 发送的 commitment value 并进行验证,确保 prover 提供了有效的证明。

KZG Commitment 的优势

我认为主要出于对成本和安全性的思考,可以归纳但不局限于以下几点:

成本
  • KZG commitment具备快速验证、复杂度相对更低、简洁的特点;
    • 不需要提交额外的proof,因此成本更低、更省 bandwidth;
  • 数据触达所需的 Point evaluation precompile可以获得更低的成本。
安全

假设出现了failure,也只会影响 commitment 对应的 blob 中的数据,而不会其他深远的影响。

更兼容

纵观sharding的整体方案,KZG commitment 对D AS 方案兼容,避免了重复开发的成本。

5. KZG Ceremony(trusted setup)

KZG Ceremony 是为KZG Commitment 提供 trust setup,目前吸引了超过20,000 participants 的参与和贡献,已经成为历史上最大规模的 trust setup。

最近社区参与热情高涨的KZG Ceremony就是为EIP-4844采用的KZG commitment提供trust setup;

KZG Ceremony的流程


参考Vitalik的流程图,任何人都可以作为participants贡献secret并与之前的结果进行混合产生一个新的result,以此类推,通过套娃的形式获得最终的SRS,并协助完成KZG commitment的trust setup

trust setup
  • EIP-4844中采用了一种常见的multi-participant trust setup,即powers-of-tau;
  • 遵循1-of-N 可信模型,不管多少人参与generating setup的过程,只要有一个人不泄漏自己的生成方式,可信初始化就是有效的;
必要性
  • KZG commitment的trust setup可以简单理解为:生成一个在每次执行cryptographic protocol时需要依赖的一个参数,类似于zk-snark需要可信初始化;
  • Prover在提供证明时,KZG commitment C = f(s)g1。其中f是评估函数,s就是KZG trusted setup最终获得的final secret;
  • 可以看出final secret是生成多项式承诺的核心参数,而作为获取这个核心参数的可信流程,这次KZG Ceremony对于整个sharding的实现非常重要。

6.EIP-4844带来的变化

Rollup

参考ethresear上给出的示意图,rollup需要将state delta、KZG commitment的versioned hash包含在calldata中进行提交(zk-rollup还需要提交zk proof)

可以发现不同的是,calldata只包含一些数据量小的,比如state delta、KZG commitment,而将包含大量交易数据的transaction batch放到了blob里。

  • 有效降低成本,放calldata里很贵;
  • 降低对区块空间的占用

安全性

  • Data availability: Blob存储在信标链上,等同于layer 1的安全性;
  • 历史数据:节点不会只会将blob存储一段时间,需要layer 2 rollup做永久数据存储,因此安全性依赖于rollup。

成本

Proto-Danksharding引入了新的交易类型,低成本数据格式blob的加入无疑会让rollup的成本进一步降低,取决于实际链上应用和实现进展,优化后rollup的成本可能降低x10甚至x50;

同时EIP-4844引入了blob fee;

  • Gas和blob将会分别有可调节的gas price和limit;
  • Blob的收费单元还是gas,gas amount随traffic变动,以此维持每个block平均挂8个blob的目标(限制额外增加的数据量)

Precompile的实现

Blob中的数据本身无法被直接触达,EVM只能获取data blob的commitment。因此需要rollup提供precompile来验证commitment的有效性.
下面分析两种EIP-4844中提到的precompile算法

Point evaluation precompile(对数学原理感兴趣参考vitalik的解析)
  • 证明多个 commitments 指向同一数据;
  • 主要针对 zk-rollup,rollup需要提供2种 commitments: 1. KZG commitment; 2. zk-rollup 本身的commitment;
  • 对于 optimistic rollup,大多数已经采用了multi-round fraud proof的机制,final round fraud proof 所需的数据量较小。因此,采用 point evaluation precompile 能达到更低的成本
Blob verification precompile
  • 证明 versioned hash 和blob 是有效对应的;
  • optimistic rollup 在提交欺诈证明时需要 access 全量数据,因此先验证 versioned hash 和 blob 合法,再进行fraud proof verification

三、Danksharding: 迈向full sharding的重要一步

Danksharding 的命名来自以太坊研究员Dankrad Feist

1. 扩容:进一步扩充Rollup的缓存空间

在proto-danksharding 实现后,由于新的交易格式引入了 blob,每个区块可以平均额外获得1MB的缓存空间。Danksharking 实现后,每个区块额外16MB,最大允许32MB。

2. Data availability:存储和验证策略更高效

相比proto-danksharding要求全节点下载全量数据,Danksharking 实现后以太坊节点只需要对blob抽样。Sampling 后的数据会分布在全网节点中,并可以组成完成的data blob。

DAS:高效抽样检查

通过纠缠码(erasure coding)帮助全网节点在下载部分数据的情况下更容易发现原始数据的丢失的概率,从而提升安全性

3.安全性:基本不变

由于每个节点不再保存全量历史数据,从数据可用性、备份和抽样检查的角度出发,安全性由至少一个节点保存全量数据变为多个节点存储部分数据,并最终还原完整数据。

虽然乍一看对单点的依赖安全性远高于对多点的依赖,但是以太坊网络中的节点数量够多,完全可以保证数据备份的需求,因此安全性并不会有很大变化。

4. 新的挑战:对 block builder 的要求提升

虽然验证者不需要下载并保留全量历史数据,对 bandwidth 和存储硬件的要求得到了缓解,但是区块创建者仍然需要上传包含全量 transaction data 的 blob 数据。


这里简单介绍一下 PBS(proposer/builder separation),参考 Dankrad 给出 PBS 在 danksharding 方案中的应用图:
将负责出块负责人的角色拆分为 proposer和 builder。最初是为了做anti-MEV设计的提案,在danksharding 的设计中为了降低区块创建时对bandwidth的要求。

四、其他sharding方案:Shardeum的动态分片

Shardeum 是 EVM 兼容的 layer 1公链, 与以太坊的 static sharding 方案不同,shardeum 通过dynamic state sharding的方案提升底层可扩展性和安全性,同时,天然地保证较高的去中心化程度;

1. Dynamic state sharding

优势

Dynamic state sharding 带来最直观的优势在于linear scaling,接入网络的节点可以非常高效的被sharding 算法动态分组,并快速响应,提升区块链网络的 TPS。在 dynamic state sharding 的设计中,每个节点会覆盖不同 range 的 address ,并且覆盖范围又会有冗余设计以保证高效的 sharding 和安全性。

场景内实现

抛开生态的复杂度,单从两种技术实现的角度看,dynamic state sharding 的难度大于 static sharding。可以看出Shardeum的技术团队在 sharding 的技术层面有很深的积累,团队之前在 Shardus technology上的研发也对这条公链的底层技术做出了很大贡献,甚至在项目早期阶段很好的展示了dynamic state sharding 所带来的 linear scaling。

2. Shardeum综合归纳

产品

将节点划分到不同的group,参考 divide and conquer 的思路,把计算和存储的 workload 进行分流,从而允许更高程度的并行处理。因此,可以容纳更多节点加入,进一步提升公链的 throughput 和去中心化程度。

团队

市场经验丰富,叙事能力超强,对动态分片研究很深。

技术

针对自己的场景设计了合适的sharding方案( dynamic state sharding )和共识的设计( Proof of Stake+ Proof of Quorum ),以提升可扩展性为第一目标,保证更高程度的去中心化和安全性。

进度

将在2023-02-02 launch betanet,值得关注。

五、对sharding的思考和展望

  • Sharding 是以太坊扩容的长久之计,也是一个价值巨大、意义深远的长期方案。实现 sharding 的过程中,现有所有方案都可能被不断迭代,包括现在提到的 proto-danksharding、danksharding 等,值得持续关注;
  • 对 sharding 大方向的理解很重要,但是每一个实现 full sharding 过程中的提案所采纳的技术方案(PBS、DAS、multidimensional fee market)同样值得关注,并且我相信也会涌现很多相关的优秀团队和项目;
  • Sharding 是对一种扩容技术的统称,但具体落地的方案并不是只有一种。需要认识到不同的公链会有适合自己场景的sharding方案。比如danksharding中的一些设计也只适合以太坊网络,安全性的tradeoff需要大量的节点来抵消;
  • Sharding 和其他扩容方案的合理结合对于可扩展性的提升1+1>2。目前的 Danksharding 并不是自成一派的扩容方案,而是和以太坊生态的其他实现相辅相成的。比如 Danksharding 和 rollup 一起,为以太坊扩容达成更好的效果。

Reference

https://notes.ethereum.org/@dankrad/kzg_commitments_in_proofs
https://notes.ethereum.org/@dankrad/new_sharding
https://vitalik.ca/general/2022/03/14/trustedsetup.html
https://notes.ethereum.org/@vbuterin/proto_danksharding_faq#Why-use-the-hash-of-the-KZG-instead-of-the-KZG-directly
https://ethresear.ch/t/easy-proof-of-equivalence-between-multiple-polynomial-commitment-schemes-to-the-same-data/8188
https://dankradfeist.de/ethereum/2020/06/16/kate-polynomial-commitments.html
https://notes.ethereum.org/@dankrad/new_sharding
https://eips.ethereum.org/EIPS/eip-4844
https://www.eip4844.com/
https://biquanlibai.notion.site/Data-Availability-caa896aae59d489b98f2448f17b01640
https://docs.google.com/presentation/d/1-pe9TMF1ld185GL-5HSWMAsaZLbEqgfU1sYsHGdD0Vw/edit#slide=id.g1150d91b32e_0_474
https://ethresear.ch/t/a-design-of-decentralized-zk-rollups-based-on-eip-4844/12434
原文链接:https://mp.weixin.qq.com/s/45y2L25XwZBVHKzMsAxxrA
转载:https://learnblockchain.cn/article/5359

合约安全 - 选择器碰撞

这一讲,我们将介绍选择器碰撞攻击,它是导致跨链桥 Poly Network 被黑的原因之一。在2021年8月,Poly Network在ETH,BSC,和Polygon上的跨链桥合约被盗,损失高达6.11亿美元。这是2021年最大的区块链黑客事件,也是历史被盗金额榜单上第2名,仅次于 Ronin 桥黑客事件。

选择器碰撞

以太坊智能合约中,函数选择器是函数签名 "()" 的哈希值的前4个字节(8位十六进制)。当用户调用合约的函数时,calldata的前4字节就是目标函数的选择器,决定了调用哪个函数。如果你不了解它,可以阅读WTF Solidity极简教程第29讲:函数选择器

由于函数选择器只有4字节,非常短,很容易被碰撞出来:即我们很容易找到两个不同的函数,但是他们有着相同的函数选择器。比如transferFrom(address,address,uint256)和gasprice_bit_ether(int128)有着相同的选择器:0x23b872dd。当然你也可以写个脚本暴力破解。

大家可以用这两个网站来查同一个选择器对应的不同函数:

  1. https://www.4byte.directory/
  2. https://sig.eth.samczsun.com/

你也可以使用下面的Power Clash工具进行暴力破解:

  1. PowerClash: https://github.com/AmazingAng/power-clash

相比之下,钱包的公钥有256字节,被碰撞出来的概率几乎为0,非常安全。

漏洞合约例子

漏洞合约

下面我们来看一下有漏洞的合约例子。SelectorClash合约有1个状态变量 solved,初始化为false,攻击者需要将它改为true。合约主要有2个函数,函数名沿用自 Poly Network 漏洞合约。

  1. putCurEpochConPubKeyBytes() :攻击者调用这个函数后,就可以将solved改为true,完成攻击。但是这个函数检查msg.sender == address(this),因此调用者必须为合约本身,我们需要看下其他函数。

  2. executeCrossChainTx() :通过它可以调用合约内的函数,但是函数参数的类型和目标函数不太一样:目标函数的参数为(bytes),而这里调用的函数参数为(bytes,bytes,uint64)。

    contract SelectorClash {
     bool public solved; // 攻击是否成功
    
     // 攻击者需要调用这个函数,但是调用者 msg.sender 必须是本合约。
     function putCurEpochConPubKeyBytes(bytes memory _bytes) public {
         require(msg.sender == address(this), "Not Owner");
         solved = true;
     }
    
     // 有漏洞,攻击者可以通过改变 _method 变量碰撞函数选择器,调用目标函数并完成攻击。
     function executeCrossChainTx(bytes memory _method, bytes memory _bytes, bytes memory _bytes1, uint64 _num) public returns(bool success){
         (success, ) = address(this).call(abi.encodePacked(bytes4(keccak256(abi.encodePacked(_method, "(bytes,bytes,uint64)"))), abi.encode(_bytes, _bytes1, _num)));
     }
    }

攻击方法

我们的目标是利用executeCrossChainTx()函数调用合约中的putCurEpochConPubKeyBytes(),目标函数的选择器为:0x41973cd9。观察到executeCrossChainTx()中是利用_method参数和"(bytes,bytes,uint64)"作为函数签名计算的选择器。因此,我们只需要选择恰当的_method,让这里算出的选择器等于0x41973cd9,通过选择器碰撞调用目标函数。

Poly Network黑客事件中,黑客碰撞出的_method为 f1121318093,即f1121318093(bytes,bytes,uint64)的哈希前4位也是0x41973cd9,可以成功的调用函数。接下来我们要做的就是将0x41973cd9转换为bytes类型:0x6631313231333138303933,然后作为参数输入到executeCrossChainTx()中。executeCrossChainTx()函数另3个参数不重要,都填 0x 就可以。

Remix演示

  1. 部署SelectorClash合约。
  2. 调用executeCrossChainTx(),参数填0x6631313231333138303933,0x,0x,0x,发起攻击。
  3. 查看solved变量的值,被修改为ture,攻击成功。

总结

这一讲,我们介绍了选择器碰撞攻击,它是导致跨链桥 Poly Network 被黑 6.1 亿美金的的原因之一。这个攻击告诉了我们:

  • 函数选择器很容易被碰撞,即使改变参数类型,依然能构造出具有相同选择器的函数。
  • 管理好合约函数的权限,确保拥有特殊权限的合约的函数不能被用户调用。

转载:https://mirror.xyz/wtfacademy.eth/5rwcsBZzphdlKZj4MoIpn8aqwQ1MzQ8qy50ZEGNU_HU

接收ETH receive和fallback

回调函数

Solidity支持两种特殊的回调函数,receive()和fallback(),他们主要在两种情况下被使用:

  • 接收ETH
  • 处理合约中不存在的函数调用(代理合约proxy contract)

我们这一讲主要介绍接收ETH的情况。

接收ETH函数 receive

receive()只用于处理接收ETH。一个合约最多有一个receive()函数,声明方式与一般函数不一样,不需要function关键字:receive() external payable { ... }

receive()函数不能有任何的参数,不能返回任何值,必须包含external和payable。

当合约接收ETH的时候,receive()会被触发。receive()最好不要执行太多的逻辑因为如果别人用send和transfer方法发送ETH的话,gas会限制在2300,receive()太复杂可能会触发Out of Gas报错;如果用call就可以自定义gas执行更复杂的逻辑(这三种发送ETH的方法我们之后会讲到)。

我们可以在receive()里发送一个event,例如:

// 定义事件
event Received(address Sender, uint Value);
// 接收ETH时释放Received事件
receive() external payable {
    emit Received(msg.sender, msg.value);
}

有些恶意合约,会在receive()函数嵌入恶意消耗gas的内容,使得一些退款合约不能正常工作:Akutar NFT项目因此被永久锁定了11539 ETH,接近2亿元!因此写包含退款等逻辑的合约时候,一定要注意这种情况。

回退函数 fallback

fallback()函数会在调用合约不存在的函数时被触发。可用于接收ETH,也可以用于代理合约proxy contract。fallback()声明时不需要function关键字,必须由external修饰,一般也会用payable修饰,用于接收ETH:fallback() external payable { ... }。

我们定义一个fallback()函数,被触发时候会释放fallbackCalled事件,并输出msg.sender,msg.value和msg.data:

// fallback
fallback() external payable{
    emit fallbackCalled(msg.sender, msg.value, msg.data);
}

receive和fallback的区别

receive和fallback都能够用于接收ETH,他们触发的规则如下:
触发fallback() 还是 receive()?

           接收ETH
              |
         msg.data是空?
            /  \
          是    否
          /      \
receive()存在?   fallback()
        / \
       是  否
      /     \
receive()   fallback()

简单来说,合约接收ETH时,msg.data为空且存在receive()时,会触发receive();msg.data不为空或不存在receive()时,会触发fallback(),此时fallback()必须为payable。

receive()和payable fallback()均不存在的时候,向合约发送ETH将会报错。

总结

这一讲,我介绍了Solidity中的两种特殊函数,receive()和fallback(),他们主要在两种情况下被使用,他们主要用于处理接收ETH和代理合约proxy contract。

转载:https://mirror.xyz/wtfacademy.eth/EroVZqHW1lfJFai3umiu4tb9r1ZbDVPOYC-puaZklAw

Solidity ABI编码解码

ABI (Application Binary Interface,应用二进制接口)是与以太坊智能合约交互的标准。数据基于他们的类型编码;并且由于编码后不包含类型信息,解码时需要注明它们的类型。

Solidity中,ABI编码有4个函数:abi.encode, abi.encodePacked, abi.encodeWithSignature, abi.encodeWithSelector。而ABI解码有1个函数:abi.decode,用于解码abi.encode的数据。这一讲,我们将学习如何使用这些函数。

ABI编码

我们将用编码4个变量,他们的类型分别是uint256, address, string, uint256[2]:

uint x = 10;
address addr = 0x7A58c0Be72BE218B41C608b7Fe7C5bB630736C71;
string name = "0xAA";
uint[2] array = [5, 6];

abi.encode

将给定参数利用ABI规则编码。ABI被设计出来跟智能合约交互,他将每个参数转填充为32字节的数据,并拼接在一起。如果你要和合约交互,你要用的就是abi.encode。

 function encode() public view returns(bytes memory result) {
     result = abi.encode(x, addr, name, array);
 }

编码的结果为

0x000000000000000000000000000000000000000000000000000000000000000a0000000000000000000000007a58c0be72be218b41c608b7fe7c5bb630736c7100000000000000000000000000000000000000000000000000000000000000a00000000000000000000000000000000000000000000000000000000000000005000000000000000000000000000000000000000000000000000000000000000600000000000000000000000000000000000000000000000000000000000000043078414100000000000000000000000000000000000000000000000000000000

由于abi.encode将每个数据都填充为32字节,中间有很多0。

abi.encodePacked

将给定参数根据其所需最低空间编码。它类似 abi.encode,但是会把其中填充的很多0省略。比如,只用1字节来编码uint类型。当你想省空间,并且不与合约交互的时候,可以使用abi.encodePacked,例如算一些数据的hash时。

 function encodePacked() public view returns(bytes memory result) {
     result = abi.encodePacked(x, addr, name, array);
 }

编码的结果为

0x000000000000000000000000000000000000000000000000000000000000000a7a58c0be72be218b41c608b7fe7c5bb630736c713078414100000000000000000000000000000000000000000000000000000000000000050000000000000000000000000000000000000000000000000000000000000006

由于abi.encodePacked对编码进行了压缩,长度比abi.encode短很多。

abi.encodeWithSignature

与abi.encode功能类似,只不过第一个参数为函数签名,比如"foo(uint256,address)"。当调用其他合约的时候可以使用。

 function encodeWithSignature() public view returns(bytes memory result) {
     result = abi.encodeWithSignature("foo(uint256,address,string,uint256[2])", x, addr, name, array);
 }

编码的结果为

0xe87082f1000000000000000000000000000000000000000000000000000000000000000a0000000000000000000000007a58c0be72be218b41c608b7fe7c5bb630736c7100000000000000000000000000000000000000000000000000000000000000a00000000000000000000000000000000000000000000000000000000000000005000000000000000000000000000000000000000000000000000000000000000600000000000000000000000000000000000000000000000000000000000000043078414100000000000000000000000000000000000000000000000000000000

等同于在abi.encode编码结果前加上了4字节的函数选择器。

abi.encodeWithSelector

与abi.encodeWithSignature功能类似,只不过第一个参数为函数选择器,为函数签名Keccak哈希的前4个字节。

function encodeWithSelector() public view returns(bytes memory result) {
    result = abi.encodeWithSelector(bytes4(keccak256("foo(uint256,address,string,uint256[2])")), x, addr, name, array);
}

编码的结果为

0xe87082f1000000000000000000000000000000000000000000000000000000000000000a0000000000000000000000007a58c0be72be218b41c608b7fe7c5bb630736c7100000000000000000000000000000000000000000000000000000000000000a00000000000000000000000000000000000000000000000000000000000000005000000000000000000000000000000000000000000000000000000000000000600000000000000000000000000000000000000000000000000000000000000043078414100000000000000000000000000000000000000000000000000000000

与abi.encodeWithSignature结果一样

ABI解码

abi.decode

abi.decode用于解码abi.encode生成的二进制编码,将它还原成原本的参数。

function decode(bytes memory data) public pure returns(uint dx, address daddr, string memory dname, uint[2] memory darray) {
    (dx, daddr, dname, darray) = abi.decode(data, (uint, address, string, uint[2]));
}

我们将abi.encode的二进制编码输入给decode,将解码出原来的参数:

总结

在以太坊中,数据必须编码成字节码才能和智能合约交互。这一讲,我们介绍了4种abi编码方法和1种abi解码方法。

转载自:https://mirror.xyz/wtfacademy.eth/jXJnvwkoQzvJaqVIxagxneSZim6Qxm-StuNNxLuKuw8