背景

当Solana 新增外部数据节点，开始同步后，前期的区块数据缺失

测试配置

./agave-validator --ledger "$TESTNET_DIR"/rpc-explorer --identity "$TESTNET_DIR"/rpc-explorer/identity.json --only-known-rpc --full-rpc-api --no-voting --log "$TESTNET_DIR"/rpc-explorer/rpc-val.log --log-messages-bytes-limit 104857600 --known-validator Hk42DsKjJxHufjRnzXMWD32... --allow-private-addr --enable-rpc-bigtable-ledger-storage --enable-rpc-transaction-history --rpc-port 8888 --entrypoint 172.18.39.93:8001

测试节点信息

测试查询

curl http://172.18.34.76:8894/ \
  -X POST \
  -H "Content-Type: application/json" \
  --data '{"jsonrpc": "2.0","id":1,"method":"getBlock","params":[1000, {"encoding": "jsonParsed"}]}'

返回

{"jsonrpc":"2.0","error":{"code":-32001,"message":"Block 1000 cleaned up, does not exist on node. First available block: 214204"},"id":1}

查询214203，与上面结果相同

查询214204

curl http://172.18.34.76:8894/ \
  -X POST \
  -H "Content-Type: application/json" \
  --data '{"jsonrpc": "2.0","id":1,"method":"getBlock","params":[214204, {"encoding": "jsonParsed"}]}'

正常返回数据

{"jsonrpc":"2.0","result":{"blockHeight":214202,"blockTime":1733728218,"blockhash":"99HZhuvyp2MN61eo2PzCmEuhNavaThR6ZU1aX6qeNqXf","parentSlot":214203,"previousBlockhash":"GcwivEHrdh7EDc72LayQqaEkYHDgPuRaEmbVEXSS7JdX",...}

分析

当前配置下，新起的节点只保存最新的区块，并没有从起始位置同步，与以太坊节点逻辑不同

跟进代码

先看下错误信息触发的逻辑
rpc/src/rpc.rs

pub async fn get_block(
        &self,
        slot: Slot,
        config: Option<RpcEncodingConfigWrapper<RpcBlockConfig>>,
    ) -> Result<Option<UiConfirmedBlock>> {
        if self.config.enable_rpc_transaction_history {

fn check_slot_cleaned_up<T>(
        &self,
        result: &std::result::Result<T, BlockstoreError>,
        slot: Slot,
    ) -> Result<()> {
        let first_available_block = self
            .blockstore
            .get_first_available_block()
            .unwrap_or_default();
        let err: Error = RpcCustomError::BlockCleanedUp {
            slot,
            first_available_block,
        }
        .into();
        if let Err(BlockstoreError::SlotCleanedUp) = result {
            return Err(err);
        }
        if slot < first_available_block {
            return Err(err);
        }
        Ok(())
    }

当开启enable_rpc_transaction_history时，查询get_block/get_block_time，当前查询的slot 小于get_first_available_block时，则代表已被清理

/// Blockstore 账本中第一个完整的区块
    pub fn get_first_available_block(&self) -> Result<Slot> {
        let mut root_iterator = self.rooted_slot_iterator(self.lowest_slot_with_genesis())?;
        let first_root = root_iterator.next().unwrap_or_default();
        // 如果第一个根是 slot 0，则它是创世。创世总是完整的，因此将其作为第一个可用返回是正确的。
        if first_root == 0 {
            return Ok(first_root);
        }
        // 否则，root-index 0 处的块永远无法完成，因为它缺少其父块哈希。必须根据前一个
        // 块的条目计算父块哈希。因此，第一个可用的完整块是root-index 1 处的块。
        Ok(root_iterator.next().unwrap_or_default())
    }

从代码分析，当前新起的节点应该是从cluster获取了快照，快速同步了state数据，为了精简本地存储，区块数据并没有同步

节点配置

总结

默认情况下，当您启动 RPC 节点时，它将根据通过 Solana 网络接收的区块构建其本地分类账。此本地分类账从您在节点启动时下载的帐户快照开始。如果您未--no-snapshot-fetch在solana-validator命令行中添加任何内容，验证器通常会在启动时从网络中提取快照。这会在您停止 RPC 节点的点和下载帐户快照的点之间在您的分类账中留下漏洞或间隙。为避免这种情况，请始终--no-snapshot-fetch在第一次启动节点后指定。请记住，每次您提取快照时都会在本地分类账中创建一个漏洞。

本地账本的大小由参数决定--limit-ledger-size，以碎片为单位。碎片是固定的数据单位。碎片和块之间的转换并不固定，因为块的大小可以变化。因此，很难说您的节点将存储多少以时间或块数衡量的历史记录。您必须根据需要对其进行调整。一个好的起点可以是 2.5 亿到 3.5 亿个碎片，这应该大约涵盖一个时代，也就是大约 3 天。

RPC 节点将存储的确切数据量还取决于参数--enable-cpi-and-log-storage和--enable-rpc-transaction-history。这些对于节点保留和提供完整的块和交易数据是必需的。

您的节点只能提供已存储在其本地分类账中的数据。这意味着您的历史记录将始终从您启动节点的点开始（实际上：您启动节点的快照槽）。如果网络当前处于槽 N，并且您在槽 M 提取快照，那么您的节点将开始重建其在槽 M 和槽 N 之间的历史记录。这就是在期间发生的事情catchup，节点正在处理（重放）在 M 和 N 之间发生的所有事情，直到它赶上网络并可以处理所有当前传入的数据。

节点（理论上）可以存储高速存储所能容纳的尽可能多的历史记录（例如，如果您不指定--limit-ledger-size或为其赋予巨大的值）。但是，这不会缩减到创世纪。要获取所有历史记录，您可以使用内置的 Google BigTable 支持。您既可以设置节点以将数据上传到 Google BigTable 实例，在那里它可以永久用于历史查询。您还可以配置节点以支持对 BigTable 实例的查询。在这种情况下，对于节点在其本地分类帐中没有的任何查询，它将向 Google BigTable 发出请求，如果它在 Google BigTable 中找到它，它可以从那里提取数据。

参考

https://github.com/Fankouzu/solana-basic-ui/blob/fd33c886c8331eab112dadd4a42646ffb8167cec/docs/SolanaDocumention/more/exchange.md?plain=1#L76
https://github.com/rpcpool/solana-rpc-ansible/blob/3e926a16c847f55e7adf864e0cd679043089b787/README.md#access-to-historical-data
https://github.com/solana-labs/solana-bigtable/blob/79234622ab0cb26b6f4a158ddb7eace9c19186a0/warehouse-basic.sh

版权属于：区块链中文技术社区 / 转载原创者

本文链接：https://bcskill.com/index.php/archives/2064.html

相关技术文章仅限于相关区块链底层技术研究，禁止用于非法用途，后果自负！本站严格遵守一切相关法律政策！