区块链中文技术社区 - 同步主网数据到数据库
type: channel
link: https://bcskill.com/index.php/tag/同步主网数据到数据库/
items: 搭建EOS MongoDB 分片集群
items: 配置EOS同步主网数据到Mysql
items: 编译EOS主网EOS-Mainnet代码并支持sql_db_plugin
items: 配置EOS同步主网数据到mongoDB
items: 编译EOS主网EOS-Mainnet代码

搭建EOS MongoDB 分片集群
type: item
date: 2018-08-24T22:11:00+08:00
description: 由于EOS blocks数据同步到Mongo数据库后，体积很大，查询缓慢，并且机器配置比较低，同时运行nodeos写入MongoDB有点遭不住，so，部署下mongo集群，并做分片配置 1. 安装 MongoDB 准备了三台分别1T存储的云主机。三台主机在同一内网，IP分别如下 172.31.32.31 172.31.32.29 172.31.32.30 mongos mongos mongos config server config server config server shard server1 主节点 shard server1 副节点 shard server1 仲裁 shard server2 仲裁 shard server2 主节点 shard server2 副节点 shard server3 副节点 shard server3 仲裁 shard server3 主节点 端口分配： 占用 端口 mongos 20000 config 21000 shard1 27001 shard2 27002 shard3 27003 分别在每台机器建立conf、mongos、config、shard1、shard2、shard3六个目录， 因为mongos不存储数据，只需要建立日志文件目录即可。/mnt/data为机器挂载的1T存储盘 mkdir -p /mnt/data/mongodb/conf \ mkdir -p /mnt/data/mongodb/mongos/log \ mkdir -p /mnt/data/mongodb/config/data \ mkdir -p /mnt/data/mongodb/config/log \ mkdir -p /mnt/data/mongodb/shard1/data \ mkdir -p /mnt/data/mongodb/shard1/log \ mkdir -p /mnt/data/mongodb/shard2/data \ mkdir -p /mnt/data/mongodb/shard2/log \ mkdir -p /mnt/data/mongodb/shard3/data \ mkdir -p /mnt/data/mongodb/shard3/log 安装 mongodb-server sudo apt install mongodb-server 配置环境变量 vi /etc/profile # MongoDB 环境变量内容 export MONGODB_HOME=~/opt/mongodb export PATH=$MONGODB_HOME/bin:$PATH 使立即生效 source /etc/profile 2. config server配置服务器 mongodb3.4以后要求配置服务器也创建副本集，不然集群搭建不成功。 (三台机器)添加配置文件 vi /mnt/data/mongodb/conf/config.conf ## Profile content pidfilepath = /mnt/data/mongodb/config/log/configsrv.pid dbpath = /mnt/data/mongodb/config/data logpath = /mnt/data/mongodb/config/log/congigsrv.log logappend = true bind_ip = 0.0.0.0 port = 21000 fork = true #declare this is a config db of a cluster; configsvr = true #Replica set name replSet = configs #Set the maximum number of connections maxConns = 20000 启动三台服务器的config server mongod -f /mnt/data/mongodb/conf/config.conf 登录任意一台配置服务器，初始化配置副本集 连接 MongoDB mongo --port 21000 config 变量 config = { _id : "configs", members : [ {_id : 0, host : "172.31.32.31:21000" }, {_id : 1, host : "172.31.32.29:21000" }, {_id : 2, host : "172.31.32.30:21000" } ] } 初始化副本集 rs.initiate(config) 其中，"_id" : "configs"应与配置文件…

配置EOS同步主网数据到Mysql
type: item
date: 2018-08-18T12:47:33+08:00
description: EOS编译安装，请参考编译EOS主网EOS-Mainnet代码并支持sql_db_plugin 一. 修改Config配置 先运行下nodeos，将会自动创建~/.local/share/eosio/nodeos/config目录和config.ini文件。 修改config.ini中如下内容 //添加 （2018-8-18 此时可用，如果有想分享的节点，请私聊我） p2p-peer-address = fullnode.eoslaomao.com:443 p2p-peer-address = mars.fnp2p.eosbixin.com:443 //修改 可忽略 agent-name = "BcSkill" //如果需要返回错误信息,修改 verbose-http-errors = true //添加插件支持 plugin = eosio::chain_plugin plugin = eosio::net_plugin plugin = eosio::sql_db_plugin //修改mongodb插件相关配置 sql_db-uri = mysql://db=eos user=root host=127.0.0.1 password='pwd' 二. 安装配置并启动MySql 1. 安装MySql 先安装MySql 参考 Ubuntu 安装MySql 8.0 2. 配置MySql 接下来我们安装 soci。soci 是 C++ 连接 MySQL 的 Library。Ubuntu 可以快速安装，命令如下：sudo apt-get -y install libsoci-dev 安装 mysql-clientsudo apt-get -y install mysql-client sudo apt-get install libmysqlclient-dev 由于链上数据较大，比如1000W块左右的数据，离线压缩包大约14GB，同步到MySql大概需要200GB左右。所以需要将MySql数据单独磁盘存储。 修改MySql数据存储位置,/mnt/data为我这边挂载的存储盘 新建目录mkdir /mnt/data/MySql 并参考 Ubuntu16.04下修改MySQL数据的默认存储位置 配置Eos数据库 进入mysqlmysql -p 创建数据库CREATE DATABASE eos DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci; 查看数据库mysql > show databases; 三. 下载主网离线数据包 参考 EOS 主网数据更新，离线数据包 因为使用离线包可以加快追上主网的进度，如果从零自己同步到主网进度，难以想象要多久... 假设已经将离线数据下载并解压到了 /mnt/data/data目录下。 四. 启动nodeos开始同步数据 nodeos --data-dir /mnt/data/data --hard-replay-blockchain --replay-blockchain 第一次运行 必须添加 --replay-blockchain参数，不然不会创建数据库表，参考下面代码 如果需要清空mysql数据库的话，添加--sql_db-block-start=0 --replay-blockchain 相关代码如下eos\plugins\sql_db_plugin\sql_db_plugin.cpp void sql_db_plugin::plugin_initialize(const variables_map& options) { ilog("initialize"); try { std::string uri_str = options.at(SQL_DB_URI_OPTION).as<std::string>(); if (uri_str.empty()) { wlog("db URI not specified => eosio::sql_db_plugin disabled."); return; } ilog("connecting to ${u}", ("u", uri_str)); uint32_t block_num_start = options.at(BLOCK_START_OPTION).as<uint32_t>(); auto db = std::make_unique<database>(uri_str, block_num_start); if (options.at(HARD_REPLAY_OPTION).as<bool>() || options.at(REPLAY_OPTION).as<bool>(…

编译EOS主网EOS-Mainnet代码并支持sql_db_plugin
type: item
date: 2018-08-18T12:26:00+08:00
description: 涉及的代码仓库 EOS-Mainnet仓库地址：https://github.com/EOS-Mainnet/eos.git 支持sql_db_plugin的仓库地址：https://github.com/NebulaProtocol/eos.git EOSIO官方将不再收录sql_db_plugin，第三方自己维护（github），v1.2.0已删除sql_db_plugin，官方只维护mongo_db_plugin。 合并代码，提交到自己的仓库 基于EOS-Mainnet对应的分支合并NebulaProtocol中sql_db_plugin相关代码。 由于我熟悉Windows TortoiseGit工具，所以我在Windows上准备好代码，提交到github自己的仓库，（也方便自己维护），再在Ubuntu上拉取分支代码。 步骤尽量的简单，方便新手按部就班，老鸟绕飞~ github 上新建仓库https://github.com/cppfuns/Pure-EOS.git 新建目录Pure-EOS,获取EOS-Mainnet代码 git clone https://github.com/EOS-Mainnet/eos.git 添加NebulaProtocol仓库 进入Pure-EOS目录，右键TortoiseGit->Settings，添加NebulaProtocol仓库 获取所有仓库更新信息到本地 再次在Pure-EOS目录，右键TortoiseGit->fetch,获取所有仓库更新信息到本地 切换分支 切换EOS-Mainnet当前最新的release分支，当前为mainnet-1.1.6 再次在Pure-EOS目录，右键TortoiseGit->Switch/Checkout...，选择mainnet-1.1.6分支 合并代码 再次在Pure-EOS目录，右键TortoiseGit->Show log,找到NebulaProtocol/sql_plugin分支 右键Merge to mainnet-1.1.6 点击确定后，如果有冲突，自行解决， 提交代码 此时已经将NebulaProtocol中sql_db_plugin分支代码，合并到了EOS-Mainnet的最新分支mainnet-1.1.6上了。提交本地的mainnet-1.1.6分支到github 上新建仓库https://github.com/cppfuns/Pure-EOS.git。 获取代码 在Ubuntu上直接获取此仓库 git clone https://github.com/cppfuns/Pure-EOS.git 切换分支 cd eos源码目录 git checkout mainnet-1.1.6 开始编译代码 ./eosio_build.sh -s EOS 执行安装 ./eosio_install.sh 检测sql_db_plugin 编译完成后,执行 nodeos --help | grep "sql_db-uri" 如果输出–sql_db-uri arg Sql DB URI connection string If not内容，证明编译的EOS已支持sql_db_plugin

配置EOS同步主网数据到mongoDB
type: item
date: 2018-08-18T11:24:00+08:00
description: EOS编译安装，请参考 编译EOS主网EOS-Mainnet代码 一. 修改Config配置 先运行下nodeos，将会自动创建~/.local/share/eosio/nodeos/config目录和config.ini文件。 修改config.ini中如下内容 //添加 （2018-8-18 此时可用，如果有想分享的节点，请私聊我） p2p-peer-address = fullnode.eoslaomao.com:443 p2p-peer-address = mars.fnp2p.eosbixin.com:443 //修改 可忽略 agent-name = "BcSkill" //如果需要返回错误信息,修改 verbose-http-errors = true //添加插件支持 plugin = eosio::chain_plugin plugin = eosio::net_plugin //修改mongodb插件相关配置 plugin = eosio::mongo_db_plugin mongodb-uri = mongodb://127.0.0.1:27017/EOS mongodb-filter-on = * #mongodb-filter-out = spammer:: mongodb-filter-out = eosio:onblock: mongodb-filter-out = gu2tembqgage:: mongodb-filter-out = blocktwitter:: mongodb-queue-size = 2048 abi-serializer-max-time-ms = 5000 mongodb-block-start = 1 mongodb-store-block-states = false mongodb-store-blocks = false mongodb-store-transactions = false mongodb-store-transaction-traces = true mongodb-store-action-traces = true read-mode = read-only 参考：MongoDB Filtering and Optimizations 参考：issues/5797 二. 安装配置并启动MongoDB 1. 安装MongoDB 先安装MongoDB 参考（Ubuntu 安装 Mongodb 3+） 2. 配置MongoDB 进入到MongoDB bin 目录，可以添加到环境变量，方便操作。 cd ~/opt/mongodb/bin 由于链上数据较大，比如1000W块左右的数据，离线压缩包大约14GB，同步到MongoDB大概需要200GB左右。所以需要将MongoDB数据单独磁盘存储。 修改MongoDB数据存储位置,/mnt/data为我这边挂载的存储盘 新建目录mkdir /mnt/data/mongo/db 3. 启动MongoDB mongod --dbpath /mnt/data/mongo/db 这时MongoDB服务会默认监听27017端口 三. 下载主网离线数据包 参考 EOS 主网数据更新，离线数据包 因为使用离线包可以加快追上主网的进度，如果从零自己同步到主网进度，难以想象要多久... 假设已经将离线数据下载并解压到了 /mnt/data/data目录下。 四. 启动nodeos开始同步数据 nodeos --data-dir /mnt/data/data --hard-replay-blockchain 如果需要清空mongo数据库的话，添加--mongodb-wipe 相关代码如下eos\plugins\mongo_db_plugin\mongo_db_plugin.cpp void mongo_db_plugin::plugin_initialize(const variables_map& options) { try { if( options.count( "mongodb-uri" )) { ilog( "initializing mongo_db_plugin" ); my->configured = true; if( options.at( "replay-blockchain" ).as<bool>() || options.at( "hard-replay-blockchain" ).as<bool>() || options.at( "delete-all-blocks" ).as<bool>() ) { if( options.at( "mongodb-wipe" ).as<bool>()) {…

编译EOS主网EOS-Mainnet代码
type: item
date: 2018-08-18T10:37:17+08:00
description: 下载主网EOS代码 所谓的主网代码就是EOS-Mainnet维护的EOS分支仓库，相对EOSIO的仓库分支区别就是，EOS-Mainnet对发布的release分支做了进一步测试和审核，测试好后，BP们才部署。也就是基本上BP们都是部署的这个仓库分支，所以如果是同步主网，建议选此仓库分支。避免一些不必要的bug和数据不兼容等意外。 1. 获取代码 git clone https://github.com/EOS-Mainnet/eos.git 如果提示git没有安装，先安装gitapt install git 2. 切换对应的分支 由于主仓库分支较多，切换到当前仓库的最新的分支或者tag 当前最新为（mainnet-1.1.6） cd eos源码目录 git checkout mainnet-1.1.6 3. 开始编译代码 ./eosio_build.sh -s EOS 执行脚本后，脚本会自动安装所需的开发环境工具 4. 执行安装 编译完成后， 执行安装 ./eosio_install.sh