由于官方的工具history-tool,对比mongo插件,history-tool效率更高,支持PostgreSQL/RocksDB。并且避免了因为意外写入导致链程序意外退出后,数据脏的麻烦问题,并且pg会修复微分叉的交易,所以今天试用下history-tool方案
编译 fill-pg
主要参考 https://eosio.github.io/history-tools/build-ubuntu-1804.html
安装环境依赖
安装Clang 8 和其他需要的工具
sudo apt update && sudo apt install -y wget gnupg
cd ~
sudo wget -O - https://apt.llvm.org/llvm-snapshot.gpg.key | sudo apt-key add -
sudo vi /etc/apt/sources.list
## 文件尾部添加
deb http://apt.llvm.org/bionic/ llvm-toolchain-bionic main
deb-src http://apt.llvm.org/bionic/ llvm-toolchain-bionic main
deb http://apt.llvm.org/bionic/ llvm-toolchain-bionic-8 main
deb-src http://apt.llvm.org/bionic/ llvm-toolchain-bionic-8 main
sudo apt update && sudo apt install -y \
autoconf2.13 \
build-essential \
bzip2 \
cargo \
clang-8 \
git \
libgmp-dev \
libpq-dev \
lld-8 \
lldb-8 \
ninja-build \
nodejs \
npm \
pkg-config \
postgresql-server-dev-all \
python2.7-dev \
python3-dev \
rustc \
zlib1g-dev
sudo update-alternatives --install /usr/bin/clang clang /usr/bin/clang-8 100
sudo update-alternatives --install /usr/bin/clang++ clang++ /usr/bin/clang++-8 100
生成并安装Boost 1.70。调整-j10以匹配您的机器。如果您没有足够的RAM用于所使用的内核数量,则会发生不好的事情
cd ~
wget https://dl.bintray.com/boostorg/release/1.70.0/source/boost_1_70_0.tar.gz
tar xf boost_1_70_0.tar.gz
cd boost_1_70_0
./bootstrap.sh
sudo ./b2 toolset=clang -j10 install
生成并安装CMake 3.14.5。调整--parallel=并-j匹配您的机器。如果您没有足够的RAM用于所使用的内核数量,则会发生不好的事情:
cd ~
wget https://github.com/Kitware/CMake/releases/download/v3.14.5/cmake-3.14.5.tar.gz
tar xf cmake-3.14.5.tar.gz
cd cmake-3.14.5
./bootstrap --parallel=10
make -j10
sudo make -j10 install
编译history-tools
cd ~
git clone --recursive https://github.com/EOSIO/history-tools.git
cd history-tools
mkdir build
cd build
cmake -GNinja -DCMAKE_CXX_COMPILER=clang++-8 -DCMAKE_C_COMPILER=clang-8 ..
git submodule update --init --recursive
bash -c "cd ../src && npm install node-fetch"
ninja
此时查看build目录则生成了fill-pg
配置使用
参考 https://eosio.github.io/history-tools/database-fillers.html
首次运行需要创建所需的表,执行参数--fpg-create
如果肺首次执行,需要清理,则添加参数--fpg-drop --fpg-create
--fill-connect-to 需要连接的state-history-plugin endpoint,默认值127.0.0.1:8080
我们先演示不加其他参数的运行实例,如果需要其他的参数,比如过滤,请查看文档--fill-trx
测试运行的命令行参数如下
export PGUSER= // PostgreSQL用户名
export PGPASSWORD= // PostgreSQL密码
export PGDATABASE= // PostgreSQL数据库名
export PGHOST= // PostgreSQL访问host
export PGPORT= // PostgreSQL端口
./fill-pg --fill-connect-to 127.0.0.1:8080 --fpg-create
连接后创建的表如下
| 表名 |
介绍 |
| account |
|
| account_metadata |
|
| action_trace |
|
| action_trace_auth_sequence |
|
| action_trace_authorization |
|
| action_trace_ram_delta |
|
| action_trace_v1 |
|
| block_info |
|
| code |
|
| contract_index_double |
|
| contract_index_long_double |
|
| contract_index64 |
|
| contract_index128 |
|
| contract_index256 |
|
| contract_row |
|
| contract_table |
|
| fill_status |
|
| generated_transaction |
|
| permission |
|
| permission_link |
|
| protocol_state |
|
| received_block |
|
| resource_limits |
|
| resource_limits_config |
|
| resource_limits_state |
|
| resource_usage |
|
| transaction_trace |
|
测试
查看端口有没有正常监听
sudo lsof -i -P -n | grep LISTEN
如果想测试history节点ws端口可以使用
wget https://github.com/vi/websocat/releases/download/v1.6.0/websocat_arm-linux-static
mv websocat_amd64-linux-static websocat
./websocat ws://127.0.0.1:8080/
注意
目前history-tools方案还处于试验阶段,目前测试遇到问题
https://github.com/EOSIO/history-tools/issues/103
等待后面有时间再继续跟进