在centos环境下编译安装myrocksdb

栏目: 数据库 · 发布时间: 5年前

内容简介:rocksdb(参考页面初始化init和更新submodule因为很耗时间,我采用在本地(windows)下载和执行。

rocksdb( https://rocksdb.org.cn/ )是脸书(facebook)公司开源的一个key-value存储引擎,基于leveldb开发。rocksdb使用的是LSM存储引擎,纯c++编写。rocksdb具有很好的读写性能。但是rocksdb的实际操作需要很好的阅读rocksdb api文档,很多实现要自己编写代码来执行,还要考虑诸如线程安全等问题。Myrocks是rocksdb和 mysql 结合的结果,它将mysql的innodb引擎替换为rocksdb引擎,剥离实际操作底层rocksdb的方式,通过熟悉的操作mysql的方式进行数据库的连接、数据的存储读取等操作,方便很多。

参考页面 http://myrocks.io/docs/getting-started/

1. 执行前两步安装必要的包

sudo yum install cmake gcc-c++ bzip2-devel libaio-devel bison \
zlib-devel snappy-devel
sudo yum install gflags-devel readline-devel ncurses-devel \
openssl-devel lz4-devel gdb git

2. 下载facebook的mysql-5.6源码包

初始化init和更新submodule因为很耗时间,我采用在本地(windows)下载和执行。

git clone https://github.com/facebook/mysql-5.6.git
cd mysql-5.6
git submodule init
git submodule update

执行过后将这些文件上传至centos,我设置的接收目录是/usr/local/myrocksdb。

3. 处理dos文件(*)

如果上一步都在 linux 中执行,则可以忽略这一步。

这一步执行的原因是git在windows上执行上一步的一系列操作之后,执行/产生的文件是dos文件格式,和centos 的unix文件格式存在不同,不执行的话,会出现一系列未知错误。

通过如下命令对mysql-5.6中的所有文件进行转码:

cd /usr/local/myrocksdb/mysql-5.6
find . -type f -exec dos2unix {} \;

如果不存在dos2unix命令,执行:

yum install –y dos2unix

4. 安装zstd

zstd是zstandard数据压缩工具,由Facebook开发。该 工具 如果不安装,执行第14步时会提示缺少zstd的问题。

参考页面: https://www.howtoing.com/zstd-fast-data-compression-algorithm-used-by-facebook

执行如下几步:

cd /usr/local
git clone https://github.com/facebook/zstd.git
cd zstd
make
sudo make install

在centos环境下编译安装myrocksdb

编译和安装(make install)后的zstd文件产生的文件在 /usr/local/lib 下,我们需要将该目录下的文件拷贝至  /usr/lib64 目录下。

cd /usr/local/lib
cp * /usr/lib64

5. 下载‪googletest-release-1.8.0.zip文件

https://codeload.github.com/google/googletest/zip/release-1.8.0 页面下下载googletest-release-1.8.0.zip文件。

将该文件存放到如下目录,

/usr/local/myrocksdb/mysql-5.6/source_downloads/ 

6. 安装boost

boost是c++的标准库,编译过程中会用到。

yum install boost
yum install boost-devel
yum install boost-doc

7. 执行make操作

7.1. cmake操作

/usr/local/myrocksdb/mysql- 5.6 目录下执行,

cmake . -DCMAKE_BUILD_TYPE=RelWithDebInfo -DWITH_SSL=system \
-DWITH_ZLIB=bundled -DMYSQL_MAINTAINER_MODE=0 -DENABLED_LOCAL_INFILE=1 \
-DENABLE_DTRACE=0 -DCMAKE_CXX_FLAGS="-march=native"

出现如下结果表示执行成功。

在centos环境下编译安装myrocksdb

7.2. make操作

make -j8

这一步要求centos环境 至少要有3G的内存 ,而且执行时间很长,出现以下结果表示执行成功。

在centos环境下编译安装myrocksdb

8. 添加压缩软件库(*)

这一步没怎么看明白,也可以不执行。

# assume libsnappy.a is located at /usr/lib/
export WITH_SNAPPY=/usr
cmake ...
make ...

9. 执行MTR 测试(*)

这一步是对mysql数据库做一个测试,也可以不执行。

cd mysql-test
./mysql-test-run.pl --mem --async-client --parallel=16 --fast \
--max-test-fail=1000 --retry=0 --force --mysqld=--rocksdb \
--mysqld=--default-storage-engine=rocksdb --mysqld=--skip-innodb \
--mysqld=--default-tmp-storage-engine=MyISAM --suite=rocksdb

出现如下结果,表示MTR测试执行完毕。

在centos环境下编译安装myrocksdb

10. 安装Linkbench(*)

Linkbench是对mysql进行性能测试的一个工具,这里可以不安装。

确保安装JDK 和maven,如果没有要安装上,如下,

sudo apt-get install openjdk-7-jdk maven
git clone https://github.com/facebook/linkbench.git
cd linkbench;
mvn clean package -P fast-test

出现如下结果表示执行成功。

在centos环境下编译安装myrocksdb

11. 安装mysql数据库

执行以下命令安装数据库。

make install

出现以下结果表示执行安装完成。

在centos环境下编译安装myrocksdb

成功之后会在 /usr/local/ 目录下生成  /mysql 文件,这个就是我们熟知的mysql安装目录。

在centos环境下编译安装myrocksdb

12.创建mysql用户并赋权

useradd -d /home/mysql -m mysql

将mysql目录的权限赋给mysql用户。

cd /usr/localchown -R mysql:mysql mysql

13. 创建my.cnf文件

对mysql的配置文件 /etc/my.cnf 填入以下内容。

[client]
default-character-set=utf8
[mysqld]

#skip-grant-tables
character_set_server=utf8
basedir=/usr/local/mysql
datadir=/usr/local/mysql/data
user=mysql
port=3306
default_authentication_plugin=mysql_native_password

rocksdb
default-storage-engine=rocksdb
skip-innodb
default-tmp-storage-engine=MyISAM
collation-server=utf8_bin

log-bin
binlog-format=ROW

14. 初始化数据库服务

cd /usr/local/mysql/scripts
./mysql_install_db --user=mysql --defaults-file=/etc/my.cnf --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data

出现如下结果表示执行成功。

在centos环境下编译安装myrocksdb

15. 启动数据库服务

切换到 /usr/local/mysql/bin 目录下,执行mysql服务的启动。

cd /usr/local/mysql/bin
./mysqld_safe --defaults-file=/usr/local/mysql/my.cnf &

通过 ps -ef | grep mysql 命令查看,出现mysql的启动进程表示启动成功。

在centos环境下编译安装myrocksdb

16. mysql的登录和赋权。

/usr/local/mysql/bin 目录下,执行,

use mysql;
insert into mysql.user(Host,User,Password) values ("%","root",password("123456"));
grant all privileges on *.* to root@'%' identified by '123456';
flush privileges;

17.开放防火墙端口

这里防火墙是cetos默认的firewall防火墙。

打开设置的端口,重启防火墙。

firewall-cmd --zone=public --add-port=3306/tcp --permanent
systemctl restart firewalld.service

18. 尝试创建库和表

创建数据库

create database myrocks;

创建表

CREATE TABLE `linktable` (
  `id1` bigint(20) unsigned NOT NULL DEFAULT '0',
  `id1_type` int(10) unsigned NOT NULL DEFAULT '0',
  `id2` bigint(20) unsigned NOT NULL DEFAULT '0',
  `id2_type` int(10) unsigned NOT NULL DEFAULT '0',
  `link_type` bigint(20) unsigned NOT NULL DEFAULT '0',
  `visibility` tinyint(3) NOT NULL DEFAULT '0',
  `data` varchar(255) NOT NULL DEFAULT '',
  `time` bigint(20) unsigned NOT NULL DEFAULT '0',
  `version` int(11) unsigned NOT NULL DEFAULT '0',
PRIMARY KEY (link_type, `id1`,`id2`) COMMENT 'cf_link_pk',
KEY `id1_type` (`id1`,`link_type`,`visibility`,`time`,`version`,`data`) COMMENT 'rev:cf_link_id1_type'
) ENGINE=RocksDB DEFAULT COLLATE=utf8_bin;

以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

探索需求

探索需求

章柏幸、王媛媛、谢攀、杰拉尔德・温伯格、唐纳德・高斯 / 章柏幸、王媛媛、谢攀 / 清华大学出版社 / 2004-7-1 / 39.00元

本书将与您一起寻找"什么是客户真正想要的"这一问题的答案。 本书着眼于系统设计之前的需求过程,它是整个开发过程(如何设计人们想要的产品和系统)中最有挑战性的那部分。通过对一些需求分析中的常见误区和问题的分析和讨论,从和客户沟通开始,深入研究一些可能的需求,澄清用户和开发者期望值,最终给出了能够大幅度提高项目成功几率的一些建议方法。 本书由该领域内公认的两位作者合著,搜集了他们在大大小小......一起来看看 《探索需求》 这本书的介绍吧!

JS 压缩/解压工具
JS 压缩/解压工具

在线压缩/解压 JS 代码

图片转BASE64编码
图片转BASE64编码

在线图片转Base64编码工具

UNIX 时间戳转换
UNIX 时间戳转换

UNIX 时间戳转换