在centos环境下编译安装myrocksdb

栏目: 数据库 · 发布时间: 5年前

内容简介:rocksdb(参考页面初始化init和更新submodule因为很耗时间,我采用在本地(windows)下载和执行。

rocksdb( https://rocksdb.org.cn/ )是脸书(facebook)公司开源的一个key-value存储引擎,基于leveldb开发。rocksdb使用的是LSM存储引擎,纯c++编写。rocksdb具有很好的读写性能。但是rocksdb的实际操作需要很好的阅读rocksdb api文档,很多实现要自己编写代码来执行,还要考虑诸如线程安全等问题。Myrocks是rocksdb和 mysql 结合的结果,它将mysql的innodb引擎替换为rocksdb引擎,剥离实际操作底层rocksdb的方式,通过熟悉的操作mysql的方式进行数据库的连接、数据的存储读取等操作,方便很多。

参考页面 http://myrocks.io/docs/getting-started/

1. 执行前两步安装必要的包

sudo yum install cmake gcc-c++ bzip2-devel libaio-devel bison \
zlib-devel snappy-devel
sudo yum install gflags-devel readline-devel ncurses-devel \
openssl-devel lz4-devel gdb git

2. 下载facebook的mysql-5.6源码包

初始化init和更新submodule因为很耗时间,我采用在本地(windows)下载和执行。

git clone https://github.com/facebook/mysql-5.6.git
cd mysql-5.6
git submodule init
git submodule update

执行过后将这些文件上传至centos,我设置的接收目录是/usr/local/myrocksdb。

3. 处理dos文件(*)

如果上一步都在 linux 中执行,则可以忽略这一步。

这一步执行的原因是git在windows上执行上一步的一系列操作之后,执行/产生的文件是dos文件格式,和centos 的unix文件格式存在不同,不执行的话,会出现一系列未知错误。

通过如下命令对mysql-5.6中的所有文件进行转码:

cd /usr/local/myrocksdb/mysql-5.6
find . -type f -exec dos2unix {} \;

如果不存在dos2unix命令,执行:

yum install –y dos2unix

4. 安装zstd

zstd是zstandard数据压缩工具,由Facebook开发。该 工具 如果不安装,执行第14步时会提示缺少zstd的问题。

参考页面: https://www.howtoing.com/zstd-fast-data-compression-algorithm-used-by-facebook

执行如下几步:

cd /usr/local
git clone https://github.com/facebook/zstd.git
cd zstd
make
sudo make install

在centos环境下编译安装myrocksdb

编译和安装(make install)后的zstd文件产生的文件在 /usr/local/lib 下,我们需要将该目录下的文件拷贝至  /usr/lib64 目录下。

cd /usr/local/lib
cp * /usr/lib64

5. 下载‪googletest-release-1.8.0.zip文件

https://codeload.github.com/google/googletest/zip/release-1.8.0 页面下下载googletest-release-1.8.0.zip文件。

将该文件存放到如下目录,

/usr/local/myrocksdb/mysql-5.6/source_downloads/ 

6. 安装boost

boost是c++的标准库,编译过程中会用到。

yum install boost
yum install boost-devel
yum install boost-doc

7. 执行make操作

7.1. cmake操作

/usr/local/myrocksdb/mysql- 5.6 目录下执行,

cmake . -DCMAKE_BUILD_TYPE=RelWithDebInfo -DWITH_SSL=system \
-DWITH_ZLIB=bundled -DMYSQL_MAINTAINER_MODE=0 -DENABLED_LOCAL_INFILE=1 \
-DENABLE_DTRACE=0 -DCMAKE_CXX_FLAGS="-march=native"

出现如下结果表示执行成功。

在centos环境下编译安装myrocksdb

7.2. make操作

make -j8

这一步要求centos环境 至少要有3G的内存 ,而且执行时间很长,出现以下结果表示执行成功。

在centos环境下编译安装myrocksdb

8. 添加压缩软件库(*)

这一步没怎么看明白,也可以不执行。

# assume libsnappy.a is located at /usr/lib/
export WITH_SNAPPY=/usr
cmake ...
make ...

9. 执行MTR 测试(*)

这一步是对mysql数据库做一个测试,也可以不执行。

cd mysql-test
./mysql-test-run.pl --mem --async-client --parallel=16 --fast \
--max-test-fail=1000 --retry=0 --force --mysqld=--rocksdb \
--mysqld=--default-storage-engine=rocksdb --mysqld=--skip-innodb \
--mysqld=--default-tmp-storage-engine=MyISAM --suite=rocksdb

出现如下结果,表示MTR测试执行完毕。

在centos环境下编译安装myrocksdb

10. 安装Linkbench(*)

Linkbench是对mysql进行性能测试的一个工具,这里可以不安装。

确保安装JDK 和maven,如果没有要安装上,如下,

sudo apt-get install openjdk-7-jdk maven
git clone https://github.com/facebook/linkbench.git
cd linkbench;
mvn clean package -P fast-test

出现如下结果表示执行成功。

在centos环境下编译安装myrocksdb

11. 安装mysql数据库

执行以下命令安装数据库。

make install

出现以下结果表示执行安装完成。

在centos环境下编译安装myrocksdb

成功之后会在 /usr/local/ 目录下生成  /mysql 文件,这个就是我们熟知的mysql安装目录。

在centos环境下编译安装myrocksdb

12.创建mysql用户并赋权

useradd -d /home/mysql -m mysql

将mysql目录的权限赋给mysql用户。

cd /usr/localchown -R mysql:mysql mysql

13. 创建my.cnf文件

对mysql的配置文件 /etc/my.cnf 填入以下内容。

[client]
default-character-set=utf8
[mysqld]

#skip-grant-tables
character_set_server=utf8
basedir=/usr/local/mysql
datadir=/usr/local/mysql/data
user=mysql
port=3306
default_authentication_plugin=mysql_native_password

rocksdb
default-storage-engine=rocksdb
skip-innodb
default-tmp-storage-engine=MyISAM
collation-server=utf8_bin

log-bin
binlog-format=ROW

14. 初始化数据库服务

cd /usr/local/mysql/scripts
./mysql_install_db --user=mysql --defaults-file=/etc/my.cnf --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data

出现如下结果表示执行成功。

在centos环境下编译安装myrocksdb

15. 启动数据库服务

切换到 /usr/local/mysql/bin 目录下,执行mysql服务的启动。

cd /usr/local/mysql/bin
./mysqld_safe --defaults-file=/usr/local/mysql/my.cnf &

通过 ps -ef | grep mysql 命令查看,出现mysql的启动进程表示启动成功。

在centos环境下编译安装myrocksdb

16. mysql的登录和赋权。

/usr/local/mysql/bin 目录下,执行,

use mysql;
insert into mysql.user(Host,User,Password) values ("%","root",password("123456"));
grant all privileges on *.* to root@'%' identified by '123456';
flush privileges;

17.开放防火墙端口

这里防火墙是cetos默认的firewall防火墙。

打开设置的端口,重启防火墙。

firewall-cmd --zone=public --add-port=3306/tcp --permanent
systemctl restart firewalld.service

18. 尝试创建库和表

创建数据库

create database myrocks;

创建表

CREATE TABLE `linktable` (
  `id1` bigint(20) unsigned NOT NULL DEFAULT '0',
  `id1_type` int(10) unsigned NOT NULL DEFAULT '0',
  `id2` bigint(20) unsigned NOT NULL DEFAULT '0',
  `id2_type` int(10) unsigned NOT NULL DEFAULT '0',
  `link_type` bigint(20) unsigned NOT NULL DEFAULT '0',
  `visibility` tinyint(3) NOT NULL DEFAULT '0',
  `data` varchar(255) NOT NULL DEFAULT '',
  `time` bigint(20) unsigned NOT NULL DEFAULT '0',
  `version` int(11) unsigned NOT NULL DEFAULT '0',
PRIMARY KEY (link_type, `id1`,`id2`) COMMENT 'cf_link_pk',
KEY `id1_type` (`id1`,`link_type`,`visibility`,`time`,`version`,`data`) COMMENT 'rev:cf_link_id1_type'
) ENGINE=RocksDB DEFAULT COLLATE=utf8_bin;

以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

MySQL性能调优与架构设计

MySQL性能调优与架构设计

简朝阳 / 2009-6 / 59.80元

《MySQL性能调优与架构设计》以 MySQL 数据库的基础及维护为切入点,重点介绍了 MySQL 数据库应用系统的性能调优,以及高可用可扩展的架构设计。 全书共分3篇,基础篇介绍了MySQL软件的基础知识、架构组成、存储引擎、安全管理及基本的备份恢复知识。性能优化篇从影响 MySQL 数据库应用系统性能的因素开始,针对性地对各个影响因素进行调优分析。如 MySQL Schema 设计的技巧......一起来看看 《MySQL性能调优与架构设计》 这本书的介绍吧!

UNIX 时间戳转换
UNIX 时间戳转换

UNIX 时间戳转换

RGB CMYK 转换工具
RGB CMYK 转换工具

RGB CMYK 互转工具

HEX CMYK 转换工具
HEX CMYK 转换工具

HEX CMYK 互转工具