Kubernetes 1.14.1 使用 NFS-Client-Provisioner 调用 NFS Server 静态和动态配置 Mysql 持久化存储

目录

[toc]

1、将  MySql  的配置文件做为资源挂载到 Kubernetes
1.1、将 My.ini 挂载到 Configmap
1.2、将 MySql 的密码以 Secret 格式保存
2、持久化静态资源的挂载
2.1、创建 PersistentVolume
2.2、创建 PersistentVolumeClaim
2.3、创建 MySql 连接 PVC
2.4、连接 Mysql 进行测试
3、持久化动态资源的挂载
3.1、NFS-Client-Provisioner 的工作原理
3.2、设定 Service Account 的权限
3.3、安裝 NFS Client provisioner
3.4、创建 StorageClass
3.5、创建 PersistentVolumeClaim
3.6、测试是否成功

持久化的方式有很多种，NFS 是最容易理解的，只要使用过 Linux ，几乎没有人不了解 NFS，因此本文主要介绍以 NFS 的方式分别通过静态、动态方式将 Volume 挂载到 Kubernetes 。

1、将 MySql 的配置文件做为资源挂载到 Kubernetes

首先我们创建 mshk-top 命名空间

$ cat <<EOF | kubectl create -f -
apiVersion: v1
kind: Namespace
metadata:
  name: mshk-top
  labels:
    name: mshk-top
    part-of: mshk-top
EOF

1.1、将 My.ini 挂载到 Configmap

创建并编辑 Mysql 的配置文件 my.ini ，内容如下：

$ cat my.ini
[client]
#port = 3306
#socket = /tmp/mysql.sock
[mysqld]
#port = 3306
#socket = /tmp/mysql.sock

#basedir = /var/lib/mysql
#datadir = /var/lib/mysql/data
#pid-file = /var/lib/data/mysqlmysql.pid
#user = mysql
#bind-address = 0.0.0.0
#server-id = 1 #表示是本机的序号为1,一般来讲就是master的意思

#skip-name-resolve
# 禁止MySQL对外部连接进行DNS解析，使用这一选项可以消除MySQL进行DNS解析的时间。但需要注意，如果开启该选项，
# 则所有远程主机连接授权都要使用IP地址方式，否则MySQL将无法正常处理连接请求

#skip-networking

default-time-zone = '+8:00'

back_log = 600
# MySQL能有的连接数量。当主要MySQL线程在一个很短时间内得到非常多的连接请求，这就起作用，
# 然后主线程花些时间(尽管很短)检查连接并且启动一个新线程。back_log值指出在MySQL暂时停止回答新请求之前的短时间内多少个请求可以被存在堆栈中。
# 如果期望在一个短时间内有很多连接，你需要增加它。也就是说，如果MySQL的连接数据达到max_connections时，新来的请求将会被存在堆栈中，
# 以等待某一连接释放资源，该堆栈的数量即back_log，如果等待连接的数量超过back_log，将不被授予连接资源。
# 另外，这值（back_log）限于您的操作系统对到来的TCP/IP连接的侦听队列的大小。
# 你的操作系统在这个队列大小上有它自己的限制（可以检查你的OS文档找出这个变量的最大值），试图设定back_log高于你的操作系统的限制将是无效的。

max_connections = 1000
# MySQL的最大连接数，如果服务器的并发连接请求量比较大，建议调高此值，以增加并行连接数量，当然这建立在机器能支撑的情况下，因为如果连接数越多，介于MySQL会为每个连接提供连接缓冲区，就会开销越多的内存，所以要适当调整该值，不能盲目提高设值。可以过'conn%'通配符查看当前状态的连接数量，以定夺该值的大小。

max_connect_errors = 6000
# 对于同一主机，如果有超出该参数值个数的中断错误连接，则该主机将被禁止连接。如需对该主机进行解禁，执行：FLUSH HOST。

open_files_limit = 65535
# MySQL打开的文件描述符限制，默认最小1024;当open_files_limit没有被配置的时候，比较max_connections*5和ulimit -n的值，哪个大用哪个，
# 当open_file_limit被配置的时候，比较open_files_limit和max_connections*5的值，哪个大用哪个。

table_open_cache = 128
# MySQL每打开一个表，都会读入一些数据到table_open_cache缓存中，当MySQL在这个缓存中找不到相应信息时，才会去磁盘上读取。默认值64
# 假定系统有200个并发连接，则需将此参数设置为200*N(N为每个连接所需的文件描述符数目)；
# 当把table_open_cache设置为很大时，如果系统处理不了那么多文件描述符，那么就会出现客户端失效，连接不上

max_allowed_packet = 256M
# 接受的数据包大小；增加该变量的值十分安全，这是因为仅当需要时才会分配额外内存。例如，仅当你发出长查询或MySQLd必须返回大的结果行时MySQLd才会分配更多内存。
# 该变量之所以取较小默认值是一种预防措施，以捕获客户端和服务器之间的错误信息包，并确保不会因偶然使用大的信息包而导致内存溢出。

#binlog_cache_size = 1M
# 一个事务，在没有提交的时候，产生的日志，记录到Cache中；等到事务提交需要提交的时候，则把日志持久化到磁盘。默认binlog_cache_size大小32K

max_heap_table_size = 8M
# 定义了用户可以创建的内存表(memory table)的大小。这个值用来计算内存表的最大行数值。这个变量支持动态改变

tmp_table_size = 16M
# MySQL的heap（堆积）表缓冲大小。所有联合在一个DML指令内完成，并且大多数联合甚至可以不用临时表即可以完成。
# 大多数临时表是基于内存的(HEAP)表。具有大的记录长度的临时表 (所有列的长度的和)或包含BLOB列的表存储在硬盘上。
# 如果某个内部heap（堆积）表大小超过tmp_table_size，MySQL可以根据需要自动将内存中的heap表改为基于硬盘的MyISAM表。还可以通过设置tmp_table_size选项来增加临时表的大小。也就是说，如果调高该值，MySQL同时将增加heap表的大小，可达到提高联接查询速度的效果

read_buffer_size = 2M
# MySQL读入缓冲区大小。对表进行顺序扫描的请求将分配一个读入缓冲区，MySQL会为它分配一段内存缓冲区。read_buffer_size变量控制这一缓冲区的大小。
# 如果对表的顺序扫描请求非常频繁，并且你认为频繁扫描进行得太慢，可以通过增加该变量值以及内存缓冲区大小提高其性能

read_rnd_buffer_size = 8M
# MySQL的随机读缓冲区大小。当按任意顺序读取行时(例如，按照 排序 顺序)，将分配一个随机读缓存区。进行排序查询时，
# MySQL会首先扫描一遍该缓冲，以避免磁盘搜索，提高查询速度，如果需要排序大量数据，可适当调高该值。但MySQL会为每个客户连接发放该缓冲空间，所以应尽量适当设置该值，以避免内存开销过大

sort_buffer_size = 8M
# MySQL执行排序使用的缓冲大小。如果想要增加ORDER BY的速度，首先看是否可以让MySQL使用索引而不是额外的排序阶段。
# 如果不能，可以尝试增加sort_buffer_size变量的大小

join_buffer_size = 8M
# 联合查询操作所能使用的缓冲区大小，和sort_buffer_size一样，该参数对应的分配内存也是每连接独享

thread_cache_size = 8
# 这个值（默认8）表示可以重新利用保存在缓存中线程的数量，当断开连接时如果缓存中还有空间，那么客户端的线程将被放到缓存中，
# 如果线程重新被请求，那么请求将从缓存中读取,如果缓存中是空的或者是新的请求，那么这个线程将被重新创建,如果有很多新的线程，
# 增加这个值可以改善系统性能.通过比较Connections和Threads_created状态的变量，可以看到这个变量的作用。(–>表示要调整的值)
# 根据物理内存设置规则如下：
# 1G  —> 8
# 2G  —> 16
# 3G  —> 32
# 大于3G  —> 64

query_cache_size = 8M
#MySQL的查询缓冲大小（从4.0.1开始，MySQL提供了查询缓冲机制）使用查询缓冲，MySQL将SELECT语句和查询结果存放在缓冲区中，
# 今后对于同样的SELECT语句（区分大小写），将直接从缓冲区中读取结果。根据MySQL用户手册，使用查询缓冲最多可以达到238%的效率。
# 通过检查状态值'Qcache_%'，可以知道query_cache_size设置是否合理：如果Qcache_lowmem_prunes的值非常大，则表明经常出现缓冲不够的情况，
# 如果Qcache_hits的值也非常大，则表明查询缓冲使用非常频繁，此时需要增加缓冲大小；如果Qcache_hits的值不大，则表明你的查询重复率很低，
# 这种情况下使用查询缓冲反而会影响效率，那么可以考虑不用查询缓冲。此外，在SELECT语句中加入SQL_NO_CACHE可以明确表示不使用查询缓冲

query_cache_limit = 2M
#指定单个查询能够使用的缓冲区大小，默认1M

key_buffer_size = 4M
#指定用于索引的缓冲区大小，增加它可得到更好处理的索引(对所有读和多重写)，到你能负担得起那样多。如果你使它太大，
# 系统将开始换页并且真的变慢了。对于内存在4GB左右的服务器该参数可设置为384M或512M。通过检查状态值Key_read_requests和Key_reads，
# 可以知道key_buffer_size设置是否合理。比例key_reads/key_read_requests应该尽可能的低，
# 至少是1:100，1:1000更好(上述状态值可以使用SHOW STATUS LIKE 'key_read%'获得)。注意：该参数值设置的过大反而会是服务器整体效率降低

ft_min_word_len = 4
# 分词词汇最小长度，默认4

transaction_isolation = REPEATABLE-READ
# MySQL支持4种事务隔离级别，他们分别是：
# READ-UNCOMMITTED, READ-COMMITTED, REPEATABLE-READ, SERIALIZABLE.
# 如没有指定，MySQL默认采用的是REPEATABLE-READ，ORACLE默认的是READ-COMMITTED

#log_bin = mysql-bin
binlog_format = row
#expire_logs_days = 30 #超过30天的binlog删除

#log_error = /data/mysql/mysql-error.log #错误日志路径
#slow_query_log = 1
#long_query_time = 1 #慢查询时间 超过1秒则为慢查询
#slow_query_log_file = /data/mysql/mysql-slow.log

performance_schema = 0
explicit_defaults_for_timestamp=true

#lower_case_table_names = 1 #不区分大小写

#skip-external-locking #MySQL选项以避免外部锁定。该选项默认开启

default-storage-engine = InnoDB #默认存储引擎

innodb_file_per_table = 1
# InnoDB为独立表空间模式，每个数据库的每个表都会生成一个数据空间
# 独立表空间优点：
# 1．每个表都有自已独立的表空间。
# 2．每个表的数据和索引都会存在自已的表空间中。
# 3．可以实现单表在不同的数据库中移动。
# 4．空间可以回收（除drop table操作处，表空不能自已回收）
# 缺点：
# 单表增加过大，如超过100G
# 结论：
# 共享表空间在Insert操作上少有优势。其它都没独立表空间表现好。当启用独立表空间时，请合理调整：innodb_open_files

innodb_open_files = 500
# 限制Innodb能打开的表的数据，如果库里的表特别多的情况，请增加这个。这个值默认是300

innodb_buffer_pool_size = 64M
# InnoDB使用一个缓冲池来保存索引和原始数据, 不像MyISAM.
# 这里你设置越大,你在存取表里面数据时所需要的磁盘I/O越少.
# 在一个独立使用的数据库服务器上,你可以设置这个变量到服务器物理内存大小的80%
# 不要设置过大,否则,由于物理内存的竞争可能导致操作系统的换页颠簸.
# 注意在32位系统上你每个进程可能被限制在 2-3.5G 用户层面内存限制,
# 所以不要设置的太高.

innodb_write_io_threads = 4
innodb_read_io_threads = 4
# innodb使用后台线程处理数据页上的读写 I/O(输入输出)请求,根据你的 CPU 核数来更改,默认是4
# 注:这两个参数不支持动态改变,需要把该参数加入到my.cnf里，修改完后重启MySQL服务,允许值的范围从 1-64

innodb_thread_concurrency = 0
# 默认设置为 0,表示不限制并发数，这里推荐设置为0，更好去发挥CPU多核处理能力，提高并发量

innodb_purge_threads = 1
# InnoDB中的清除操作是一类定期回收无用数据的操作。在之前的几个版本中，清除操作是主线程的一部分，这意味着运行时它可能会堵塞其它的数据库操作。
# 从MySQL5.5.X版本开始，该操作运行于独立的线程中,并支持更多的并发数。用户可通过设置innodb_purge_threads配置参数来选择清除操作是否使用单
# 独线程,默认情况下参数设置为0(不使用单独线程),设置为 1 时表示使用单独的清除线程。建议为1

innodb_flush_log_at_trx_commit = 2
# 0：如果innodb_flush_log_at_trx_commit的值为0,log buffer每秒就会被刷写日志文件到磁盘，提交事务的时候不做任何操作（执行是由mysql的master thread线程来执行的。
# 主线程中每秒会将重做日志缓冲写入磁盘的重做日志文件(REDO LOG)中。不论事务是否已经提交）默认的日志文件是ib_logfile0,ib_logfile1
# 1：当设为默认值1的时候，每次提交事务的时候，都会将log buffer刷写到日志。
# 2：如果设为2,每次提交事务都会写日志，但并不会执行刷的操作。每秒定时会刷到日志文件。要注意的是，并不能保证100%每秒一定都会刷到磁盘，这要取决于进程的调度。
# 每次事务提交的时候将数据写入事务日志，而这里的写入仅是调用了文件系统的写入操作，而文件系统是有 缓存的，所以这个写入并不能保证数据已经写入到物理磁盘
# 默认值1是为了保证完整的ACID。当然，你可以将这个配置项设为1以外的值来换取更高的性能，但是在系统崩溃的时候，你将会丢失1秒的数据。
# 设为0的话，mysqld进程崩溃的时候，就会丢失最后1秒的事务。设为2,只有在操作系统崩溃或者断电的时候才会丢失最后1秒的数据。InnoDB在做恢复的时候会忽略这个值。
# 总结
# 设为1当然是最安全的，但性能页是最差的（相对其他两个参数而言，但不是不能接受）。如果对数据一致性和完整性要求不高，完全可以设为2，如果只最求性能，例如高并发写的日志服务器，设为0来获得更高性能

innodb_log_buffer_size = 2M
# 此参数确定些日志文件所用的内存大小，以M为单位。缓冲区更大能提高性能，但意外的故障将会丢失数据。MySQL开发人员建议设置为1－8M之间

innodb_log_file_size = 2G
# 此参数确定数据日志文件的大小，更大的设置可以提高性能，但也会增加恢复故障数据库所需的时间

innodb_log_files_in_group = 3
# 为提高性能，MySQL可以以循环方式将日志文件写到多个文件。推荐设置为3

innodb_max_dirty_pages_pct = 90
# innodb主线程刷新缓存池中的数据，使脏数据比例小于90%

innodb_lock_wait_timeout = 120
# InnoDB事务在被回滚之前可以等待一个锁定的超时秒数。InnoDB在它自己的锁定表中自动检测事务死锁并且回滚事务。InnoDB用LOCK TABLES语句注意到锁定设置。默认值是50秒

bulk_insert_buffer_size = 8M
# 批量插入缓存大小， 这个参数是针对MyISAM存储引擎来说的。适用于在一次性插入100-1000+条记录时， 提高效率。默认值是8M。可以针对数据量的大小，翻倍增加。

myisam_sort_buffer_size = 8M
# MyISAM设置恢复表之时使用的缓冲区的尺寸，当在REPAIR TABLE或用CREATE INDEX创建索引或ALTER TABLE过程中排序 MyISAM索引分配的缓冲区

myisam_max_sort_file_size = 10G
# 如果临时文件会变得超过索引，不要使用快速排序索引方法来创建一个索引。注释：这个参数以字节的形式给出

myisam_repair_threads = 1
# 如果该值大于1，在Repair by sorting过程中并行创建MyISAM表索引(每个索引在自己的线程内)

interactive_timeout = 28800
# 服务器关闭交互式连接前等待活动的秒数。交互式客户端定义为在mysql_real_connect()中使用CLIENT_INTERACTIVE选项的客户端。默认值：28800秒（8小时）

wait_timeout = 28800
# 服务器关闭非交互连接之前等待活动的秒数。在线程启动时，根据全局wait_timeout值或全局interactive_timeout值初始化会话wait_timeout值，
# 取决于客户端类型(由mysql_real_connect()的连接选项CLIENT_INTERACTIVE定义)。参数默认值：28800秒（8小时）
# MySQL服务器所支持的最大连接数是有上限的，因为每个连接的建立都会消耗内存，因此我们希望客户端在连接到MySQL Server处理完相应的操作后，
# 应该断开连接并释放占用的内存。如果你的MySQL Server有大量的闲置连接，他们不仅会白白消耗内存，而且如果连接一直在累加而不断开，
# 最终肯定会达到MySQL Server的连接上限数，这会报'too many connections'的错误。对于wait_timeout的值设定，应该根据系统的运行情况来判断。
# 在系统运行一段时间后，可以通过show processlist命令查看当前系统的连接状态，如果发现有大量的sleep状态的连接进程，则说明该参数设置的过大，
# 可以进行适当的调整小些。要同时设置interactive_timeout和wait_timeout才会生效。

character-set-server=utf8
collation-server=utf8_bin
# Specify the default character set to be UTF-8:

transaction-isolation=READ-COMMITTED
# 确保数据库的全局事务隔离级别已设置为READ-COMMITTED。

使用下面的命令将 my.ini 文件挂载到 configmap 资源

$ kubectl create configmap mysqlini --from-file=my.ini --namespace=mshk-top
configmap/mysqlini created

通过 kubectl get configmap mysqlini -o yaml -n mshk-top 也可以查看配置文件信息

1.2、将 MySql 的密码以 Secret 格式保存

在 Kubernetes 中 Secret 的格式，要使用 base64-encoded 加密，可以使用下面的命令创建加密后的 Secret :

$ kubectl create secret generic mysql-secret --from-literal=password=123456 --namespace=mshk-top
secret/mysql-secret created

查看密码可以使用命令： kubectl describe secrets/mysql-secret -n mshk-top
或者 kubectl get secret mysql-secret -o yaml -n mshk-top

2、持久化静态资源的挂载

2.1、创建 PersistentVolume

PersistentVolume (PV) 为用户和管理员提供了一个API，让用户根据 PersistentVolumeClaim (PVC) 的配置来使用存储信息。

通过静态 PersistentVolume 将 NFS 配置到 Kubernetes ,创建并编辑 PersistentVolume.yaml ，内容如下：

$ cat PersistentVolume.yaml
piVersion: v1
kind: PersistentVolume
metadata:
  name: mysqldata
  namespace: mshk-top
spec:
  capacity:
    storage: 1024Gi
# 回收选项
  persistentVolumeReclaimPolicy: Recycle
  storageClassName: mysql
  accessModes:
    - ReadWriteOnce
  mountOptions:
    - hard
    - nfsvers=4.1
  nfs:
    server: 192.168.11.189
    path: "/home/work/_docker/_dev_mysql"

server 是 NFS Server 地址

path 是 NFS 共享目录的路径

通过命令创建 PersistentVolume

$ kubectl create -f PersistentVolume.yaml
persistentvolume/mysqldata created

2.2、创建 PersistentVolumeClaim

创建并编辑 PersistentVolumeClaim.yaml 文件，内容如下：

$ cat PersistentVolumeClaim.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: mysqlclaim
  namespace: mshk-top
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 200Gi
  storageClassName: mysql
  selector:
    name: mysqldata

storageClassName 的名称要和在 PersistentVolume 设置 的一样，说明这个 PVC 希望使用 storageClassName=mysql 的 PV
ReadWriteOnce 说明 PV 希望使用 storageClassName=mysql ,并且 accessModes = ReadWriteOnce 的 PV
以上条件都满足后， PVC 还可以根据指定的 Label 来绑定 PV
storage 说明 PVC 要使用的 PV 空间大小

通过命令创建 PersistentVolumeClaim

$ kubectl create -f PersistentVolumeClaim.yaml
persistentvolumeclaim/mysqlclaim created

通过下面的命令，可以查看 PV 和 PVC 的状态是 Bound 说明绑定成功

$ kubectl get pv,pvc -n mshk-top
NAME                         CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                 STORAGECLASS   REASON   AGE
persistentvolume/mysqldata   1Ti        RWO            Recycle          Bound    mshk-top/mysqlclaim   mysql                   31m

NAME                               STATUS   VOLUME      CAPACITY   ACCESS MODES   STORAGECLASS   AGE
persistentvolumeclaim/mysqlclaim   Bound    mysqldata   1Ti        RWO            mysql          23m

2.3、创建 MySql 连接 PVC

创建并编辑 mysql.yaml 文件，内容如下：

$ cat mysql.yaml
apiVersion: extensions/v1beta1 # for versions before 1.6.0 use extensions/v1beta1
kind: Deployment
metadata:
  annotations:
    iconUrl: https://raw.githubusercontent.com/docker-library/docs/c408469abbac35ad1e4a50a6618836420eb9502e/mysql/logo.png
  labels:
    app: mshk-mysql
    version: "5.7"
    group: com.mshk
  name: mshk-mysql
  namespace: mshk-top
spec:
  replicas: 1
  template: 
    metadata:
      annotations:
        iconUrl: https://raw.githubusercontent.com/docker-library/docs/c408469abbac35ad1e4a50a6618836420eb9502e/mysql/logo.png
      labels:
        app: mshk-mysql
        group: com.mshk
    spec:
      containers:
      - env:
        - name: MYSQL_ROOT_PASSWORD
          valueFrom:
            secretKeyRef:
              name: mysql-secret
              key: password
        - name: character-set-server
          value: "utf8"
        - name: collation-server
          value: "utf8_bin"
        image: "idoall/mysql:5.7"
        imagePullPolicy: IfNotPresent
        name: mshk-mysql
        ports:
        - containerPort: 3306
          protocol: TCP
          name: mysql
        volumeMounts:
        - name: mysql-persistent-storage
          mountPath: /var/lib/mysql
        - name: mysql-ini
          mountPath: /etc/mysql/my.cnf
          subPath: my.ini
      volumes:
      - name: mysql-persistent-storage
        persistentVolumeClaim:
          claimName: mysqlclaim
      - name: mysql-ini
        configMap:
          name: mysqlini
---
apiVersion: v1
kind: Service
metadata:
  annotations:
    iconUrl: https://raw.githubusercontent.com/docker-library/docs/c408469abbac35ad1e4a50a6618836420eb9502e/mysql/logo.png
  labels:
    expose: "true"
    app: mshk-mysql
    group: com.mshk
    version: '5.7'
  name: mshk-mysql
  namespace: mshk-top
spec:
  type: NodePort
  ports:
  - name: mysql
    port: 3306
    nodePort: 30800
    protocol: TCP
    targetPort: 3306
  selector:
    app: mshk-mysql
    group: com.mshk

通过命令创建 MySql 5.7 的部署和服务

$ kubectl apply -f mysql.yaml
deployment.extensions/mshk-mysql created
service/mshk-mysql created

通过下面的命令，可以查看 MySql 是否部署成功

$ kubectl get pod -n mshk-top
NAME                          READY   STATUS    RESTARTS   AGE
mshk-mysql-58655bfbbb-q5442   1/1     Running   6          14m

2.4、连接 Mysql 进行测试

通过以下命令，可以看到 30800 这个端口是通的：

$ telnet localhost 30800
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.
J
5.7.17az

3、持久化动态资源的挂载

nfs-client-provisioner 是一个自动配置程序，它使用配置好的 NFS Server 通过持久卷声明动态配置 Kubernetes 持久化存储。

持久化存储配置生成的目录格式为$ {namespace} – $ {pvcName} – $ {pvName}。

3.1、NFS-Client-Provisioner 的工作原理

nfs-client-provisioner 主要分为两部分：

• 在 NFS 共享目录建立 Volume
• 在 Kubernetes 创建持久化存储卷 PV 并与 Volume 做关联

StorageClass 负责建立 PVC 并且与 nfs-client-provisioner 通讯，建立 PVC 和 PV 的连接。

此外还需要创建 ServiceAccount 来保障 nfs-client-provisioner 在 Kubernetes 有足够的权限运行。

3.2、设定 Service Account 的权限

配置 nfs-client-provisioner 之前，首先要定义一个 Service Account 使用 Kubernetes 中的 RBAC 机制进行授权。有了相应的权限 nfs-client-provisioner 可以对 StorageClass 、 PersistentVolumeClaim 进行操作(Role + RoleBinding + ClusterRole + ClusterRoleBinding)。

创建 nfs-client-provisioner-role.yaml 文件编辑并保存，内容如下：

$ cat nfs-client-provisioner-role.yaml
apiVersion: v1
kind: ServiceAccount
metadata:
  name: nfs-client-provisioner

---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: nfs-client-provisioner-runner
rules:
  - apiGroups: [""]
    resources: ["persistentvolumes"]
    verbs: ["get", "list", "watch", "create", "delete"]
  - apiGroups: [""]
    resources: ["persistentvolumeclaims"]
    verbs: ["get", "list", "watch", "update"]
  - apiGroups: ["storage.k8s.io"]
    resources: ["storageclasses"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["events"]
    verbs: ["create", "update", "patch"]

---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: run-nfs-client-provisioner
subjects:
  - kind: ServiceAccount
    name: nfs-client-provisioner
    namespace: default
roleRef:
  kind: ClusterRole
  name: nfs-client-provisioner-runner
  apiGroup: rbac.authorization.k8s.io

---
kind: Role
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: leader-locking-nfs-client-provisioner
rules:
  - apiGroups: [""]
    resources: ["endpoints"]
    verbs: ["get", "list", "watch", "create", "update", "patch"]

---
kind: RoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: leader-locking-nfs-client-provisioner
subjects:
  - kind: ServiceAccount
    name: nfs-client-provisioner
roleRef:
  kind: Role
  name: leader-locking-nfs-client-provisioner
  apiGroup: rbac.authorization.k8s.io

通过以下命令，运行角色和权限的绑定

$ kubectl apply -f nfs-client-provisioner-role.yaml
serviceaccount/nfs-client-provisioner created
clusterrole.rbac.authorization.k8s.io/nfs-client-provisioner-runner created
clusterrolebinding.rbac.authorization.k8s.io/run-nfs-client-provisioner created
role.rbac.authorization.k8s.io/leader-locking-nfs-client-provisioner created
rolebinding.rbac.authorization.k8s.io/leader-locking-nfs-client-provisioner created

3.3、安裝 NFS Client provisioner

NFS provisioner 负责在 NFS 的目录中以 ${namespace} - $ {pvcName} - $ {pvName} 格式创建目录，然后告诉 PVC 已经完成 PV 的创建，并且设定两者之间绑定关系。

创建 fs-client-provisioner.yaml 文件，编辑并保存，内容如下：

$ cat fs-client-provisioner.yaml
kind: Deployment
apiVersion: extensions/v1beta1
metadata:
  name: nfs-client-provisioner
spec:
  replicas: 1
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: nfs-client-provisioner
    spec:
      serviceAccountName: nfs-client-provisioner
      containers:
        - name: nfs-client-provisioner
          image: quay.io/external_storage/nfs-client-provisioner:latest
          volumeMounts:
            - name: nfs-client-root
              mountPath: /persistentvolumes
          env:
            - name: PROVISIONER_NAME
              value: my-nfs-provisioner
            - name: NFS_SERVER
              value: 192.168.11.189
            - name: NFS_PATH
              value: /home/work/_docker/k8s-nfs-share
      volumes:
        - name: nfs-client-root
          nfs:
            server: 192.168.11.189
            path: /home/work/_docker/k8s-nfs-share

要修改的地方只有NFS服务器所在的IP地址（192.168.11.189），以及NFS服务器共享的路径（/home/work/_docker/k8s-nfs-share），两处都需要修改为你实际的NFS服务器和共享目录

PROVISIONER_NAME 可以更改，但要与 StorageClass 中设置一致

通过以下命令，创建 NFS Client provisioner

$ kubectl apply -f nfs-client-provisioner.yaml
deployment.extensions/nfs-client-provisioner created

通过以下命令，可以查看 NFS Client provisioner 部署的状态

$ kubectl get deployments
NAME                     READY   UP-TO-DATE   AVAILABLE   AGE
nfs-client-provisioner   1/1     1            1           23s

3.4、创建 StorageClass

创建 storageclass.yaml 文件编辑并保存，内容如下：

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: my-nfs-storage
provisioner: my-nfs-provisioner
parameters:
  archiveOnDelete: "false"

通过以下命令创建 StorageClass

$ kubectl apply -f storageclass.yaml
storageclass.storage.k8s.io/my-nfs-storage created

通过以下命令，可以查看 StorageClass 状态

$ kubectl get storageclass
NAME             PROVISIONER          AGE
my-nfs-storage   my-nfs-provisioner   42s

3.5、创建 PersistentVolumeClaim

创建 PersistentVolumeClaim.yaml 文件编辑并保存，内容如下：

$ cat PersistentVolumeClaim.yaml
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: mysqlclaim
  namespace: mshk-top
  annotations:
    volume.beta.kubernetes.io/storage-class: "my-nfs-storage"
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 1024Gi

通过以下命令创建 PersistentVolumeClaim

$  kubectl apply -f PersistentVolumeClaim.yaml
persistentvolumeclaim/mysqlclaim created

通过以下命令，可以查看 StorageClass 状态是 Bound 就表示建立成功了：

$ kubectl get pvc -n mshk-top
NAME         STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS     AGE
mysqlclaim   Bound    pvc-e6825d5d-6765-11e9-b422-000c297a4f9f   1Ti        RWX            my-nfs-storage   52s

3.6、测试是否成功

创建 test-pod.yaml 文件编辑并保存，内容如下：

kind: Pod
apiVersion: v1
metadata:
  name: test-pod
  namespace: mshk-top
spec:
  containers:
  - name: test-pod
    image: gcr.io/google_containers/busybox:1.24
    command:
      - "/bin/sh"
    args:
      - "-c"
      - "touch /mnt/mshk.top && exit 0 || exit 1"
    volumeMounts:
      - name: nfs-pvc
        mountPath: "/mnt"
  restartPolicy: "Never"
  volumes:
    - name: nfs-pvc
      persistentVolumeClaim:
        claimName: mysqlclaim

上面的 Pod 会在动态挂载的 Volume 中创建一个 mshk.top 文件

通过以下命令创建 test-pod

$ kubectl apply -f test-pod.yaml
pod/test-pod created

通过以下命令可以看到在动态卷中创建文件成功

$ pwd
/home/work/_docker/k8s-nfs-share/mshk-top-mysqlclaim-pvc-e6825d5d-6765-11e9-b422-000c297a4f9f
$ ll
total 0
-rw-r--r-- 1 root root 0 Apr 25 22:29 mshk.top

希望本文对您有帮助，感谢您的支持和阅读我的博客。

比特币地址：1KdgydfKMcFVpicj5w4vyn3T88dwjBst6Y

以太坊地址：0xbB0a92d634D7b9Ac69079ed0e521CC2e0a97c420