MySQL主从复制+MySQL读写分离

  • 环境
系统类型 IP 主机名 所需软件 硬件
centos7.8 192.168.100.105 master boost_1_59_0.tar.gz mysql-5.7.12.tar.gz 内存:4G
centos7.8 192.168.100.106 slave boost_1_59_0.tar.gz mysql-5.7.12.tar.gz 内存:4G
centos7.8 192.168.100.107 mycat jdk-8u171-linux-x64.tar.gz Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz 内存:512M
centos7.8 192.168.100.108 lamp 内存:512M
[root@mycat ~]# tar xf jdk-8u171-linux-x64.tar.gz
[root@mycat ~]#  mv jdk1.8.0_171/ /usr/local/java
[root@mycat ~]#  vi /etc/profile
export JAVA_HOME=/usr/local/java
export PATH=$PATH:$JAVA_HOME/bin
[root@mycat ~]# source /etc/profile
[root@mycat ~]# tar xf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz
[root@mycat ~]# mv mycat/ /usr/local/
[root@mycat ~]# ls /usr/local/mycat/
bin  catlet  conf  lib  logs  version.txt
  • 在master节点进行授权允许mycat程序能够连接MySQL集群,slave节点会同步权限
[root@master ~]# mysql -uroot -p123123
mysql> grant all on *.* to 'linux'@'192.168.100.107' identified by '123123';
Query OK, 0 rows affected, 1 warning (0.01 sec)

mysql> flush privileges;
Query OK, 0 rows affected (0.01 sec)
  • 配置mycat节点的代理服务并启动
[root@mycat ~]# vi /usr/local/mycat/conf/schema.xml
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

        <schema name="VIR" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1" ></schema>

        <dataNode name="dn1" dataHost="node1" database="cloud" />

        <dataHost name="node1" maxCon="1000" minCon="10" balance="1" writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
                <heartbeat>select user()</heartbeat>
                <writeHost host="192.168.100.105" url="192.168.100.105:3306" user="linux" password="123123">
                        <readHost host="192.168.100.106" url="192.168.100.106:3306" user="linux" password="123123" />
                </writeHost>
        </dataHost>
</mycat:schema>

[root@mycat ~]# vi /usr/local/mycat/conf/server.xml
     80         <user name="admin">                 ##管理员账户
     81                 <property name="password">admin</property>
     82                 <property name="schemas">VIR</property>
     95         <user name="user">                  ##普通用户,只读权限
     96                 <property name="password">user</property>
     97                 <property name="schemas">VIR</property>
     98                 <property name="readOnly">true</property>
     99         </user>

[root@mycat ~]# vi /usr/local/mycat/conf/log4j2.xml
     25         <asyncRoot level="debug" includeLocation="true">

[root@mycat ~]# /usr/local/mycat/bin/mycat start
Starting Mycat-server...
[root@mycat ~]# netstat -utpln |grep 8066
tcp        0      0 0.0.0.0:8066            0.0.0.0:*               LISTEN      13090/java
[root@mycat ~]# netstat -utpln |grep 9066
tcp        0      0 0.0.0.0:9066            0.0.0.0:*               LISTEN      13090/java
[root@mycat ~]# tail /usr/local/mycat/logs/wrapper.log              ##服务日志
[root@mycat ~]# tail /usr/local/mycat/logs/mycat.log                    ##读写分离日志
  • 在master节点创建测试数据库及表
[root@master ~]# mysql -uroot -p123123
mysql> create database cloud;
Query OK, 1 row affected (0.00 sec)
mysql> create table cloud.it (id int,name char(16));
Query OK, 0 rows affected (0.02 sec)
mysql> exit
  • lamp节点客户端测试数据读写分离
[root@lamp ~]# mysql -uadmin -padmin -h 192.168.100.107 -P 8066
MySQL [(none)]> show databases;
+----------+
| DATABASE |
+----------+
| VIR      |
+----------+
1 row in set (0.00 sec)

MySQL [(none)]> use VIR;
MySQL [VIR]> show tables;
+-----------------+
| Tables_in_cloud |
+-----------------+
| it              |
| it1             |
+-----------------+
2 rows in set (0.01 sec)

李泽信 发布于 2022-7-17 17:06

账号管理及文件权限管理

一、用户和组账号的概述

1.概念:
  • 用户:包含一个名和密码,在计算机中的提现方式,包含root、普通用户、程序用户;
  • 组:用户的集合,批量管理用户群权限,包含基本组、附加组(一个用户只能属于一个基本组,但是可以属于多个附加组);
  • 权限:限制用户访问资源(文件、app、进程、硬件等);
  • UID: 每个用户账号都有一个数字标识(身份证),root(0)、普通用户(500-60000)、程序用户(1-499)
  • GID:没个组账号的唯一身份标识,root(0)、普通组账号(500-60000)、程序组账号(1-499);
2.用户和组的文件
/bash/passwd    #账号文件
/bash/shadow    #密码文件
/bash/group     #组账号文件
/etc/gshadow    #组密码文件,很少使用

二、用户及组账号的管理

  • 用户的管理
添加: 
    useradd [选项] 用户名
    选项:
        -d  #指定家目录
        -M  #不指定家目录
        -s  #指定用户的登录shell
        -g  #指定用户的基本组
        -G  #指定用户的附加组(可指定GID)
删除:
    userdel -r 用户名
    删除用户的同事也将家目录一并删除
改:
    usermod [选项] 用户名
    选项:
        包含创建用户的所有选项
    passwd  用户名 #为用户设置密码
    passwd  [选项] 用户名
    选项:
        -d  #清空用户的密码(不用密码登录)
        -l  #锁定用户
        -u  #解锁用户
        -S  #查看用户锁定状态
    chsh -s 解释器目录   用户名 #更改用户的shell解释器
查:
    grep 用户名 /etc/passwd    #查看账号信息
    id  用户名     #显示用户UID和所属组
    w   #查看当前主机的登录情况
  • 组的管理
    添加:
    groupadd    组名
    选项-g可指定GID
    删除:
    groupdel    组名
    改:
    gpasswd [选项] 用户名 组名
    选项:
        -a  #将单个用户添加到某个组
        -M  #将多个用户添加到某个组,用户之间用逗号隔开
        -d  #将某个用户在某个组中删除
    查:
    groups  用户名     #查看用户属组
    grep    组名  /etc/group  #查看组信息

三、文件的属性

  • 查看文件或目录的属性
ls -ld 目录或文件位置
  格式:文件类型、权限、inode数量、属主、属组、大小、日期、文件名
  权限列表:
    第一个字符:文件类型,d目录、b块设备文件、c字符设备文件、l链接文件、-普通文件;
    第2-4个字符:属主对文件的权限;
    第5-7个字符:属组对文件的权限;
    第8-10个字符:任何用户对文件的权限;
  权限的表示:
    r:读取,查看内容,也可以用4表示;
    w:写入,写入(删除、更改、移动等)内容,也可用2表示;
    x:执行,执行此文件或cd到此目录,也可用1表示;
  • 设置文件或目录的权限
语法:chmod [ugoa] [+-=] [rwx] 文件或目录
    举例:chmod g-x, o-r 文件或目录
    选项:-R 表示递归权限,目录下的子目录子文件继承父级目录的权限;
    语法:chmod 775 文件或目录
  • 设置目录或文件的归属
语法:
     chown 属主 文件或目录                 #设置其属主
     chown :属组 文件或目录                   #设置其属组
     chown 属主:属组 文件或目录              #设置其属主和属组
    注:选项-R 递归可将其子目录子文件继承父级目录的归属;
  • umask文件反权限:

    • umask #查看系统的默认权限反掩码值,文件最大权限为666,目录最大权限为777
    • umask 值 #手动更改文件权限的反掩码值,更改后创建文件或目录验证反掩码值
  • chattr锁定文件

    • chattr +i 文件路径 #锁定文件,不得移动删除等
    • chattr -i 文件路径 #解锁文件
  • 特殊权限setuid和setgid

    • chmod u+s 文件或目录位置 #设置setuid权限
    • chmod g+s 文件或目录位置 #设置setgid权限

/etc/passwd的权限为 -rw-r--r--。也就是说:该文件的所有者拥有读写的权限,而属组和其他人只有读取的权限。我们知道,在系统中我们要修改一个用户的密码,root用户和普通用户均可以用“/usr/bin/passwd 用户名” 这个命令来修改这个/etc/passwd这个文件,root用户本身拥有对/etc/passwd的写权限,可以理解;那普通用户没有写权限,那他怎么也能修改呢?这里就用到了setuid,setuid的作用是让执行该命令的用户以该命令拥有者的权限去执行,就是普通用户执行passwd时会拥有root的权限,这样就可以修改/etc/passwd这个文件了。它的标志为:s,会出现在x的地方,例:-rwsr-xr-x 。而setgid的意思和它是一样的,即让执行文件的用户以该文件所属组的权限去执行。

  • 特殊权限stick bit(粘滞位)

    • chmod o+t xxx #设置stick bit权限,针对目录

我们知道/tmp是系统的临时文件目录,所有的用户在该目录下拥有所有的权限,也就是说在该目录下可以任意创建、修改、删除文件,那如果用户A在该目录下创建了一个文件,用户B将该文件删除了,这种情况我们是不能允许的。为了达到该目的,就出现了stick  bit(粘滞位)的概念。它是针对目录来说的,如果该目录设置了stick  bit(粘滞位),则该目录下的文件除了该文件的创建者和root用户可以删除和修改/tmp目录下的stuff,别的用户均不能动别人的,这就是粘滞位的作用。

  • 特殊权限facl(文件的访问控制列表)的设置
语法:
    setfacl -m u:用户名:rwx 文件或目录
    setfacl -d -m u:用户名:rwx 目录      ##设置目录的默认facl并目录下所有子文件子目录都使用父目录的默认facl
   getfacl 目录或文件                    ##查看目标文件或目录的acl规则
   setfacl -b 文件或目录             ##删除文件所有的acl规则
    setfacl -x u:root 文件或目录         ##删除文件的一条acl规则
    setfacl  -m  m:w    /mnt/test           ##设置有效权限mask,有效权限(mask) 即用户或组所设置的权限必须要存在于mask的权限设置范围内才会生效 

李泽信 发布于 2022-7-17 16:55

linux系统程序管理及安装

linux应用程序的类型

  • *.rpm
    redhat系统默认的软件格式(使用了二进制的文件格式,代码相对来说比较封闭)
    rpm软件包名称格式:软件名-版本-发布次数-os平台-硬件平台(32bit/64bit).rpm
    硬件平台:
    32位:i386、i586、i686
    64位:x86
    不分硬件架构:noarch
  • 源码安装
    通用软件格式,压缩格式(xz、gz、bz2)的文件,也是生成rpm等包的基础自带安装程序或免安装软件。

程序文件存放位置

/etc/       #rpm包的配置文件
/var/log/   #日志文件
/usr/share/doc/     #软件的说明文档
/usr/bin/   #普通用户可运行的程序命令
/usr/sbin/  #root可运行的程序命令

一、rpm常用命令

  • 查询命令

      rpm -qa             #查询当前系统安装的所有rpm包
      rpm -ql 软件名       #查询软件包的所有有关文件
      rpm -qc 软件名       #查询软件包的所有配置文件
      rpm -qi 软件名       #查看软件包的详细信息
      rpm -qf 文件名       #查看此文件由哪个软件包提供
  • 安装、卸载、升级rpm软件包

    安装:
      rpm -ivh 软件包名  
    升级:
      rpm -F 软件包命   #为已安装的软件包升级
      rpm -U 软件包名   #为已安装的软件包升级,若未安装进行安装
    卸载:
      rpm -e 软件包名   #卸载软件包
    特殊用法:
    --force:强制安装,党已经安装的软件的文件丢失或者被损坏时用到,或系统中以存在新版本需要安装旧版本时;
    --nodeps:忽略依赖关系,安装或卸载时用到;
    --import:导入iso的公钥(检查包的合法性和完整性,不导入会在安装时报warning);

二、yum命令管理软件包

  • yum概述:C/S架构
    服务端:为客户端提供软件包的源,可以理解为一个服务站,

    • 可以使用ftp文件服务器提供yum的源
    • 可以使用http(apache、nginx)提供基于web的源
    • 可以使用本地file上传的文件
  • yum服务端搭建本地的yum源

    • 例如:
      mount /dev/cdrom /mnt 或者mount /dev/sr0 /mnt
      createrepo -g /mnt/repodata/repomd.xml /软件包位置 #根据光盘的repo文件作为模版
  • yum客户端的配置

    • 配置yum仓库,源的文件
      mount /dev/cdrom /mnt   #将光盘镜像文件挂载到/mnt下
      rm -rf /etc/yum.repos.d/*  #删除系统中自带的默认yum源文件
      vi /etc/yum.repos.d/local.repo
      [local] #自定义名称,标记
      name=local  #对repo文件的描述
      baseurl=file:///mnt #yum服务器的访问路径,可以指定多个
      enable=1    #为1代表开启此源,为0代表关闭此源,关闭后yum默认不会找到此源,需要使用yum --enablerepo=名称
      gpgcheck=0  #为0代表不进行gpg公钥的检查,为1代表进行检查
  • yum的配置文件

    /etc/yum.conf   #主配置文件
    keepcache=0 #将安装的软件包缓存到本地一份
    cachedir=/var/cache/yum/$basearch/$releasever   #指定缓存软件包的路径
    logfile=/var/log/yum.log    #yum的日志文件
  • yum 的用法

    • 查找

      yum list    #查看所有软件包
      yum repolist    #列出可用yum源
      yum search 软件名(关键字) #查找软件
      yum grouplist   #列出所有可安装的yum源的软件组
      yum groupinfo "软件组名"    #查看软件组中软件包
      yum provides */命令   #查看提供此命令的软件包
    • 安装

      yum -y install 软件包名
      yum -y groupinstall 软件组名
    • 卸载

      yum -y remove 软件包名
      yum -y erase 软件包名
      yum -y groupremove 软件组名
    • 修改(修改yum本身)

      yum clean all   #清空yum的所有缓存,出错时常用
      yum -y update   #更新系统,升级所有包,改变软件设置和系统设置,系统版本内核都升级
      yum -y upgrade  #升级所有包,不改变软件设置和系统设置,系统版本升级,内核不改变

李泽信 发布于 2022-7-17 15:21

MySQL主从复制 源码安装

  • 安装环境
系统 IP 主机名 所需软件 硬件
centos7.8 192.168.100.105 master boost_1_59_0.tar.gz mysql-5.7.12.tar.gz 内存:4G
centos7.8 192.168.100.106 slave boost_1_59_0.tar.gz mysql-5.7.12.tar.gz 内存:4G
  • 在master主机上安装ntp时间服务
[root@master ~]# yum -y install ntp
[root@master ~]# sed -i '/^server/s/^/#/g' /etc/ntp.conf
[root@master ~]# cat <<END >>/etc/ntp.conf 
 server 127.127.1.0
 fudge 127.127.1.0 stratum 8
 END
[root@master ~]# systemctl start ntpd
[root@master ~]# systemctl enable ntpd
Created symlink from /etc/systemd/system/multi-user.target.wants/ntpd.service to /usr/lib/systemd/system/ntpd.service.
  • 在slave主机中配置同步master的ntp时间
[root@slave ~]# yum -y install ntpdate
[root@slave ~]# ntpdate 192.168.100.105
[root@slave ~]# echo "/usr/sbin/ntpdate 192.168.100.105" >>/etc/rc.local
[root@slave ~]# chmod +x /etc/rc.local
  • 安装MySQL数据库,步骤相同,在此安装master
[root@master ~]# yum -y remove mysql-* boost-*      ##卸载系统中原有mysql与boost及依赖
[root@master ~]# rpm -qa mysql
[root@master ~]# rpm -qa boost
[root@master ~]# yum -y install gcc gcc-c++ ncurses bison libgcrypt perl cmake ncurses-devel
[root@master ~]# tar -zxvf boost_1_59_0.tar.gz
[root@master ~]# mv boost_1_59_0 /usr/local/boost/
[root@master ~]# groupadd mysql
[root@master ~]# useradd -r -g mysql mysql
[root@master ~]# tar zxvf mysql-5.7.12.tar.gz -C /usr/src/
[root@master ~]# cd /usr/src/mysql-5.7.12/          ##编译多次时,需要删除CMAKE的缓存,rm -rf /usr/src/mysql-5.7.12/CMakeCache.txt
[root@master mysql-5.7.12]# cmake . -DCMAKE_INSTALL_PREFIX=/usr/local/mysql -DMYSQL_DATADIR=/usr/local/mysql/data \
-DDEFAULT_CHARSET=utf8 -DDEFAULT_COLLATION=utf8_general_ci \
-DMYSQL_TCP_PORT=3306 -DMYSQL_USER=mysql -DWITH_MYISAM_STORAGE_ENGINE=1 -DWITH_INNOBASE_STORAGE_ENGINE=1 \
-DWITH_ARCHIVE_STORAGE_ENGINE=1 -DWITH_BLACKHOLE_STORAGE_ENGINE=1 \
-DWITH_MEMORY_STORAGE_ENGINE=1 -DENABLE_DOWNLOADS=1 -DDOWNLOAD_BOOST=1 -DWITH_BOOST=/usr/local/boost -DSYSCONFDIR=/etc

注释:
-DCMAKE_INSTALL_PREFIX=/usr/local/mysql                [MySQL安装的根目录]
-DMYSQL_DATADIR=/mydata/mysql/data                     [MySQL数据库文件存放目录]
-DDEFAULT_CHARSET=utf8                                 [设置默认字符集为utf8]
-DDEFAULT_COLLATION=utf8_general_ci                    [设置默认字符校对]
-DMYSQL_TCP_PORT=3306                                  [MySQL的监听端口]
-DMYSQL_USER=mysql                                     [MySQL用户名]    
-DWITH_MYISAM_STORAGE_ENGINE=1                         [安装MySQL的myisam数据库引擎]
-DWITH_INNOBASE_STORAGE_ENGINE=1                       [安装MySQL的innodb数据库引擎]
-DWITH_ARCHIVE_STORAGE_ENGINE=1                        [安装MySQL的archive数据库引擎]
-DWITH_BLACKHOLE_STORAGE_ENGINE=1                      [安装MySQL的blackhole数据库引擎]
-DWITH_MEMORY_STORAGE_ENGINE=1                         [安装MySQL的memory数据库引擎]
-DENABLE_DOWNLOADS=1                                   [编译时允许自主下载相关文件]
-DDOWNLOAD_BOOST=1                                     [允许下载BOOST]
-DWITH_BOOST=/usr/local/boost                          [指定系统中存在的BOOST]

-DSYSCONFDIR=/etc                                      [MySQL配置文件所在目录]
-DWITH_READLINE=1                                      [MySQL的readline library]
-DMYSQL_UNIX_ADDR=/var/run/mysql/mysql.sock            [MySQL的通讯目录]
-DENABLED_LOCAL_INFILE=1                               [启用加载本地数据]
-DWITH_PARTITION_STORAGE_ENGINE=1                       [启动mysql的分区存储结构]
-DEXTRA_CHARSETS=all                                   [使MySQL支持所有的扩展字符]
-DWITH_DEBUG=0                                         [禁用调试模式]
-DMYSQL_MAINTAINER_MODE=0 
-DWITH_SSL:STRING=bundled                              [通讯时支持ssl协议]
-DWITH_ZLIB:STRING=bundled                              [允许使用zlib library]
[root@master ~]# make -j `cat /proc/cpuinfo | grep processor| wc -l`
[root@master mysql-5.7.12]# make install
[root@master mysql-5.7.12]# chown -R mysql:mysql /usr/local/mysql
[root@master mysql-5.7.12]# cp /usr/src/mysql-5.7.12/support-files/my-default.cnf /etc/my.cnf
[root@master mysql-5.7.12]# cp /usr/src/mysql-5.7.12/support-files/mysql.server /etc/init.d/
[root@master mysql-5.7.12]# chmod +x /etc/init.d/mysql.server
[root@master mysql-5.7.12]# cat <<END >>/usr/lib/systemd/system/mysqld.service
 [Unit]
 Description=mysqldapi
 After=network.target

 [Service]
 Type=forking
 PIDFile=/usr/local/mysql/logs/mysqld.pid
 ExecStart=/etc/init.d/mysql.server start
 ExecReload=/etc/init.d/mysql.server restart
 ExecStop=/etc/init.d/mysql.server stop
 PrivateTmp=Flase

 [Install]
 WantedBy=multi-user.target
 END

注解:
PrivateTmp=Flase        ##此配置必须关闭,不然mysql连接文件mysql.sock文件会默认生成在以下位置/tmp/systemd-private-83bba738e8ff4837b5ae657eff983821-mysqld.service-BPxWpJ/tmp/mysql.sock,导致数据库无法连接,将此配置项关闭后,则文件正常生成在/tmp/mysql.sock
[root@master mysql-5.7.12]# echo "export PATH=$PATH:/usr/local/mysql/bin/" >>/etc/profile
[root@master mysql-5.7.12]# source /etc/profile
[root@master ~]# mysqld --initialize-insecure --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data       初始化
注解:
--initialize-insecure               ##禁用mysql的密码策略(密码复杂性等),--initializeaize是开启密码策略,自动生成密码在mysqld.log文件中
--user=mysql                        ##运行的账户
--basedir=/usr/local/mysql          ##mysql的安装位置
--datadir=/usr/local/mysql/data     ##mysql数据库服务数据的物理存放路径

[root@master ~]# cat <<END >/etc/my.cnf
[mysqld]
basedir = /usr/local/mysql
datadir = /usr/local/mysql/data
port = 3306
sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
character_set_server=utf8
init_connect='SET NAMES utf8'
log-error=/usr/local/mysql/logs/mysqld.log
pid-file=/usr/local/mysql/logs/mysqld.pid
skip-name-resolve
END

注解: 
[mysqld]                    ##声明区域
basedir = /usr/local/mysql          ##mysql的安装位置
datadir = /usr/local/mysql/data     ##mysql的物理文件存放位置
port = 3306                     ##mysql服务监听的端口
sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES     ##mysql的模式
character_set_server=utf8           ##字符集
init_connect='SET NAMES utf8'       
log-error=/usr/local/mysql/logs/mysqld.log          ##指定日志文件位置
pid-file=/usr/local/mysql/logs/mysqld.pid           ##指定运行服务所产生的pid文件位置
skip-name-resolve                   ##禁用数据库的反向DNS解析

[root@master ~]# mkdir /usr/local/mysql/logs
[root@master ~]# chown mysql:mysql /usr/local/mysql/logs/
[root@master ~]# systemctl start mysqld
[root@master ~]#  systemctl enable mysqld
Created symlink from /etc/systemd/system/multi-user.target.wants/mysqld.service to /usr/lib/systemd/system/mysqld.service.
[root@master ~]# netstat -utpln |grep mysqld
tcp        0      0 0.0.0.0:3306            0.0.0.0:*               LISTEN      18723/mysqld
  • 优化配置master主机的mysql服务
[root@master ~]#  vi /etc/my.cnf        ##末尾添加
log-bin=master-bin
log-slave-updates
server-id=1
innodb_flush_log_at_trx_commit=2
master_info_repository=table
relay_log_info_repository=TABLE

注解:
log-bin=master-bin                          ##指定生成二进制文件,可加目录
log-slave-updates                           ##指定开启slave角色的更新
server-id=1                             ##指定id号码
innodb_flush_log_at_trx_commit=2            ##见下方
master_info_repository=table
relay_log_info_repository=TABLE

[root@master ~]#  systemctl restart mysqld
[root@master ~]#  ls /usr/local/mysql/data/
...  master-bin.000001  master-bin.index  ...
  • 优化配置slave主机的mysql
[root@slave ~]# vi /etc/my.cnf          ##末尾添加
log-bin=relay1-bin
relay-log=relay1-log-bin
relay-log-index=slave-relay1-bin.index
server-id=2
innodb_flush_log_at_trx_commit=2
slave-parallel-type=LOGICAL_CLOCK
slave_parallel_workers=16
master_info_repository=table
relay_log_info_repository=TABLE

注解:
relay-log=relay-log-bin                     ##中继日志文件名
relay-log-index=slave-relay-bin.index           ##中继日志索引文件
server-id=2                             ##id号码
innodb_flush_log_at_trx_commit=2
##指定数据库在存储数据时,事务的刷新方式,如下:
0:该模式速度最快,但不太安全,mysqld进程的崩溃会导致上一秒钟所有事务数据的丢失。
1:最安全的,默认值,但是最慢是每一次事务提交或事务外的指令都需要把日志写入(flush)硬盘。在mysqld 服务崩溃或者服务器主机crash的情况下,binary log 只有可能丢失最多一个语句或者一个事务。
2:比0安全,速度比较快,是不写入硬盘而是写入系统缓存。日志仍然会每秒flush到硬盘,所以你一般不会丢失超过1-2秒的更新。只有在操作系统崩溃或者系统断电的情况下,上一秒钟所有事务数据才可能丢失。
slave-parallel-type=LOGICAL_CLOCK
##选择并行复制的类型
slave_parallel_workers=16
##worker线程数量
master_info_repository=table
##默认是file,master的更新或者slave的更新直接存放在文件内,若出现故障,会出现数据丢失;若改为table,则为表的方式进行存储更新,支持事务,安全性更高;
relay_log_info_repository=TABLE
##指定中继日志更新,提升性能

[root@slave ~]# systemctl restart mysqld
[root@slave ~]# ls /usr/local/mysql/data/
...  relay1-bin.000001  relay1-bin.index ...
  • 配置master主机上的master角色,配置主节点
[root@master ~]# mysql -uroot -p123123
mysql> show variables like 'server_id';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 1     |
+---------------+-------+

mysql> grant replication slave on *.* to 'linuxfan'@'192.168.100.%' identified by '123123';
Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

mysql>  show master status;
+-------------------+----------+--------------+------------------+-------------------+
| File              | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+-------------------+----------+--------------+------------------+-------------------+
| master-bin.000001 |      1008 |              |                  |                   |
+-------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

mysql> create database linuxfan;
Query OK, 1 row affected (0.00 sec)

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| linuxfan             |
| mysql              |
| performance_schema |
| sys                |
+--------------------+
5 rows in set (0.00 sec)
  • 配置slave主机的slave角色,配置从节点
[root@slave ~]# mysql -uroot -p123123
mysql> show variables like 'server_id';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 2     |
+---------------+-------+
1 row in set (0.00 sec)

mysql> change master to master_host='192.168.100.105',master_user='linuxfan',master_password='123123',master_log_file='master-bin.000001',master_log_pos=1008;
mysql> start slave;

mysql>  show slave status\G
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 192.168.100.105
                  Master_User: linuxfan
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: master-bin.000001
          Read_Master_Log_Pos: 1008
               Relay_Log_File: relay1-log-bin.000002
                Relay_Log_Pos: 321
        Relay_Master_Log_File: master-bin.000001
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
  • 如果出现以下错误解决

错误1
slave中出现无法识别Master的UUID(虚拟机克隆导致mysql服务的UUID一致冲突);

解决方法:

[root@slave ~]# rm -rf /usr/local/mysql/data/auto.cnf           ##重新生成UUID的配置文件
[root@slave ~]# systemctl restart mysqld

错误2:slave中指定的master的position值大于当前值;

解决方法:

[root@slave ~]# mysql -uroot -p123123           ##重新指定master的position值
mysql> stop slave;
mysql> change master to ...
mysql> start slave;
  • 配置master角色指定主从复制中特定的数据库优化
[root@master ~]# vi /etc/my.cnf
binlog-do-db=linuxfan
binlog-ignore-db=mysql
binlog-ignore-db=information_schema
binlog-ignore-db=performance_schema
binlog-ignore-db=sys
expire_logs_days=7

注解:
binlog-do-db=linuxfan                   ##允许同步的数据库名称
binlog-ignore-db=mysql              ##不允许同步的数据库名称
binlog-ignore-db=information_schema
binlog-ignore-db=performance_schema
binlog-ignore-db=sys
expire_logs_days=7                      ##指定日志存放的时间为7天

[root@master ~]# systemctl restart mysqld
[root@master ~]# mysql -uroot -p123123
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| linuxfan              |
| mysql              |
| performance_schema |
| sys                |
+--------------------+
5 rows in set (0.00 sec)

mysql> use linuxfan;
Database changed
mysql> create table it(岗位 char(16),姓名 char(16),身份证号 char(48),学历 char(16),工资 int);
Query OK, 0 rows affected (0.02 sec)
mysql>  insert into it values('网络工程师','张三','150404199201091132','高 中','5500');
Query OK, 1 row affected (0.02 sec)
mysql> select * from it;
+-----------------+--------+--------------------+--------+--------+
| 岗位            | 姓名   | 身份证号           | 学历   | 工资   |
+-----------------+--------+--------------------+--------+--------+
| 网络工程师      | 张三   | 150404199201091132 | 高中   |   5500 |
+-----------------+--------+--------------------+--------+--------+
  • 验证slave角色的数据库复制情况
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| linuxfan           |
| mysql              |
| performance_schema |
| sys                |
+--------------------+

mysql> use linuxfan;
Database changed
mysql> select * from it;
+-----------------+--------+--------------------+--------+--------+
| 岗位            | 姓名   | 身份证号           | 学历   | 工资   |
+-----------------+--------+--------------------+--------+--------+
| 网络工程师      | 张三   | 150404199201091132 | 高中   |   5500 |
+-----------------+--------+--------------------+--------+--------+

错误:slave中无法找到当前insert语句所在的数据库,错误原因是在之前的同步中出现了失败,导致后续同步无法继续运行;

解决方案:在slave中创建缺少的数据库或者其他数据;

  • 查看并设置slave节点sql线程并发数量
mysql> show full processlist;
+-----+-------------+-----------+------+---------+------+--------------------------------------------------------+-----------------------+
| Id  | User        | Host      | db   | Command | Time | State                                                  | Info                  |
+-----+-------------+-----------+------+---------+------+--------------------------------------------------------+-----------------------+
| 130 | root        | localhost | haha | Query   |    0 | starting                                               | show full processlist |
| 131 | system user |           | NULL | Connect | 5527 | Waiting for master to send event                       | NULL                  |
| 132 | system user |           | NULL | Connect |   55 | Slave has read all relay log; waiting for more updates | NULL                  |
| 133 | system user |           | NULL | Connect |   55 | Waiting for an event from Coordinator                  | NULL                  |
| 134 | system user |           | NULL | Connect | 5527 | Waiting for an event from Coordinator                  | NULL                  |
| 135 | system user |           | NULL | Connect | 5527 | Waiting for an event from Coordinator                  | NULL                  |
| 136 | system user |           | NULL | Connect | 5527 | Waiting for an event from Coordinator                  | NULL                  |
| 137 | system user |           | NULL | Connect | 5527 | Waiting for an event from Coordinator                  | NULL                  |
| 138 | system user |           | NULL | Connect | 5527 | Waiting for an event from Coordinator                  | NULL                  |
| 139 | system user |           | NULL | Connect | 5527 | Waiting for an event from Coordinator                  | NULL                  |
| 140 | system user |           | NULL | Connect | 5527 | Waiting for an event from Coordinator                  | NULL                  |
| 141 | system user |           | NULL | Connect | 5527 | Waiting for an event from Coordinator                  | NULL                  |
| 142 | system user |           | NULL | Connect | 5527 | Waiting for an event from Coordinator                  | NULL                  |
| 143 | system user |           | NULL | Connect | 5527 | Waiting for an event from Coordinator                  | NULL                  |
| 144 | system user |           | NULL | Connect | 5527 | Waiting for an event from Coordinator                  | NULL                  |
| 145 | system user |           | NULL | Connect | 5527 | Waiting for an event from Coordinator                  | NULL                  |
| 146 | system user |           | NULL | Connect | 5527 | Waiting for an event from Coordinator                  | NULL                  |
| 147 | system user |           | NULL | Connect | 5527 | Waiting for an event from Coordinator                  | NULL                  |
| 148 | system user |           | NULL | Connect | 5527 | Waiting for an event from Coordinator                  | NULL                  |
+-----+-------------+-----------+------+---------+------+--------------------------------------------------------+-----------------------+
19 rows in set (0.00 sec)

mysql>  set @@global.slave_parallel_workers=2;
Query OK, 0 rows affected (0.00 sec)

mysql> stop slave sql_thread;
Query OK, 0 rows affected (0.01 sec)

mysql> start slave sql_thread;
Query OK, 0 rows affected (0.03 sec)

mysql> show full processlist;
+-----+-------------+-----------+------+---------+------+--------------------------------------------------------+-----------------------+
| Id  | User        | Host      | db   | Command | Time | State                                                  | Info                  |
+-----+-------------+-----------+------+---------+------+--------------------------------------------------------+-----------------------+
| 130 | root        | localhost | haha | Query   |    0 | starting                                               | show full processlist |
| 131 | system user |           | NULL | Connect | 5565 | Waiting for master to send event                       | NULL                  |
| 149 | system user |           | NULL | Connect |    4 | Slave has read all relay log; waiting for more updates | NULL                  |
| 150 | system user |           | NULL | Connect |    4 | Waiting for an event from Coordinator                  | NULL                  |
| 151 | system user |           | NULL | Connect |    4 | Waiting for an event from Coordinator                  | NULL                  |
+-----+-------------+-----------+------+---------+------+--------------------------------------------------------+-----------------------+
5 rows in set (0.00 sec)

李泽信 发布于 2022-7-14 13:07

Centos7安装MySQL

Centos7安装MySQL

一、MySQL概述

MySQL 是一个关系型数据库管理系统,由瑞典 MySQL AB 公司开发,目前属于 Oracle 旗下公司。是一个真正的多用户、多线程SQL数据库服务器。SQL(结构化查询语言)是世界上最流行的和标准化的数据库语言。MySQL是以一个客户机/服务器结构的实现,它由一个服务器守护程序mysqld和很多不同的客户程序和库组成。 SQL是一种标准化的语言,它使得存储、更新和存取信息更容易;

MySQL存储原理

Mysql整体架构:

在这里插入图片描述

1.连接池:最上层负责和客户端进行连接,比如jdbc,odbj这样的数据库连接的API,在这一层有连接池的概念,类似于线程池,连接池可以同时处理很多个数据库请求。同时这一层有SSL的安全概念,可以确保连接是安全的;
2.SQL接口:当SQL语句进入MySQL后,会先到SQL接口中,这一层是封装层,将传过来的SQL语句拆散,将底层的结果封装成SQL的数据格式;
3.解析器:这一层负责将SQL语句进行拆分,验证,如果语句有问题那么就返回错误,如果没问题就继续向下执行;
4.优化器:对SQL查询的结果优化处理,产生多种执行计划,最终数据库会选择最优化的方案去执行,尽快返会结果。比如select a,b from c where d。在这里会先查询c表中符合d的数据并将他们的ab项进行投影,返回结果,并不会直接把整张表查出来;
5.缓存:对要查询的SQL语句进行hash后缓存,如果下一次是相同的查询语句,则在SQL接口之后直接返回结果;
6.存储引擎:MySQL有很多种存储引擎,每一种存储引擎有不同的特性,他们负责组织文件的存放形式,位置,访问文件的方法等等。比较常用的有innoDB,MyISAM,MAMORY等;
7.文件系统:真正存放物理文件的单位;

存储引擎:

在这里插入图片描述
1.MyISAM:是mysql 5.5版本之前的默认的存储引擎,它的前身是ISAM,MyISAM管理非事务表,提供告诉存储和检索,以及全文搜索能力,从而受到web开发者的喜爱;MyISAM引擎创建数据库,将产生3个文件。文件的名字以表名字开始,扩展名之处文件类型:frm文件存储表定义、数据文件的扩展名为.MYD(MYData)、索引文件的扩展名时.MYI(MYIndex);

优点:查询访问较快,因为读的时候会加表锁;
支持多种存储方式:静态表,动态表,压缩表等;
存储总行数;
通过key_buffer_size设置缓存索引,调高访问的性能,减少磁盘I/O的压力;

缺点:写入效率慢,因为写的时候会给整张表加锁;
没有事务的概念;
数据恢复起来比较困难;
数据写入过程中阻塞用户对表内数据的读取;
数据读取过程中阻塞用户对表内数据的写入;

生产环境场景
公司业务不需要事务的支持;
一般单方面的读取数据的需求较多,或者单方面写入数据的需求较多,不适合双方面;
服务器硬件资源相对比较差;

2.innoDB:支持事务,具有事务提交、回滚、崩溃恢复等机制,它的设计是为处理巨大数据量时的最大性能设置的,它的CPU效率是任何磁盘的关系数据库引擎所不能匹敌的,InnoDB存储引擎完全与Mysql服务器整合,为在内存中缓存数据和索引而维持它自己的缓冲池,InnoDB表可以是任何尺寸,即使在文件尺寸被限制为2GB的操作系统上也无影响;InnoDB不创建目录,使用InnoDB时,MySQL将在MySQL数据目录下创建一个名为ibdata1的10MB大小的自动扩展数据文件,以及两个名为ib_logfile0和ib_logfile1的5MB大小的日志文件;

优点:支持事务,事务隔离级别;
支持外键,具有安全的约束性;
主键是唯一的聚集索引,和数据存放在一起,效率高;
可以有非聚集索引,非聚集索引单独存放,可以通过其查到聚集索引;
支持分区、表空间、类似于Oracle;

缺点:占用磁盘较多,占用内存较多(缓存);
读效率慢于MyISAM;
不存储总行数;

生产环境场景
业务需要事务的支持;
行级锁定对高并发有很好的适应能力;
业务数据更新较为频繁的场景,如微博,论坛等;
业务数据一致性要求较高,比如银行业务;
硬件设备内存较大,利用InnoDB较好的缓存能力来提高内存利用率;

总结

  1. 如果要提供读少写多,并且需要提交、回滚、崩溃恢复能力的事物安全能力,并要求实现并发控制,InnoDB是一个好的选择;
  2. 如果数据表主要用来读多写少,对原子性要求不高,则MyISAM引擎能提供较高的处理效率;
    如果只是临时存放数据,数据量不大,并且不需要较高的数据安全性,可以选择将数据保存在内存中的Memory引擎,MySQL中使用该引擎作为临时表,存放查询的中间结果;
  3. 如果只有INSERT和SELECT操作,可以选择Archive,Archive支持高并发的插入操作,但是本身不是事务安全的。Archive非常适合存储归档数据,如记录日志信息可以使用Archive;

    使用哪一种引擎需要灵活选择,一个数据库中多个表可以使用不同引擎以满足各种性能和实际需求,使用合适的存储引擎,将会提高整个数据库的性能,在数据库中可以使用命令show engines查看存储引擎;

二、MySQL安装,源码安装

安装环境
系统类型 IP地址 所需软件 硬件需求
Centos7.8 192.168.100.102 mysql-5.7.12.tar.gz、boost_1_59_0.tar.gz 内存:4G、CPU核心:2
查看并卸载系统所安装rpm
[root@localhost ~]# yum -y remove mysql-* boost-*
[root@localhost ~]# rpm -qa mysql
[root@localhost ~]# rpm -qa boost
安装依赖
[root@localhost ~]# yum -y install gcc gcc-c++ ncurses ncurses-devel bison libgcrypt perl cmake
注:MySQL5.5以上需要cmake进行编译
解压boost安装包
[root@localhost ~]# tar xf boost_1_59_0.tar.gz
[root@localhost ~]# mv boost_1_59_0 /usr/local/boost
创建mysql用户与组
[root@localhost ~]# groupadd mysql
[root@localhost ~]# useradd -r -g mysql mysql
安装MySQL安装包
[root@localhost ~]# tar xf mysql-5.7.12.tar.gz -C /usr/src/
[root@localhost ~]# cd /usr/src/mysql-5.7.12/           ##编译多次时,需要删除CMAKE的缓存,rm -rf /usr/src/mysql-5.7.12/CMakeCache.txt
[root@localhost mysql-5.7.12]# cmake . -DCMAKE_INSTALL_PREFIX=/usr/local/mysql -DMYSQL_DATADIR=/usr/local/mysql/data -DDEFAULT_CHARSET=utf8 -DDEFAULT_COLLATION=utf8_general_ci -DMYSQL_TCP_PORT=3306 -DMYSQL_USER=mysql -DWITH_MYISAM_STORAGE_ENGINE=1 -DWITH_INNOBASE_STORAGE_ENGINE=1 -DWITH_ARCHIVE_STORAGE_ENGINE=1 -DWITH_BLACKHOLE_STORAGE_ENGINE=1 -DWITH_MEMORY_STORAGE_ENGINE=1 -DENABLE_DOWNLOADS=1 -DDOWNLOAD_BOOST=1 -DWITH_BOOST=/usr/local/boost -DSYSCONFDIR=/etc
[root@localhost mysql-5.7.12]# make -j `cat /proc/cpuinfo | grep processor| wc -l`
[root@localhost mysql-5.7.12]# make install
注释:
-DCMAKE_INSTALL_PREFIX=/usr/local/mysql                [MySQL安装的根目录]
-DMYSQL_DATADIR=/mydata/mysql/data                     [MySQL数据库文件存放目录]
-DDEFAULT_CHARSET=utf8                                 [设置默认字符集为utf8]
-DDEFAULT_COLLATION=utf8_general_ci                    [设置默认字符校对]
-DMYSQL_TCP_PORT=3306                                  [MySQL的监听端口]
-DMYSQL_USER=mysql                                     [MySQL用户名]    
-DWITH_MYISAM_STORAGE_ENGINE=1                         [安装MySQL的myisam数据库引擎]
-DWITH_INNOBASE_STORAGE_ENGINE=1                       [安装MySQL的innodb数据库引擎]
-DWITH_ARCHIVE_STORAGE_ENGINE=1                        [安装MySQL的archive数据库引擎]
-DWITH_BLACKHOLE_STORAGE_ENGINE=1                      [安装MySQL的blackhole数据库引擎]
-DWITH_MEMORY_STORAGE_ENGINE=1                         [安装MySQL的memory数据库引擎]
-DENABLE_DOWNLOADS=1                                   [编译时允许自主下载相关文件]
-DDOWNLOAD_BOOST=1                                     [允许下载BOOST]
-DWITH_BOOST=/usr/local/boost                          [指定系统中存在的BOOST]
-DSYSCONFDIR=/etc                                      [MySQL配置文件所在目录]
-DWITH_READLINE=1                                      [MySQL的readline library]
-DMYSQL_UNIX_ADDR=/var/run/mysql/mysql.sock            [MySQL的通讯目录]
-DENABLED_LOCAL_INFILE=1                               [启用加载本地数据]
-DWITH_PARTITION_STORAGE_ENGINE=1                      [启动mysql的分区存储结构]
-DEXTRA_CHARSETS=all                                   [使MySQL支持所有的扩展字符]
-DWITH_DEBUG=0                                         [禁用调试模式]
-DMYSQL_MAINTAINER_MODE=0 
-DWITH_SSL:STRING=bundled                              [通讯时支持ssl协议]
-DWITH_ZLIB:STRING=bundled                             [允许使用zlib library]
优化调整Mysql程序
[root@localhost ~]# chown -R mysql:mysql /usr/local/mysql
[root@localhost ~]# cp /usr/src/mysql-5.7.12/support-files/my-default.cnf /etc/my.cnf
[root@localhost ~]# cp /usr/src/mysql-5.7.12/support-files/mysql.server /etc/init.d/
[root@localhost ~]# chmod +x /etc/init.d/mysql.server
[root@localhost ~]# cat <<END >>/usr/lib/systemd/system/mysqld.service  #编写服务控制脚本
[Unit]
Description=mysqldapi
After=network.target

[Service]
Type=forking
PIDFile=/usr/local/mysql/logs/mysqld.pid
ExecStart=/etc/init.d/mysql.server start
ExecReload=/etc/init.d/mysql.server restart
ExecStop=/etc/init.d/mysql.server stop
PrivateTmp=Flase

[Install]
WantedBy=multi-user.target
END

注:
PrivateTmp=Flase        ##此配置必须关闭,不然mysql连接文件mysql.sock文件会默认生成在以下位置/tmp/systemd-private-83bba738e8ff4837b5ae657eff983821-mysqld.service-BPxWpJ/tmp/mysql.sock,导致数据库无法连接,将此配置项关闭后,则文件正常生成在/tmp/mysql.sock

[root@localhost ~]# echo "export PATH=$PATH:/usr/local/mysql/bin/" >>/etc/profile
[root@localhost ~]# source /etc/profile
初始化Mysql数据库服务
[root@localhost ~]# mysqld --initialize-insecure --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data
注:
--initialize-insecure               ##禁用mysql的密码策略(密码复杂性等),--initializeaize是开启密码策略,自动生成密码在mysqld.log文件中
--user=mysql                        ##运行的账户
--basedir=/usr/local/mysql          ##mysql的安装位置
--datadir=/usr/local/mysql/data     ##mysql数据库服务数据的物理存放路径

[root@localhost ~]#cat <<END >/etc/my.cnf
[mysqld]
basedir = /usr/local/mysql
datadir = /usr/local/mysql/data
port = 3306
sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
character_set_server=utf8
init_connect='SET NAMES utf8'
log-error=/usr/local/mysql/logs/mysqld.log
pid-file=/usr/local/mysql/logs/mysqld.pid
skip-name-resolve
END

注: 
[mysqld]                    ##声明区域
basedir = /usr/local/mysql          ##mysql的安装位置
datadir = /usr/local/mysql/data     ##mysql的物理文件存放位置
port = 3306                     ##mysql服务监听的端口
sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES     ##mysql的模式
character_set_server=utf8           ##字符集
init_connect='SET NAMES utf8'       
log-error=/usr/local/mysql/logs/mysqld.log          ##指定日志文件位置
pid-file=/usr/local/mysql/logs/mysqld.pid           ##指定运行服务所产生的pid文件位置
skip-name-resolve                   ##跳过mysql的域名反向解析

[root@localhost ~]# mkdir /usr/local/mysql/logs
[root@localhost ~]# chown mysql:mysql /usr/local/mysql/logs/
[root@localhost ~]# systemctl start mysqld
[root@localhost ~]# systemctl enable mysqld
Created symlink from /etc/systemd/system/multi-user.target.wants/mysqld.service to /usr/lib/systemd/system/mysqld.service.
[root@localhost ~]# netstat -utpln |grep mysqld
tcp        0      0 0.0.0.0:3306            0.0.0.0:*               LISTEN      30513/mysqld
测试连接访问数据库
[root@localhost ~]# mysql       ##登录mysql设置密码
mysql> alter user 'root'@'localhost' identified by '123123';
mysql> exit
[root@localhost ~]# mysql -uroot -p123123       #测试连接
mysql> exit

李泽信 发布于 2022-7-12 23:12

MySQL主从复制 yum安装

MySQL数据库的主从复制

  • 概述
    单台MySQL数据库服务器,需要承载客户端的读取和写入操作的请求,那么弱客户端请求过多,服务器会不堪重负,那么可以选择MySQL数据库集群的方式来增加MySQL服务处理数据的效率,想web集群一样,但是不得不考虑的是多台MySQL数据库之间数据的一致性;

  • MySQL主从复制原理

    • 在每一个失误更新之前,master在二进制日志记录这些改变,写入二进制日志完成后,master通知存储引擎提交事务

    • slave将master的Binary log复制到其中继日志中,首先slave开始一个I/O线程,I/O线程在master的Binary log中读取事件,如果已经跟上master,他会睡眠并等待master产生新的事件,I/O线程将这些事件写入到中继日志的Relay log中,中继日志通常存放在OS的缓存中,所以开销较小;

    • slave中的sql线程在中级日志Relay log中读取事件,并重放其中的时间而更新slave的数据,使其与master中的数据一致;

    • 复制类型

      • 基于语句的复制
        在主服务器上执行的sql语句,再从服务器上同样也会执行,MySQL默认选用基于语句的复制,效率比较高,MySQL5.0及之前的版本仅支持基于语句的复制(也叫做逻辑复制,logical replication),这在数据库并不常见。master记录下改变数据的查询,然后slave从中继日志中读取事件,并执行它,这些sql语句与master执行的语句一样
      • 基于行的复制
        把改变的内容复制过去,而不是把命令重新执行一遍
        混合型的复制
        默认采用基于语句的复制,一旦发现基于语句无法精确复制时,就会采用基于行
  • 主从复制方式

    • 基于二进制文件
      二级制日志文件
    • 基于GTID方式
      全局事务标示符自5.6版本开启的新型复制方式,GTID的组成:前面是server_uuid,后面是一个序列号
      例如:server_uuid:sequence number
      7800a22c-95ae-11e4-983d-080027de205a:10
      UUID:每个mysql实例的唯一ID,由于会传递到slave,所以也可以理解为源ID。
      Sequence number:在每台MySQL服务器上都是从1开始自增长的序列,一个数值对应一个事务。

    工作过程

    1、master更新数据时,会在事务前产生GTID,一同记录到binlog日志中。
    2、slave端的I/O 线程将变更的binlog,写入到本地的relay log中。
    3、sql线程从relay log中获取GTID,然后对比slave端的binlog是否有记录。
    4、如果有记录,说明该GTID的事务已经执行,slave会忽略。
    5、如果没有记录,slave就会从relay log中执行该GTID的事务,并记录到binlog。
    6、在解析过程中会判断是否有主键,如果有就用二级索引,如果没有就用全部扫描。
    优势:
    1、更简单的实现failover,不用以前那样在需要找二进制日志文件log_file和位置值log_pos。
    2、更简单的搭建主从复制。
    3、比传统的复制更加安全。
    4、GTID是连续的没有空洞的,保证数据的一致性,零丢失。     
    5、slave无需知道master的pos值和日志文件值,只需要知道master的ip、用户名、密码即可;
    
  • 搭建MySQL主从复制

系统环境 IP地址 安装版本
centos7.8 192.168.100.105 mysql5.7.39
centos7.8 192.168.100.106 mysql5.7.39
  • 安装MySQL,yum方式安装
    两台安装方式一致,详见https://www.studyxin.com/MySQL/61.html
  • 配置master主服务器
[root@localhost ~]# vim /etc/my.cnf         ##在mysqld区域添加以下内容
[mysqld]
server-id=1             ##配置server-id,让主服务器有唯一ID号
log-bin=mysql-bin       ##打开mysql日志,日志格式为二进制
skip-name-resolve       ##关闭名称解析,(非必填)

[root@localhost ~]# systemctl restart  mysqld.service       ##重启生效
[root@localhost ~]# mysql -uroot -p123123
##在master的数据库中建立一个备份账户:使得每一个slave使用标准的MySQL用户名和密码连接master,进行赋值操作的用户会授予replication slave权限
mysql> grant replication slave,replication client on *.* to slave@'192.168.100.%' identified by '123123';

##在master的数据库执行show master status,查看主服务器二进制状态及位置号
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000001 |      622 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)
  • 配置slave从服务器
[root@localhost ~]# vim /etc/my.cnf
[mysqld]
server-id=2                     ##配置server-id,让从服务器有唯一ID号
relay-log=mysql-relay-bin       ##打开mysql日志,日志格式为二进制
read-only=1                     ##设置为只读权限
log-bin=mysql-bin               ##开启从服务器二进制日志
log-slave-updates=1             ##使得更新的数据写进二进制日志中

[root@localhost ~]# systemctl restart  mysqld.service
[root@localhost ~]# mysql -uroot -p123123
##让slave连接master,并开始重做master二进制日志中的事件
mysql> change master to master_host='192.168.100.105',
    -> master_user='slave',
    -> master_password='123123',
    -> master_log_file='mysql-bin.000001',
    -> master_log_pos=622;
Query OK, 0 rows affected, 2 warnings (0.01 sec)

mysql> start slave;         ##执行start  slave,启动复制线程
Query OK, 0 rows affected (0.00 sec)

##使用show slave status\G;查看服务器状态,如下所示,也可使用show processlist \G;查看当前复制状态
mysql> show slave status\G;
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes

  • 测试主从同步
    在master服务器上创建数据库、表,并插入数据,查看slave同步状态
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
+--------------------+

mysql> create database hello;
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| hello              |
| mysql              |
| performance_schema |
| sys                |
+--------------------+
5 rows in set (0.00 sec)

mysql> use hello;
mysql> create table good(id int not null);
mysql> show tables;
+-----------------+
| Tables_in_hello |
+-----------------+
| good            |
+-----------------+
1 row in set (0.00 sec)

mysql> insert into good values (1);
mysql> show tables;
+-----------------+
| Tables_in_hello |
+-----------------+
| good            |
+-----------------+
1 row in set (0.00 sec)

mysql> select * from good;
+----+
| id |
+----+
|  1 |
+----+
1 row in set (0.00 sec)

slave验证

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| hello              |
| mysql              |
| performance_schema |
| sys                |
+--------------------+
5 rows in set (0.00 sec)

mysql> use hello;
mysql> show tables;
+-----------------+
| Tables_in_hello |
+-----------------+
| good            |
+-----------------+
1 row in set (0.00 sec)

mysql> select * from good;
+----+
| id |
+----+
|  1 |
+----+
1 row in set (0.00 sec)

李泽信 发布于 2022-7-3 21:38

个人资料

搜索

日历

时间进度

    今日剩余 59.6%
    本周剩余 37.1%
    本月剩余 22.0%
    本年剩余 52.2%

访问统计