澳门新浦京娱乐场网站-www.146.net-新浦京娱乐场官网
做最好的网站

澳门新浦京娱乐场网站分娩条件使用,mysql主从风

一、环境

1、系统环境

系统 IP 主机名 说明 server_id
centos6.7 MasterIP master 数据库:主 177 
centos6.7 SlaveIP slave 数据库:从 148

2、软件环境

软件 版本 安装方式 说明
pt工具 3.0.4 编译安装 这是一个综合工具包,包含很多pt命令
mysql数据库 5.6.37 yum安装 主从环境

3、需要用到库

库名 表名 用途
 percona checksums

存储pt命令监测的结果,第一次执行检测命令时会自己创建

修复工具修复的时候会读取该表

#本表格也可以自己创建,在使用pt工具的时候指定库表名字,详见下面的参数解释。

注意:自建库表测试尚未通过。

公司数据中心从托管机房迁移到阿里云,需要对mysql迁移(Replication)后的数据一致性进行校验,但又不能对生产环境使用造成影响,pt-table-checksum 成为了绝佳也是唯一的检查工具。

17:27

二、为什么要做主从一致性监测

1、主从复制是基于binlog的逻辑复制,难免出现复制数据不一致的风险

2、这个风险不但会引起用户数据访问前后不一致的风险

3、而且会导致后续复制出现1032、1062错误进而引起复制架构停滞的隐患

4、为了及时发现并解决这个问题

5、我们需要定期或不定期地开展主从复制数据一致性的校验和修复工作

pt-table-checksum 是 Percona-Toolkit 的组件之一,用于检测MySQL主、从库的数据是否一致。其原理是在主库执行基于statement的sql语句来生成主库数据块的checksum,把相同的sql语句传递到从库执行,并在从库上计算相同数据块的checksum,最后,比较主从库上相同数据块的checksum值,由此判断主从数据是否一致。检测过程根据唯一索引将表按row切分为块(chunk),以为单位计算,可以避免锁表。检测时会自动判断复制延迟、 master的负载, 超过阀值后会自动将检测暂停,减小对线上服务的影响。

一、搭建主从库

三、主从一致性监测原理

澳门新浦京娱乐场网站 1

pt-table-checksum 默认情况下可以应对绝大部分场景,官方说,即使上千个库、上万亿的行,它依然可以很好的工作,这源自于设计很简单,一次检查一个表,不需要太多的内存和多余的操作;必要时,pt-table-checksum 会根据服务器负载动态改变 chunk 大小,减少从库的延迟。

 

四、pt工具监测

用到的命令:

1、pt-table-check       #监测主从一致

2、pt-table-sync         #修复主从一致

mysql主从一致性校验,基于pt工具进行。

#限制及问题

1、在检查阶段,超过1000行的数据,如果没有设定索引或者主键,则报错,该表会跳过检查。

2、在修复阶段,如果表没有设置主键或索引,则修复报错,可以手动进行修复。

3、监测是基于块进行的,如果mysql表的数据没有进行分块,那么当表过大时,会造成监测一段时间后发现没有问题会跳过改表。

4、当数据库两个数据不一致,但是checksum检测一致时,没有比对出不一致。

主库和从库账号一致,密码不一致发现了这种问题。

原因:对于修改密码的操作,chencksum的值并没有发生变化。

为了减少对数据库的干预,pt-table-checksum还会自动侦测并连接到从库,当然如果失败,可以指定--recursion-method选项来告诉从库在哪里。它的易用性还体现在,复制若有延迟,在从库 checksum 会暂停直到赶上主库的计算时间点(也通过选项--设定一个可容忍的延迟最大值,超过这个值也认为不一致)。

主库上执行:

五、安装pt工具

最好所有主库从库都安装

1、安装依赖

yum install perl-IO-Socket-SSL perl-DBD-MySQL perl-Time-HiRes perl perl-DBI -y

yum install perl-ExtUtils-CBuilder perl-ExtUtils-MakeMaker -y

2、下载安装包

1、官网下载

3、安装

 tar xzvf percona-toolkit-3.0.4_x86_64.tar.gz

 cd percona-toolkit-3.0.4

perl Makefile.PL   --安装到非默认路径PREFIX=${HOME}

 make

 make test

 make install

为了保证主数据库服务的安全,该工具实现了许多保护措施:

grant replication slave,replication client on *.* to '主库新建用户用户名'@'%' identified by '主库新建用户的密码';

六、pt工具常用命令

1、创建监测账号

grant all on *.*  to   'zxfly_check'@'192.168.22.% ' identified by 'zxfly';

flush privileges;

2、监控用的表为:percona.checksum该表会自动创建。

监测:

#指定库名

pt-table-checksum --databases zxfly -u'zxfly' -p'zxfly' -hMasterIP -P3306 2>/logs/pt_error.log 1>/logs/pt_info.log

#不指定库,监测所有数据库(除information_schema、percona、performance_schema库)

pt-table-checksum --quiet -u'zxfly' -p'zxfly' -hMasterIP -P3306 2>/logs/pt_error.log 1>/logs/pt_info.log

pt-table-checksum --replicate-check-only -u'zxfly' -p'zxfly' -hMasterIP -P3306

打印修复sql:指定库表

pt-table-sync  --databases=dataname --tables=table1,table2 h=MasterIP,u=zxfly,p=zxfly h=SlaveIP,u=zxfly,p=zxfly --charset=utf8 --print 

修复:

pt-table-sync  --databases=dataname --tables=table1,table2 h=MasterIP,u=zxfly,p=zxfly h=SlaveIP,u=zxfly,p=zxfly --charset=utf8 --exec

 

  1. 自动设置 innodb_lock_wait_timeout 为1s,避免引起

  2. 默认当数据库有25个以上的并发查询时,pt-table-checksum会暂停。可以设置 --max-load 选项来设置这个阀值

  3. 当用 Ctrl C 停止任务后,工具会正常的完成当前 chunk 检测,下次使用 --resume 选项启动可以恢复继续下一个 chunk

 

七、pt工具常用参数

1、pt-table-checksum

参数 参数说明 备注
--[no]check-replication-filters 不检查复制过滤器,建议启用。后面可以用--databases来指定需要检查的数据库。 当前环境不需要该参数,默认开启
--no-check-binlog-format 不检查复制的binlog模式,要是binlog模式是ROW,则会报错。 默认是监测,使用默认值,如果添加该参数可能导致diff不出来
--replicate-check-only 只显示不同步的信息。

开启这个,可以减少输出并且显示不一致的从库主机名

不过这个只是显示已经检测过的不一致信息,并不能显示当前的。

--replicate= 把checksum的信息写入到指定表中,建议直接写到被检查的数据库当中。不需要指定 默认会创建percona库下checksum表
-h -u -p -P masterIP 监测账号 密码 端口  
--databases= 指定需要被检查的数据库,多个则用逗号隔开。  
--tables= 指定需要被检查的表,多个用逗号隔开  
--recursion-method 指定监测从库的模式,默认使用processlist,也可以指定dsn

多个从库可以这样指定。--recursion-method=dsn=h=host,D=pt,t=dsns

D 库名 t 表名

--quiet 安静模式,最小化打印,纸打印错误行 与--replicate-check-only类似,但不显示从库信息

dsn库表结构及用法为:

  1. CREATE TABLE `dsns` ( `id` int(11) NOT NULL AUTO_INCREMENT, `parent_id` int(11) DEFAULT NULL, `dsn` varchar(255) NOT NULL, PRIMARY KEY (`id`) );
  2. -- 写入从库信息
  3.  INSERT INTO dsns (parent_id,dsn) values(1, "h=replica_host,u=checksums,p=password,P=3306"); 
  4. -- 如果有多个从库,就插入多条记录. 
  5. -- 也可以按如下简写
  6. INSERT INTO dsns (parent_id,dsn) values(1, "h=replica_host");

2、pt-table-sync

参数 参数说明 备注
--replicate= 指定通过pt-table-checksum得到的表 默认会创建percona库下checksum表时不需要指定
--databases= 指定执行同步的数据库 在只修复指定的库时使用
--tables= 指定需要被修复的表,多个用逗号隔开  
--sync-to-master 指定一个DSN,即从的IP 会通过show processlist或show slave status 去自动的找主。报错找不到主库时使用
h= u= p= 服务器地址,账号,密码 命令里有2个ip,第一次出现的是Master的地址,第2次是Slave的地址。
--print 打印修复的sql语句 只打印不执行。
--exec 或 --execute 执行修复  
--algorithms=c 指定修复算法

default Chunk,Nibble,GroupBy,Stream 在报错算法问题的时候需要指定算法

--charset= 指定默认字符集 如果数据中包含中文不指定次字符集的话修复不成功

3、输出信息解释

TS :完成检查的时间。
ERRORS :检查时候发生错误和警告的数量。
DIFFS :0表示一致,1表示不一致。当指定--no-replicate-check时,会一直为0,当指定--replicate-check-only会显示不同的信息。
ROWS :表的行数。
CHUNKS :被划分到表中的块的数目。
SKIPPED :由于错误或警告或过大,则跳过块的数目。
TIME :执行的时间。
TABLE :被检查的表名。

工作过程

直接看 nettedfish 的说明:

1. 连接到主库:pt工具连接到主库,然后自动发现主库的所有从库。默认采用show full processlist来查找从库,但是这只有在主从实例端口相同的情况下才有效。
3. 查找主库或者从库是否有复制过滤规则:这是为了安全而默认检查的选项。你可以关闭这个检查,但是这可能导致checksum的sql语句要么不会同步到从库,要么到了从库发现从库没有要被checksum的表,这都会导致从库同步卡库。
5. 开始获取表,一个个的计算。
6. 如果是表的第一个chunk,那么chunk-size一般为1000;如果不是表的第一个chunk,那么采用19步中分析出的结果。
7. 检查表结构,进行数据类型转换等,生成checksum的sql语句。
8. 根据表上的索引和数据的分布,选择最合适的split表的方法。
9. 开始checksum表。
10. 默认在chunk一个表之前,先删除上次这个表相关的计算结果。除非–resume。
14. 根据explain的结果,判断chunk的size是否超过了你定义的chunk-size的上限。如果超过了,为了不影响线上性能,这个chunk将被忽略。
15. 把要checksum的行加上for update锁,并计算。
17-18. 把计算结果存储到master_crc master_count列中。
19. 调整下一个chunk的大小。
20. 等待从库追上主库。如果没有延迟备份的从库在运行,最好检查所有的从库,如果发现延迟最大的从库延迟超过max-lag秒,pt工具在这里将暂停。
21. 如果发现主库的max-load超过某个阈值,pt工具在这里将暂停。
22. 继续下一个chunk,直到这个table被chunk完毕。
23-24. 等待从库执行完checksum,便于生成汇总的统计结果。每个表汇总并统计一次。
25-26. 循环每个表,直到结束。

校验结束后,在每个从库上,执行如下的sql语句即可看到是否有主从不一致发生:

select * from percona.checksums where master_cnt <> this_cnt OR master_crc <> this_crc OR 
ISNULL(master_crc) <> ISNULL(this_crc) G

eg:grant replication slave ,replication client on *.* to 'mysqlsync'@'127.0.0.1' identified by '123123'

八、pt工具常见报错信息

1、监测报错(找不到从库,使用--recursion-method指定模式)

Diffs cannot be detected because no slaves were found. Please read the --recursion-method documentation for information.

2、binlog模式问题(由于指定为row行复制造成 使用--no-check-binlog-format跳过监测,不过这样有可能监测不出来主从不一致的信息,row行模式对于主从来说不需要进行主从监测)

Replica centos-1 has binlog_format ROW which could cause pt-table-checksum to break replication. Please read "Replicas using row-based replication" in the LIMITATIONS section of the tool's documentation.  If you understand the risks, specify --no-check-binlog-format to disable this check.

3、没有索引或主键导致的,在数据较少的时候(低于1000行,没有测试出该信息,超过1000行会报错)

Cannot checksum table test.t: There is no good index and the table is oversized. at ./pt-table-checksum line 6370.

4、等待信息,已检测的百分比,这是因为设置了主键但是没有索引导致没有分块且表过大造成。

Checksumming database.table:  27% 01:17 remain

你需要知道的选项

  • --replicate-check:执行完 checksum 查询在percona.checksums表中,不一定马上查看结果呀 —— yes则马上比较chunk的crc32值并输出DIFFS列,否则不输出。默认yes,如果指定为--noreplicate-check,一般后续使用下面的--replicate-check-only去输出DIFF结果。

  • --replicate-check-only:不在主从库做 checksum 查询,只在原有 percona.checksums 表中查询结果,并输出数据不一致的信息。周期性的检测一致性时可能用到。

  • --nocheck-binlog-format:不检测日志格式。这个选项对于 ROW 模式的复制很重要,因为pt-table-checksum会在 Master和Slave 上设置binlog_format=STATEMENT(确保从库也会执行 checksum SQL),MySQL限制从库是无法设置的,所以假如行复制从库,再作为主库复制出新从库时(A->B->C),B的checksums数据将无法传输。(没验证)

  • --replicate= 指定 checksum 计算结果存到哪个库表里,如果没有指定,默认是 percona.checksums 。
    但是我们检查使用的mysql用户一般是没有 create table 权限的,所以你可能需要先手动创建:

CREATE DATABASE IF NOT EXISTS percona;
CREATE TABLE IF NOT EXISTS percona.checksums (
    db CHAR(64) NOT NULL,
    tbl CHAR(64) NOT NULL,
    chunk INT NOT NULL,
    chunk_time FLOAT NULL,
    chunk_index VARCHAR(200) NULL,
    lower_boundary TEXT NULL,
    upper_boundary TEXT NULL,
    this_crc CHAR(40) NOT NULL,
    this_cnt INT NOT NULL,
    master_crc CHAR(40) NULL,
    master_cnt INT NULL,
    ts TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
    PRIMARY KEY (db,tbl,chunk),
    INDEX ts_db_tbl(ts,db,tbl)
) ENGINE=InnoDB;

生产环境中数据库用户权限一般都是有严格管理的,假如连接用户是repl_user(即直接用复制用户来检查),它应该额外赋予对其它库的 SELECT ,LOCK TABLES 权限,如果后续要用 pt-table-sync 就就需要写权限了。对percona库有写权限:

    GRANT ALL PRIVILEGEES on percona.* to repl_user@'%' IDENTIFIED BY 'repl_pass';
    GRANT SELECT,LOCK TABLES,PROCESS,SUPER on *.* to repl_user@'%';

注:

  1. 为了减少不必要的麻烦,确保你的 repl_user@'xxx' 用户能同时登陆主库和从库

  2. --create-replicate-table 选项会自动创建 percona.checksums 表,但也意味着赋予额外的 CREATE TABLE权限给 percona_tk@'xxx' 用户。默认yes

  3. PROCESS用于自动发现从库信息,SUPER权限用于set binlog_format。

  • --no-check-replication-filters 表示不需要检查 Master 配置里是否指定了 Filter。 默认会检查,如果配置了 Filter,如 replicate_do_db,replicate-wild-ignore-table,binlog_ignore_db 等,在从库checksum就与遇到表不存在而报错退出,所以官方默认是yes(--check-replication-filters)但我们实际在检测中时指定--databases=,所以就不存在这个问题,干脆不检测

  • --empty-replicate-table:每个表checksum开始前,清空它之前的检测数据(不影响其它表的checksum数据),默认yes。当然如果使用--resume启动检测数据不会清空。
    当启用--noempty-replicate-table即不清空时,不计算计算chunk,只计算。

  • --databases=-d:要检查的数据库,逗号分隔。用脚趾头想也知道 --databases-regex 正则匹配要检测的数据库,--ignore-databases[-regex]忽略检查的库。Filter选项。

  • --tables=-t:要检查的表,逗号分隔。如果要检查的表分布在不同的db中,可以用--tables=dbname1.table1,dbnamd2.table2的形式。同理有--tables-regex--ignore-tables--ignore-tables-regex--replicate指定的checksum表始终会被过滤。

  • --recursion-method:发现从库的方式。pt-table-checksum 默认可以在主库的 processlist 中找到从库复制进程,从而识别出有哪些从库,但如果使用是非标准3306端口,会导致找不到从库信息。此时就会自动采用host方式,但需要提前在从库 my.cnf 里面配置report_hostreport_port信息,如:

        report_host = MASTER_HOST
        report_port = 13306
    

最终极的办法是dsn,dsn指定的是某个表(如 percona.dsns ),表行记录是改主库的(多个)从库的连接信息。适用以下任一情形:

  1. 主库不能自动发现从库

  2. 不想在从库添加额外配置(因为要重启)

  3. 主从检测连接用户信息不一样

  4. 多个从库时只想验证指定从库的一致

我比较倾向使用DSN的方式。这个dsns表只需要在执行 pt-table-checksum 命令的服务器上能够访问到就行。这里纠正一个认识,网上很多人说 pt-table-checksum 要在主库上执行,其实不是的,我的mysql实例比较多,只需在某一台服务器上安装percona-toolkit,这台服务能够同时访问主库和从库就行了。具体用法见后面实例。

 

九、对多个库所有数据进行监测结果

pt-table-checksum监测数据库结果:

数据大小 监测花费时间 监测报错的表 原因
93G 30m28.523s

4个

#字符集bug(工具自带,无法解决)

正式平台这些表都没有

    1个

未监测到(中文表名监测不到)

正式平台无此表

    1个 没有主键或者索引(数据条数:132835)

检测实例

在从库上执行:

十、pt修复工具pt-table-sync遇到的问题

在使用pt-table-checksum进行检测后,发现主从不一致的情况后可以使用pt-table-sync工具进行修复操作。

其原理为:基于pt-table-checksum监测的结果进行检查并生成修复语句去修复从库中的数据。

遇到的报错:

1、修复时候没有任何提示,但是修复报错。使用–print打印修复语句发现又乱码。

处理方法:查看表的字符集,通过--charset=命令指定默认字符集

2、报错:Failed to prepare TableSyncChunk plugin: Cannot chunk table `zxfly_zxfly1`.`mongo_task_data` using the character column guid, most likely because all values start with the same character. This table must be synced separately by specifying a list of --algorithms without the Chunk algorithm at /usr/local/bin/pt-table-sync line 4088.  while doing table on 192.168.0.177

原因是在默认的算法中,要保证主键字段的数据前一位有不一样字符出现,而该表的主键数据第一个字符是一样的。

解决办法:

使用--algorithms=参数指定算法,当然这种应该最好分库分表进行恢复。

6、修复报错(原因:没有唯一索引或主键导致的,1000以内的,1000行以上没有索引或主键在监测时就会跳过。)

Can't make changes on the master because no unique index exists at /usr/local/bin/pt-table-sync line 10591.

 

同网段间主从一致检查

场景:

  1. 标准端口3306,只检查某一个库的关键表

  2. 一主一从,binlog是ROW模式

  3. 同网段复制,percona_tk@'192.168.5.%' 具备该有的权限:

        GRANT ALL PRIVILEGEES on repl_user.* to repl_user@'192.168.5.%' IDENTIFIED BY 'repl_pass';
        GRANT SELECT,LOCK TABLES,PROCESS,SUPER on *.* to repl_user@'192.168.5.%';
    

这是最简单的方式,把要连接和检查的信息交代就行了:

# pt-table-checksum h=MASTER_HOST,u=repl_user,p='repl_pass',P=3306 
--databases=d_ts_profile --tables=t_user,t_user_detail,t_user_group --nocheck-replication-filters

如果是首次运行,会在主库自动创建 percona.checksums 表。

输出结果:

Replica lag is 2307 seconds on mysql-5.  Waiting.
Checksumming d_ts_profile.t_user_account:   3% 54:48 remain
            TS ERRORS  DIFFS     ROWS  CHUNKS SKIPPED    TIME TABLE
12-18T16:07:48      0      0   313641       9       0 146.417 d_ts_profile.t_user
12-18T16:08:00      0      0   397734      12       0  11.747 d_ts_profile.t_user_detail
12-18T16:08:24      0      0  1668327      20       0  23.941 d_ts_profile.t_user_group
  • TS :完成检查的时间戳。

  • ERRORS :检查时候发生错误和警告的数量。

  • DIFFS :不一致的chunk数量。当指定 --no-replicate-check 即检查完但不立即输出结果时,会一直为0;当指定 --replicate-check-only 即不检查只从checksums表中计算crc32,且只显示不一致的信息(毕竟输出的大部分应该是一致的,容易造成干扰)。

  • ROWS :比对的表行数。

  • CHUNKS :被划分到表中的块的数目。

  • SKIPPED :由于错误或警告或过大,则跳过块的数目。

  • TIME :执行的时间。

  • TABLE :被检查的表名

change master to

使用dsn跨数据中心检测

场景:

  1. 非标准端口13306,只检查以 d_ts 开头的所有库

  2. 一主二从,binlogROW模式,其中一从在阿里云ECS上,主库是无法直接访问该从库的

  3. 检测用的账号因为不是%,所以不一样

  4. 以下是我环境的情况MASTER_HOST:13306 主库

REPLICA_HOST:3306 从库
PTCHECK_HOST pt-table-checksum所在服务器
DSN_DBHOST,记录从库(连接)dsns的数据库

最优的方式就是dsn指定从库了。在从库或从库同网段主机里装上 percona-toolkit。

在DSN_DBHOST 数据库实例上创建DSNs表:

create database percona;
CREATE TABLE `percona`.`dsns` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`parent_id` int(11) DEFAULT NULL,
`dsn` varchar(255) NOT NULL,
PRIMARY KEY (`id`)
);

GRANT ALL PRIVILEGEES on percona.* to percona_tk@'PTCHECK_HOST' IDENTIFIED BY 'percona_pass';

如果有多个实例要检查,可以创建多个类似的dsns表。上面的percona_tk用户只是用来访问dsn库。插入从库信息:

use percona;
insert into dsns(dsn) values('h=REPLICA_HOST,P=3306,u=repl_user,p=repl_pass');

DSNs记录 dsn 列格式如 h=REPLICA_HOST,u=repl_user,p=repl_pass

在 PTCHECK_HOST 上执行检查命令:

# pt-table-checksum --replicate=percona.checksums --nocheck-replication-filters --no-check-binlog-format 
h=MASTER_HOST,u=repl_user,p='repl_pass',P=13306 --databases-regex=d_ts.* 
--recursion-method dsn=h=DSN_DBHOST,u=percona_tk,p='percona_pass',P=3306,D=percona,t=dsn

选项的意思就不多说了。

检测完如果一致,其实是求个心安,特别是在做数据迁移的时候。如果不一致,那就需要借助 pt-table-sync 工具了,不作介绍。

master_host='主机地址',

常见错误

  1. Diffs cannot be detected because no slaves were found不能自动找到从库,确认processlist或host或dsns方式用对了。

  2. Cannot connect to h=slave1.***.com,p=...,u=percona_user
    可以在pt-table-checksum命令前加PTDEBUG=1来看详细的执行过程,如端口、用户名、权限错误。

  3. Waiting for the --replicate table to replicate to XXX问题出在 percona.checksums 表在从库不存在,根本原因是没有从主库同步过来,所以看一下从库是否延迟严重。

  4. Pausing because Threads_running=25
    反复打印出类似上面停止检查的信息。这是因为当前数据库正在运行的线程数大于默认25,pt-table-checksum 为了减少对库的压力暂停检查了。等数据库压力过了就好了,或者也可以直接 Ctrl C 终端,下一次加上--resume继续执行,或者加大--max-load=值。

  5. 字符集问题

Error checksumming table Error executing checksum query: DBD::mysql::st execute failed: Illegal mix of collations
12-17T14:48:04 Error checksumming table d_ec_cs.t_online_cs: Error executing checksum query: 
DBD::mysql::st execute failed: Illegal mix of collations for operation 'concat_ws' [for Statement 
"REPLACE INTO `percona`.`ali_checksum` (db, tbl, chunk, chunk_index, lower_boundary, upper_boundary, this_cnt, this_crc) SELECT ?, ?, ?, ?, ?, ?, COUNT(*) AS cnt, COALESCE(LOWER(CONV(BIT_XOR(CAST(CRC32(CONCAT_WS('#', `f_cs_id`, `f_corp_id`, `f_valid`, `f_show_name`, `f_online_msg`, `f_offline_msg`, `f_show_mobile`, `f_group_id`, `f_qq`, `f_show_qq`, `f_msn`, `f_show_msn`, `f_sms_online`, `f_scheme`, `f_tel`, `f_telno`, `f_show_tel`, `f_contact`, `f_mobile`, `f_position`, `f_other1`, `f_other2`, `f_other_text1`, `f_other_text2`, `f_email`, `f_qq_first`, `f_qq_first_type`, `f_aids_open`, `f_aids_qq`, `f_aids_crmqq`, `f_aids_yahoo`, `f_aids_skype`, `f_aids_aliww`, `f_aids_msn`, `f_aids_alibaba`, `f_aids_alitrade`, CONCAT(ISNULL(`f_show_name`), ISNULL(`f_group_id`), ISNULL(`f_qq`), ISNULL(`f_show_qq`), ISNULL(`f_sms_online`), ISNULL(`f_other_text1`), ISNULL(`f_other_text2`), ISNULL(`f_email`)) )) AS UNSIGNED)), 10, 16)), 0) AS crc FROM `d_ec_cs`.`t_online_cs` 
/*checksum table*/" with ParamValues: 0='d_ts_profile', 1='t_user_account', 2=1, 3=undef, 4=undef, 5=undef] at /usr/bin/pt-table-checksum line 10520.

是个bug,暂时无法解决,Illegal mix of collations for operation 'concat_ws'。

master_user='主库新建用户的用户名',

参考

  • pt-table-checksum

  • 用pt-table-checksum校验数据一致性

  • 使用pt-table-checksum及pt-table-sync校验复制一致性详细介绍

  • Pausing because Threads_running=0

master_password='主库新建用户的密码',

master_port=主库端口号,

master_log_file='当前正在用的binlog日志文件名',

master_log_file=当前binlog日志记录到那个位置,

master_connect_retry=60

 

查看 master_log_file    master_log_file

当前的binlog文件在数据目录下

 show master status; File列文件名

当前binlog日志记录到那个位置:

show master status;  Position列的值

注意:三个数字的值不用单引号,其他的值需要单引号引起来

eg:

CHANGE MASTER TO

MASTER_HOST='127.0.0.1',

MASTER_USER='mysqlsync',

MASTER_PASSWORD='123123',

MASTER_PORT=3306,

MASTER_LOG_FILE='mysqlserver.000003',

MASTER_LOG_POS=120,

MASTER_CONNECT_RETRY=10;

 

 

执行完成后:在从库上执行

澳门新浦京娱乐场网站分娩条件使用,mysql主从风流倜傥致性校验工具。开启从库:

start slave;

 

查看状态:

show slave status;

 

mysql> show slave status G;

*************************** 1. row ***************************

               Slave_IO_State: Waiting for master to send event

                  Master_Host: 172.16.145.106

                  Master_User: mysqlsync1

                  Master_Port: 33061

                Connect_Retry: 60

              Master_Log_File: mysqlserver.000029

          Read_Master_Log_Pos: 544

               Relay_Log_File: mysql2-relay-bin.000002

                Relay_Log_Pos: 285

        Relay_Master_Log_File: mysqlserver.000029

             Slave_IO_Running: Yes        正常,完成

            Slave_SQL_Running: Yes        正常,完成

 

检测:主库建立表,从库上也会建立同名的表:

 

 

 

 

二、主从校验:

利用pt-table-checksum做主从一致性校验

前提:是主从复制

全部在主库上执行:

 

1、给 pt-checksum授权

新建用户,因为主从复制,在从库上也会相应的新建这个用户

grant all privileges on *.* to 'checksum'@'%' identified by 'checksum';

GRANT ALL PRIVILEGES ON *.* TO 'checksum'@'%' IDENTIFIED BY PASSWORD '123123'  有password  是密文

--这里在新建用户checksum的同时,也给这个用户添加所有的权限

 

 

2、创建从库连接信息表  = 新建一个表,用来存放从库的登录信息

create table `dsns`(

`id` int(11) not null auto_increment,

`parent_id` int(11) default null,

`dsn` varchar(255) not null,

primary key (`id`)

)engine=innodb auto_increment=2;

 

--注意:这里用的是反引号,不是单引号

 

如下插入的是从库的连接信息

insert into dsns values(1,1,'h=172.16.145.106,p=checksum,u=checksum,P=3307');

--第一步中新建的用户,密码,从库的端口号

 

3、新建一个测试表,并插入几行数据用来测试

 

create table t(id int(11),name varchar(20));

 

insert into t values(1,'guanyu');

insert into t values(2,'zhangfei');

insert into t values(3,'taishici');

insert into t values(4,'zhangliao');

insert into t values(5,'ganning');

 

--主从复制,从库上也会新建一个表,并插入数据

 

 

 

4、校验:在linux中执行:

pt-table-checksum --user=checksum --password=123123 --port=3306  --databases=test --host=172.16.145.30   --recursion-method="dsn=h=172.16.145.30,D=test,t=dsns" --no-check-replication-filters --tables=test.t2

 

 

--user=checksum --password=gangbeng --port=3306 --host=172.16.145.106        --这个是主库的登录信息

--databases=test        --这个是要校验的在主库中存放的库

--recursion-method="dsn=h=172.16.145.106,D=test,t=dsns"                --指定从库的登录信息,也就是(2、)中插入的数据

 --tables=test.t        --指定校验的文件

 

 

 

5、校验结果:

[root@centos6 data1]# pt-table-checksum --user=checksum --password=gangbeng --port=33061 --databases=test --host=172.16.145.106 --recursion-method="dsn=h=172.16.145.106,D=test,t=dsns" --no-check-replication-filters --tables=test.t

            TS ERRORS  DIFFS     ROWS  CHUNKS SKIPPED    TIME TABLE

05-07T23:16:46      0      0        5       1       0   0.016 test.t

 

--没有其他信息,就成功了

 

 

 

7、实验:

1.在从库中插入一行数据:

insert into t values(6,'zhaoyun');

 

--这样主库与从库相同的表中的数据,就不相同了

 

 

 

2.再一次进行校验

[root@centos6 data1]# pt-table-checksum --user=checksum --password=gangbeng --port=33061 --databases=test --host=172.16.145.106 --recursion-method="dsn=h=172.16.145.106,D=test,t=dsns" --no-check-replication-filters --tables=test.t

            TS ERRORS  DIFFS     ROWS  CHUNKS SKIPPED    TIME TABLE

05-07T23:24:35      0      1        6       1       0   0.060 test.t

 

--因为主从库的数据不一致,所以在DIFFS中显示为1

本文由澳门新浦京娱乐场网站发布于数据库,转载请注明出处:澳门新浦京娱乐场网站分娩条件使用,mysql主从风