rsync同步文件步骤示例和命令详解

目录

• rsync简介
• rsync安装
  • 1、安装rsync
  • 2、添加配置文件：
  • 3、配置账户密码
  • 4、 mysql 数据定时导出
  • 5、修改 rsyncd.motd
  • 6、后台进程启动：
  • 7、在备服务器上，配置简单很多
  • 8、主服务器防火墙放通rsync端口
• rsync命令
  • 命令格式
  • 常用选项
  • 命令参数

rsync可以在连个计算机（服务器）之间，或者两个本地目录之间同步文件。它也可以当作文件复制工具，替代cp和mv命令。与其他文件传输工具（如 FTP 或 scp）不同，rsync 的最大特点是会检查发送方和接收方已有的文件，仅传输有变动的部分（默认规则是文件大小或修改时间有变动）。

rsync简介

rsync（remote sync）是类unix系统下的数据镜像备份工具。它的特性如下：

1. 可以镜像保存整个目录树和文件系统。
2. 可以很容易做到保持原来文件的权限、时间、软硬链接等等。
3. 无须特殊权限即可安装。
4. 快速：第一次同步时 rsync 会复制全部内容，但在下一次只传输修改过的文件。rsync 在传输数据的过程中可以实行压缩及解压缩操作，因此可以使用更少的带宽。
5. 安全：可以使用scp、ssh等方式来传输文件，当然也可以通过直接的socket连接。
6. 支持匿名传输，以方便进行网站镜象。

rsync安装

1、安装rsync

两台服务器安装 yum install -y rsync
或者在官网https://rsync.samba.org/ 下载离线包编译安装https://download.samba.org/pub/rsync/src/rsync-3.1.3.tar.gz

2、添加配置文件：

rsync默认没有配置文件，需自行新建

mkdir-p/etc/rsynctouchrsyncd.confrsyncd.pwrsyncd.motdchmod600rsyncd.pw

主服务器配置

pidfile=/var/run/rsyncd.pidmotdfile=/etc/rsyncd/rsyncd.motdlogfile=/var/log/rsync.loglogformat=%t%a%m%f%bsyslogfacility=local3timeout=60port=31873address=192.168.100.4uid=rootgid=rootusechroot=yesreadonly=yeshostsallow=192.168.100.5hostsdeny=*maxconnections=4#同步代码文件[django_apps]path=/root/mydjangolist=yesignoreerrorsauthusers=rootsecretsfile=/etc/rsyncd/rsyncd.pwcomment=webappsdatasyncexclude=logs/#同步数据文件[apps_mysql]path=/root/apps_mysqllist=yesignoreerrorsauthusers=rootsecretsfile=/etc/rsyncd/rsyncd.pwcomment=webappsmysqldbdatasync

参数说明：

这里的端口已经被重新设定为5位数，安全考虑，并且防火墙iptables要放通该端口

read only

[django_apps]

因为客户端命令：rsync://192.168.100.4/django_apps 这里django_apps就是模块名

path

hosts allow

secrets file

auth users

exclude

注意：https://download.samba.org/pub/rsync/rsync.html以及https://download.samba.org/pub/rsync/rsyncd.conf.html官方使用指引，非常详细，推荐参考

3、配置账户密码

这里使用root账户，但密码是随机设置，请勿设置服务器登录密码！

vim rsyncd.pw

root:Jp219881_$Ah

4、 mysql 数据定时导出

创建mysql_daily_bak.sh脚本，数据文件放在/data/bak目录下

#导出目标库，以sql形式导出/opt/app/bin/mysqldumpbigdata>/data/bak/bigdata-`date+%Y%m%d`.sql/opt/app/bin/mysqldumpcns>/data/bak/cns-`date+%Y%m%d`.sql/opt/app/bin/mysqldumpems>/data/bak/ems-`date+%Y%m%d`.sql#保留半年数据find/data/bak/-mtime+180-name'*.sql'-execrm-rf{}\;

加入到定时任务，例如每天凌晨一点备份

0 */1 * * * sh /etc/rsync/mysql_daily_bak.sh

5、修改 rsyncd.motd

它是定义 rysnc 服务器在客户端同步登陆显示的欢迎条，可自行定义，最好说明来自哪里的同步server

files syncon blog server which server IP is

6、后台进程启动：

rsync --daemon --config=/etc/rsync/rsyncd.conf

加入开机自启：

在 rc.local 末尾追加一行，如下:

vi/etc/rc.d/rc.local/usr/bin/rsync--daemon--config=/etc/rsync/rsyncd.conf

但以上配置也会引起 rsync启动失败，因为rsync重启时需要根据rsyncd.conf创建/var/run/rsyncd.pid ，但因之前启动已经创建，导致提示文件已存在而无法启动，所以正确配置如下：

创建一个脚本 restart_rsync.sh 可以放在/etc/rsyncd/

rm-f/var/run/rsyncd.pidrsync--daemon--config=/etc/rsync/rsyncd.conf

再将脚本加入到开机自启

因在centos7上， /etc/rc.d/rc.local权限默认没有执行权限，需重赋权限，该文件上也有提示要加入可执行权限Please note that you must run ‘chmod +x /etc/rc.d/rc.local’ to ensure that this script will be executed during boot

chmod +x /etc/rc.d/rc.local

内容 追加vi /etc/rc.d/rc.local

sh /etc/rsync/restart_rsync.sh

7、在备服务器上，配置简单很多

创建 /etc/rsyncd文件，里面只需要

新建sh文件etc/rsyncd/run_rsync.sh

rsync-ztruvoglp--password-file=/etc/rsync/rsyncd.secrets--deletersync://192.168.100.4:31873/django_apps/root/mydjango/#如有多个目录，可以继续添加rsync-ztruvoglp--password-file=/etc/rsync/rsyncd.secrets--deletersync://192.168.100.4:31873/django_blog/root/myblog/

这里rsync://IP/对应服务器rsyncd.conf配置需要同步的“module”，也就是django_apps，注意不是目录路径

/root/mydjango/ 对应在备服务器上创建与主服务器一致的文件目录路径，如果备服务器已经创建了该目录，那么rsync不在创建，而是同步文件和目录

rsync -ztruvoglp 参数说明

-a以archive模式操作、复制目录、符号连接-r递归,同步目录及其子目录所有文件-l是链接文件，意思是拷贝链接文件；-p表示保持文件原有权限；-t保持文件原有时间；-g保持文件原有用户组；-o保持文件原有属主；-D相当于块设备文件；-z传输时压缩；-P传输进度；-v传输时的进度等信息，和-P有点关系，自己试试。可以看文档；-essh的参数建立起加密的连接。-u只进行更新，防止本地新文件被重写，注意两者机器的时钟的同时--progress是指显示出详细的进度情况--delete是指如果服务器端删除了这一文件，那么客户端也相应把文件删除，保持真正的一致--password-file=/password/path/file来指定密码文件，这样就可以在脚本中使用而无需交互式地输入验证密码了

这里为何创建run_rsync.sh，因为rsync客户端侧，没有定时运行功能，因此需要自行写个sh，然后在crontab里设定定时任务，定时向rsync服务器端更新文件

*/1 * * * * /etc/rsyncd/run_rsync.sh 每1分钟从主服务器增量同步一次

也可以为不同同步目录创建不同的sh来控制其同步间隔

例如大文件 */30 * * * * /etc/rsyncd/large_file_rsync.sh 每30分钟从主服务器增量同步一次

注：若所同步的文件夹为小文件且数量多、更改频繁的，同步时间间隔可以设为较大值

若所同步的文件为大文件，其删改频率低，同步时间间隔可以设为较大值

8、主服务器防火墙放通rsync端口

防火墙配置是一个非常重要环节，在很多技术产品部署过程中，很多教程都让你先关闭防火墙以便排除网络、端口连通性故障，但实际生产或者项目正式使用时，防火墙必须打开，而且需要写入精细的acl策略，保证系统安全。

centos7.5

firewall-cmd--zone=public--add-port=31873/tcp--permanentfirewall-cmd--reload

redhat6.5 使用iptables配置防火墙

直接在shell命令行加入，通过save操作，将其写入到/etc/sysconfig/iptables，保证永久生效

iptables-AINPUT-ptcp--dport31873-s192.168.100.0/24-jACCEPT/etc/rc.d/init.d/iptablessaveserviceiptablesrestart

或者在iptables文件中详细写入相关规则

iptables 的策略配置：

首先拒绝所有包访问主服务器逐条放通某个端口或者某个IP访问该主服务器

*filter:INPUTACCEPT[0:0]:FORWARDACCEPT[0:0]:OUTPUTACCEPT[0:0]#以三条:blog-server-[0:0]-AINPUT-jblog-server-AFORWARD-jblog-server-AOUTPUT-jblog-server-Ablog-server-ilo-jACCEPT-Ablog-server-picmp--icmp-typeany-jACCEPT-Ablog-server-mstate--stateESTABLISHED,RELATED-jACCEPT#放通rsyncd端口31873，仅192.168.100.0/24可访问-Ablog-server-ptcp--dport31873-s192.168.100.0/24-jACCEPT#放通ssh端口31873，仅192.168.100.0/24可访问-Ablog-server-ptcp--dport31022-s192.168.100.0/24-jACCEPT#服务器禁ping-Ablog-server-jREJECT--reject-withicmp-host-prohibitedCOMMIT

rsync命令

命令格式

三种模式：

1）本地同步模式

rsync[选项][源文件][目标目录]

2）通过远程ssh访问模式：

需要输入服务端用户的密码

拉取(pull) ：将服务端文件拉取到本地目录

rsync[选项]用户@主机:源文件[本地目标地址]

推送(push) ：将本地目录或文件推送到服务端

rsync[选项][本地源文件]用户@主机:[目标地址]

3）rsync 守护进程模式

拉取 ：将服务端文件拉取到本地目录

rsync[选项]用户@主机::源文件[目标文件]rsync[选项]rsync://用户@主机:端口/源文件[目标文件]

推送 ：将本地目录或文件推送到服务端

rsync[选项][源文件]用户@主机:源文件rsync[选项][源文件]rsync://用户@主机:端口/源文件[目标文件]

常用选项

-v：详细信息输出-z：传输时进行压缩以提高传输效率-a：以递归方式传输文件，并保持所有文件的属性，等同于-rlptgoD-r：对子目录以递归模式，即目录下的所有目录都以同样的模式传输，注意是小写的r-l：对于符号链接文件仍然复制为符号链接文件-H：保留硬链接文件-p：保留文件的权限标记-t：保留文件的时间标记-g：保留文件的属组标记(仅超级用户使用)-o：保留文件的属主标记(仅超级用户使用)-A：保留ACL属性信息-D：保留设备文件及其他特殊文件-S：–sparse对稀疏文件进行特殊处理以节省DST的空间-P：显示同步的过程及传输时的进度等信息-e：使用信道协议，指定替代rsh的shell程序，例如ssh-n：测试选项，模拟执行-u,--update仅仅进行更新,也就是跳过所有已经存在于DST,并且文件时间晚于要备份的文件(不覆盖更新的文件)-b,--backup创建备份,也就是对于目的已经存在有同样的文件名时,将老的文件重新命名为~filename.可以使用–suffix选项来指定不同的备份文件前缀–backup-dir=DIR将备份文件(如~filename)存放在指定目录下–suffix=SUFFIX定义备份文件前缀,默认是~（没有前缀）–delete：刪除目标位置有而原始位置没有的文件–checksum：根据対象的校金和来决定是否跳过文件–exclued：指定排除不需要传输的文件模式（和tar参数一样）–delete：是目标目录内容和源文件保持一致，删除不同的文件–bwlimit=KBPS：限制传输速度–progress：在传输过程中显示进度

命令参数

用途:rsync[OPTION]...SRC[SRC]...DEST通过远程shell访问方式:rsync[选项]...[用户名@]HOST:SRC[DEST]rsync[选项]...SRC[SRC]...[用户名@]HOST:DEST通过rsyncdaemon访问方式:rsync[选项]...[用户名@]HOST::SRC[DEST]rsync[选项]...SRC[SRC]...[用户名@]HOST::DESTrsync[选项]...SRC[SRC]...rsync://[用户名@]HOST[:PORT]/DESTrsync[选项]...rsync://[USER@]HOST[:PORT]/SRC[DEST]请注意，':'会使用ssh来远程连接，而'::'以及'rsync://'则用于以tcp方式连接一个rsyncdaemon服务器，这个需要SRC(源),以及包含模块名字的DEST(目的)选项-v,--verbose详细模式输出--info=FLAGS输出INFO级别--debug=FLAGS输出DEBUG级别--msgs2stderr用于调试的特殊输出处理-q,--quiet忽略非error的输出--no-motd忽略Daemon模式的MOTD-c,--checksum让自动跳过基于校验和而非默认的修改时间以及文件大小-a,--archive归档(压缩)模式,表示以递归方式传输文件,并保持所有文件属性等同于-rlptgoD(无-H,-A,-X)--no-OPTION关闭隐含的选项(例如--no-D)-r,--recursive对子目录以递归模式处理-R,--relative使用相对路径信息--no-implied-dirs不使用--relative发送隐含的目录-b,--backup创建备份,也就是对于目的已经存在有同样的文件名时,将老的文件重新命名为~filename.可以使用--suffix选项来指定不同的备份文件前缀--backup-dir=DIR将备份文件(如~filename)存放在指定目录下--suffix=SUFFIX定义备份文件前缀,默认是~-u,--update仅仅进行更新,也就是跳过所有已经存在于DST,并且文件时间晚于要备份的文件(不覆盖更新的文件)--inplaceupdatedestinationfilesin-place(SEEMANPAGE)--append将数据附加到较短的文件--append-verify类似--append,但是对旧数据会计算校验和-d,--dirs不使用递归传输目录-l,--links不处理符号链接(保留符号链接)-L,--copy-links将符号链接处理为具体的文件或者文件夹--copy-unsafe-links只处理不安全的符号链接--safe-links忽略不在SRC源目录的符号链接--munge-linksmunge符号链接使它们更安全(但会无法使用)-k,--copy-dirlinks把指向文件夹的符号链接转换为文件夹-K,--keep-dirlinks把接收端的指向文件夹的符号链接当做文件夹-H,--hard-links保留硬链接-p,--perms保留权限-E,--executability保留文件的可执行属性--chmod=CHMOD影响文件或文件夹的属性-A,--acls保留ACLs(代表--perms)-X,--xattrs保留扩展属性-o,--owner保留所有者(仅限superuser)-g,--group保留组--devices保留设备文件(仅限superuser)--copy-devices把设备文件内容当做文件一样进行复制处理--specials保留特殊文件-D和--devices--specials一样-t,--times保留修改时间-O,--omit-dir-times忽略文件夹的修改时间-J,--omit-link-times忽略符号链接的修改时间--super接收端尝试使用superuser进行操作--fake-super使用xattrs来存储和恢复权限属性-S,--sparse对稀疏文件进行特殊处理以节省空间--preallocate在写入前预分配DST文件-n,--dry-run执行一个没有实际更改的试运行,只会显示文件会被如何操作-W,--whole-file拷贝文件，不进行增量检测-x,--one-file-system不要跨越文件系统边界-B,--block-size=SIZE检验算法使用的块尺寸，默认是700字节-e,--rsh=COMMAND指定使用rsh,ssh方式进行数据同步--rsync-path=PROGRAM指定远程服务器上的rsync命令所在路径--existing仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件--ignore-existing跳过更新已存在于DST的文件--remove-source-files发送方删除非文件夹的源文件--del--delete-during的一个alias--delete删除那些DST中SRC没有的文件--delete-before传输前删除，而非传输过程中--delete-during在传输过程中删除--delete-delay在传输过程中确定要删除的,在传输结束后进行删除--delete-after在传输结束后删除，而非传输过程中--delete-excluded同样删除接收端那些被该选项指定排除的文件--ignore-missing-args忽略丢失的源参数不输出错误--delete-missing-args从DEST删除丢失的源参数--ignore-errors即使出现I/O错误也进行删除--force即使文件夹非空也强制删除--max-delete=NUM不删除超过指定数量的文件--max-size=SIZE不传输超过指定大小的文件--min-size=SIZE不传输小于指定大小的文件--partial保留那些因故没有完全传输的文件,以是加快随后的再次传输(即断点续传)--partial-dir=DIR将因故没有完全传输的文件放到指定文件夹--delay-updates在传输末尾把所有更新的文件放到位-m,--prune-empty-dirs从文件列表中删除空目录链--numeric-ids不要把uid/gid值映射为用户/组名--usermap=STRING自定义用户名映射--groupmap=STRING自定义组名映射--chown=USER:GROUP简单的用户/组名映射--timeout=SECONDS设置I/O超时,单位为秒--contimeout=SECONDS设置Daemon连接超时,单位为秒-I,--ignore-times不跳过那些有同样的时间和大小的文件-M,--remote-option=OPTION只把指定选项发送到远端--size-only只跳过大小相同的文件--modify-window=NUM决定文件是否时间相同时使用的时间戳窗口，默认为0-T,--temp-dir=DIR在指定文件夹中创建临时文件-y,--fuzzy如果DEST没有任何文件,查找类似的文件--compare-dest=DIR同样比较DIR中的文件来决定是否需要备份--copy-dest=DIR和上面的类似,但是还会复制指定文件夹中的没有改变的文件--link-dest=DIR和上面类似,只是没有改变的文件会被硬链接到DST-z,--compress在传输过程中进行压缩--compress-level=NUM指定压缩级别0-9,默认为6--skip-compress=LIST跳过压缩文件后缀在指定列表中的文件-C,--cvs-exclude自动跳过CVS的生成文件-f,--filter=RULE添加一个文件过滤规则-F等于--filter='dir-merge/.rsync-filter'重复的:--filter='-.rsync-filter'--exclude=PATTERN排除符合匹配规则的文件--exclude-from=FILE从指定文件中读取需要排除的文件--include=PATTERN包含(不排除)符合匹配规则的文件--include-from=FILE从指定文件中读取需要包含(不排除)的文件--files-from=FILE从指定文件中读取SRC源文件列表-0,--from0从文件中读取的文件名以'\0'终止-s,--protect-args没有空格分隔;只有通配符的特殊字符--address=ADDRESS绑定到指定的地址--port=PORT指定其他的rsync服务端口--sockopts=OPTIONS指定自定义的TCP选项--blocking-io对远程shell使用阻塞IO--stats提供某些文件的传输状态-8,--8-bit-output在输出中留下高比特的字符-h,--human-readable用人类可读的格式输出数字--progress在传输过程中显示进度-P等同于--partial--progress-i,--itemize-changes输出对所有更新的变更摘要--out-format=FORMAT用指定格式输出更新--log-file=FILE将日志保存到指定文件--log-file-format=FMT用指定格式更新日志--password-file=FILE从文件读取Daemon服务器密码--list-only不复制而是只列出--bwlimit=RATE限制套接字I/O带宽--outbuf=N|L|B设置输出缓冲,为None,Line或者Block--write-batch=FILE写入批量更新到指定文件--only-write-batch=FILE和上面类似,但是对DST进行只写的更新--read-batch=FILE从指定文件读取一个批量更新--protocol=NUM强制使用指定的老版本协议--iconv=CONVERT_SPEC对文件名进行字符编码转换--checksum-seed=NUM设置块/文件的校验和种子-4,--ipv4偏向于使用IPv4-6,--ipv6偏向于使用IPv6--version打印版本号(-h)--help显示帮助信息

以上就是rsync同步文件步骤示例和命令详解的详细内容，更多相关资料请阅读主机测评网其它文章！