自建云主机平台自建网站

作者：极光推送后台技术专家——曾振波为什么要上云关于企业上云，业内已经有了非常多的讨论和论述。这里主要是从极光自身的实际情况阐述几个理由。
1、传统自建机房在扩充底层软硬件资源时，需要进行选型、采购、参数测试验证、实施部署等流程，整个过程需要消耗很多的人力和时间，对于快速发展的业务来说是很大的负担。云服务可以极大的缩减整个流程，对于部分云服务例如云主机可以实现分钟级别的资源交付。
2、自建机房需要投入高额的硬件资源准备，包括机房配套基础设施、服务器、网络、安全设备等，大量的冗余资源闲置，整体资源利用率不高。上云可以实现按需购买使用，实现更高的资源利用率。
3、基础设施建设和维护需要投入大量的人力和精力，往往还吃力不讨好。特别是虚拟化方面一直以来都是极光的痛点，资源隔离做得不好很容易受到其他虚拟机的影响，往往因为某个业务的突增影响同一个物理机上的所有虚拟机。云厂商有庞大的专业团队进行建设和维护，各方面相当可靠。
4、云厂商提供成熟稳定的PaaS层服务可以进一步释放我们的精力，让我们更专注在我们的业务，例如天然支持多AZ的RDS可以为我们在考虑同城双机房架构时提供很大的助益。极光机房架构变迁历史早期极光只有一个单一的机房，随着业务的发展，系统规模越来越庞大，单一机房的资源不足以支撑极光的业务。因此我们将业务系统迁移到了新建的机房，数据业务继续保留在原有机房，整个过程磕磕碰碰历时一年左右。​后来业务系统所在的机房再进一步优化，在同城增加一个机房，并用专线进行互通，迟延在1ms到2ms之间，并将部分子系统迁移到新的AZ。由于我们的业务量级非常大，部分子系统的QPS超过了百万，在业务峰值偶尔出现延迟增加的情况，因此也做了相关的调整，访问量大的子业务系统尽量不跨AZ进行访问。此时的多AZ，并不是每个AZ都有完整的业务流程，仅仅形成一个大内网，在部署的时候进行优化处理。​由于机房仅有单一的网络出入口，带宽也有限，很容易受到同机房的其他客户的影响。曾经出现过出口带宽用满甚至整个出口中断的情况，业务受到严重的影响。我们也考虑了异地双机房、单机房多网络出口方案，但是这些方案仅仅是针对性的解决我们的一些问题，没有系统性的解决我们当时的困境，因此这两个方案并没有真正意义的实行。同时内部也在考虑上云的方案，外加一些外部因素，上云的方案就推到了首位。至于云厂商的选型此处就不做陈述，最终选择了华为云。极光推送的业务特征分析极光推送为开发者提供服务，一个开发者可以有多个Appkey也就是多个应用，每个Appkey的全部数据互不相关，一个Appkey有多个终端设备用户。累计终端用户超过500亿，同时还有各个维度的数据，例如tag、alias等等，单副本数据总量超过80TB；月活跃终端用户超过5亿，各个API接口请求总量超过5万QPS。使用超过2万核CPU，超过2500台虚拟机来支撑这些业务。对外有2类网络通信：极光推送业务和开发者服务的通信，主要形式是RestfulAPI；极光推送业务和应用的通信，主要形式是基于TCP长链接的自定义协议。自建机房/华为云基础设施分析推送业务部署在虚拟机和K8S上，这里主要分析对比虚拟机的CPU、网络、磁盘的相关指标，以及K8S网络的指标。从物理机看，自建机房的物理机相对华为云目标AZ的物理机性能低一些，例如华为云的物理机使用更高主频更高配的CPU。在虚拟化层面，华为云的虚拟化做得更好，资源隔离更加严格，提供各种规格的云主机和磁盘，从整体上来说计算能力更加强，但是在网络和磁盘IO吞吐和QPS有严格的限制，需要做好规划。经过测试对比，选择了相关规格的云主机和磁盘。自建机房-云环境架设专线，云主机和自建机房机器之间的RTT在5ms以内，常规情况下为2-3ms，自建机房内网机器之间RTT为0.2ms左右，同一AZ云主机之间RTT为0.2-0.3ms。在K8S网络方面，自建机房做了相关的优化，通过专用的网络设备能够使用Underlay的路由模式，可以说是目前可用的原生网络模式中性能最好的模式。华为云自建K8S集群仅仅支持Overlay模式，性能相对差了一些；同时也提供了K8S服务，通过硬件加速等优化提供了较好的网络性能。上云方案的选型上云有几个需要考虑的要素：业务无中断迁移，尽量不影响客户的使用，尽量不需要客户做任何变更。迁移前后业务功能一致，需要保证数据和业务的完整性。需要考虑切换过程中极端情况导致的回滚操作，并且需要保证数据和业务的完整性。基于以上几点，在方案选型方面，我们主要考虑2个方案：01、自建机房和云环境是2套独立、隔离的环境，关联的仅仅是自建到云环境的数据同步，业务上相互隔离。以Appkey为单位，迁移Appkey所有的数据和业务。数据通过专线进行迁移同步，同时尽量保证原有自建机房数据完整，最好能够数据双向同步/或者数据双写，方便极端异常情况下的业务回滚，至少保证能够回滚后业务正常。02、自建机房和云环境通过专线连接起来后，形成一个大内网。将数据耦合度比较低的子业务单独切换到云环境；对数据耦合度比较高并且访问量/访问迟延要求高的子业务，需要都跟随数据一起迁移。内部业务系统逐渐迁移切换完成后再对入口进行整体切换。​2个方案均能实现业务无中断，同时各有优缺点，方案一需要额外开发少部分数据同步/恢复工具，前期准备工作充分的情况下，可以比较简单快速的切换；方案二不需要开发额外工具，但是需要操作的模块多，操作时间长，切换相对复杂，容易出现差错；综合考虑下选择了方案
一，尽量保证切换过程简单无差错。上云的详细方案自建机房和云环境拉通专线进行数据同步，从业务层面来说，两个机房各自承载全部的业务数据，为了方便故障回滚，各个数据项尽可能的保持双向同步，保持数据最终一致性即可；两个环境的推送业务是相互独立的，先保证全量数据同步到云环境，以Appkey为单位进行流量迁移，将Appkey的流量迁移到云环境，迁移期间各自承担一部Appkey的推送业务，最终将全部流量迁移到云环境。​部署方案为了快速迁移，采用1:1对等资源部署的方式即云环境部署一套和自建机房同等资源的系统，涉及业务模块、存储集群、依赖组件、监控体系等。同时新建另一套内部域名跟原有域名作区分，对外域名不进行变更，在迁移的最后阶段再进行变更切换。在系统入口的部署做了特殊的处理：API入口-部署同等规模的API服务器以及前端Nginx，由于对外域名只有一套，只能在自建机房和云环境做二选
一，请求流量都进入到自建机房，在Nginx的Lua代码中判断请求信息，根据Appkey归属信息决定是否转发到云环境；同时新建备用域名指向云环境的入口以备异常情况使用。SDK接入网关入口-接入网关分成2个集群，各自服务自建机房和云环境，同时接收另一个机房的下行数据；SDK先连接到调度服务，根据Appkey归属信息分配到相应的接入网关集群，同时调度服务跟自建机房互通，最后再迁移到云环境。​为了快速部署，并且避免遗漏某些业务模块或者组件缺失，也为了避免配置错误，我们整理了所有的机器列表以及相关信息例如IP，将自建机房的机器信息和云环境的机器信息一一对应起来，当然还包括域名信息也进行一一对应，在部署的时候对着这些信息进行配置和部署。数据迁移方案推送业务的数据存储涉及ES、CouchBase、Redis、PIKA、MySQL，需要把全部存量数据同步到云环境，同时建立实时同步通道进行同步增量数据，保证云环境的数据最终一致性。数据同步方式为组件工具同步、业务双向同步，确保迁移整个过程数据在2个机房的完整性和最终一致性。专线的拉通，使得2个机房之间RTT为2-3ms，为数据全量迁移和增量同步提供了非常强的支撑。根据各存储组件，我们先预研了通用的迁移方案：ES同步方式1：云环境新建集群，拷贝源集群的数据文件到新集群，完成存量数据的迁移；增量数据由程序写入（即由业务实现数据在2个集群的双写）；使用脚本工具补充切换窗口的数据。ES同步方式2：新增云环境节点加入到集群，逐步剔除自建机房节点，即云环境和自建机房当成同一个内网，简称大内网模式。CouchBase同步方式1：使用自带集群同步工具XDCR进行同步。CouchBase同步方式2：存量数据使用业务工具导入，增量数据由程序写入（即由业务实现数据在2个集群的双写）。CouchBase同步方式3：大内网模式。Redis同步方式1：存量数据使用redis-shake或者主从同步，增量数据由程序写入（即由业务实现数据在2个集群的双写）。Redis同步方式2：存量数据使用业务工具导入，增量数据由程序写入（即由业务实现数据在2个集群的双写）。PIKA同步方式1：存量数据使用主从同步，增量数据由程序写入（即由业务实现数据在2个集群的双写）。PIKA同步方式2：存量数据使用业务工具导入，增量数据由程序写入（即由业务实现数据在2个集群的双写）。MySQL同步方式1：存量数据使用主从同步，增量数据由程序写入（即由业务实现数据在2个集群的双写）。MySQL同步方式2：双主复制以上为几种通用的迁移方式，但是每个数据集群实例的特性不一样，从业务依赖程度、数据量、读请求量、写请求量几个维度评估，最终采取的迁移方案也不一样，我们梳理了自建机房的所有数据集群实例列表，对存量数据迁移、增量数据同步、切换方式、数据一致性需要的时间、切换操作、数据验证等都做了详细的评估和说明。测试方案测试分为功能测试和性能测试两部分，这两部分都使用我们自己的内部账号进行测试，先进行功能测试，在功能都完备的情况下再进行压力测试。在平时的开发过程中我们积累了大量的测试用例，覆盖到了全功能和内部细节，整理这些测试用例构造测试数据并执行，从而实现功能测试的目的。一对于压力测试，原计划的压力测试方案是：
1.在压力测试的过程中，切断云环境写入数据机房以及自建机房的数据链路，避免测试数据污染线上系统。
2.执行压力测试，确认压力测试的结果满足要求。
3.清理云环境由于测试过程导致的脏数据。
4.恢复第一步被切断的数据链路。
5.重新进行相关数据的数据同步。
6.由于第四步和第五步造成了数据和系统的变更，需要再次进行功能测试。这个方案比较复杂，并且执行时间会比较长，特别是数据同步消耗比较多的时间，因此我们根据业务特性重新调整了压力测试的方案。测试以Appkey为单位，并且系统中各个Appkey是相互独立的，基于测试Appkey进行测试产生的测试结果数据仅属于Appkey本身，并且只对系统的整体运营数据有影响；测试Appkey也当做正常的Appkey存在在系统中，相关数据也不需要进行清理，后续如果有需要可以继续使用这些测试Appkey。因此决定在功能测试之后，构造压力测试数据，然后直接进行测试，并且对整体运营数据做清洗过滤。压力测试场景和测试用例由业务团队和测试团队根据业务特征和系统特性来构造，覆盖所有的核心功能和核心模块，压测结果数据至少不低于当前业务的峰值。整个测试在存量数据同步完成并持续同步增量数据之后进行，主要是考虑在做压力测试的时候存储集群有等量的数据量才能使压测结果更加接近原有系统。流量切换方案在功能完备、数据完整的情况下，迁移操作非常简单，执行脚本，修改Appkey归属信息就可以了，具体内部逻辑如下：修改Appkey归属信息。在API请求入口判断Appkey的信息，将流量转发到云环境的入口，后续所有流程都在云环境执行。调度服务器获取Appkey归属信息，SDK新的请求返回新的接入网关集群信息，连接到正确的接入网关服务器。调度服务器通知接入网关服务器断开不属于该集群的AppkeySDK链接。API入口和接入网关入口变更有个时间差，2个机房的业务逻辑都能够完整执行，并且有数据同步，不管是SDK连接到哪个接入网关集群，都能够接收相关数据。执行迁移操作后，需要进行验证，包括但不限于以下部分：01、基础监控是否正常（网络/CPU/内存/磁盘等）02、Prometheus业务监控是否正常03、推送业务运营数据是否正常整个推送业务体量非常大，很难一次性全部切换，为了保证迁移过程有序稳定的进行，我们按照一定的策略和迁移比例制定迁移计划，分批次逐步迁移整个系统，每批次操作完成后都进行验证和观察一定的时间。优先测试账号并进行回滚验证，其次是非VIP，最后是VIP。​迁移实施管理整个迁移过程，我们建立了实施过程跟踪，每天跟进当前的进度，下一计划步骤的工作任务，有哪些依赖工作，当前有哪些风险并且由谁来跟进解决等等，尽量确保迁移工作计划持续有序的执行。​迁移过程的一些问题尽管我们做了详细的方案，在实施过程中难免会碰到一些问题，我们尽量快速分析定位问题，直接解决问题或者方案微调，在风险可控的范围内解决问题，这里摘选几个问题陈述一下。
1、有一个CouchBaseBucket实例在实施过程中发现有分钟级别的数据不一致。经过分析发现不一致的数据都有主动删除的操作，CouchBase在删除时并不是真正的删除，仅仅是标记为删除，然后在后端线程异步执行数据删除。CouchBase采用XDCR进行跨集群数据同步，可能是在数据同步过程中，删除操作未能及时同步。考虑到该实例的数据访问量级并不大，跨专线的访问时延并不影响到业务，因此进行方案的调整，仅保留云上的实例，自建机房和云上的系统共同访问。
2、有一个Redis实例偶尔出现CPU负载增高的情况，自建机房的实例观察正常。在此期间Redis没有进行数据备份，业务访问量也相对平稳，虚拟机并未受到同台物理机的其他虚拟机的影响；分析日志发现CPU负载增高时，Redis有内存碎片清理的动作，比对相关的配置发现配置不一样。怀疑内存碎片清理消耗过多CPU，经过调整Redis配置，该情况不再出现。
3、业务操作MySQL时偶尔出现迟延增加甚至超时。通过监控发现期间有业务突增，但是业务量属于正常范围内，并且自建机房的MySQL访问正常；虚拟机/物理机负载正常，业务机器/MySQL机器的网络IO/磁盘IO均正常，MySQL各项数据也正常；再细看业务机器的基础监控发现网络丢包重传相对增加，怀疑网络链路有异常，经过华为云团队排查发现网络设备的光模块异常。更换光模块后业务恢复正常，该情况不再出现。上云后的规划上云不是终点，而是另一个起点。虽然已经将业务迁移上云完成，但是依然有很多工作需要做。云厂商提供了稳健的IaaS层，也提供了很多PaaS层服务，充分利用云资源的优势，拥抱云原生，持续演进优化我们的架构，为我们的客户通过更加优质的服务。以下是上云后的一些工作：01、持续优化现有运行在虚拟机上的系统，提升系统资源利用率。02、继续推进全面容器化，在尽量保证业务互不影响的情况下，采用混合部署的方式，进一步提升资源利用率。03、采用云厂商的服务优化替换现有自建服务，例如文件存储等等。04、进一步考虑多AZ甚至多Region的架构。写在后面的话从2020年12月底到2021年3月底，历时3个月左右完成了包括推送业务在内的整个机房迁移。寥寥几千字仅仅覆盖了推送业务在技术层面的一些实践，还有很多工作没有表述，例如前期的资源盘点梳理、CMDB对接、网络规划、数据安全等等；大大小小的会议开了上百个，仅仅是数据迁移方案的评审及实施计划制定会议，业务开发团队和运维团队就一起开了3个多小时的会议。我们力求前期制定的方案足够详细、考虑周全，实施过程尽量按照预定计划进行，风险可控，所有过程都精细化到每个细节。在此期间公司内部多部门团队相互协调，华为云的专家团队全程驻场，提供了非常多宝贵的意见和建议，大家共同协作，才能在短时间完成了这项工作。

云硬盘作为云计算场景基础块存储产品为云主机提供持久化存储空间的块设备硬盘。其具有独立的生命周期，基于网络分布式访问，为云主机提供的数据大容量、高可靠、可扩展、高易用、低成本的硬盘。云硬盘（UDisk）是UCloud的一种能够灵活创建并提供高级管理功能的云硬盘设备。其采用可用区内多份跨机柜物理机备份机制，保证数据持久性99.999999%。云硬盘（UDisk）功能强大且易用使用。用户可以将创建的云硬盘挂载到任意云主机上，并能够在硬盘空间不足时对云硬盘进行扩容。同时UDisk云硬盘还提供快照及克隆功能，以便于对数据进行备份、恢复与拷贝，提高数据的可用方案。云硬盘（UDisk）目前支持最大容量8000G。能在不需要用户自建LVM的情况下，更好的满足用户对于大容量的需求。主要概念硬盘名称用户自定义的云硬盘的名称。硬盘容量云硬盘的大小。挂载点云硬盘挂载于云主机的位置。资源ID用户创建云硬盘后，系统会自动生成资源ID，资源ID全局唯
一。扩容当云硬盘的容量无法支撑业务时，可以对云硬盘进行扩容升级。挂载和卸载用户将云硬盘挂载至云主机和从云主机卸载云硬盘的操作。快照快照是一种有效防止数据丢失，保护数据完整的磁盘管理功能。通过对云硬盘秒级创建快照，可以对该云硬盘某一时点的状态进行保留，并能够在需要恢复的时候从快照创建云硬盘。脱机（Windows）云硬盘的dismount操作。可靠性云硬盘（UDisk）采用可用区内多份跨机柜物理机备份机制，并实时同步，保证不受单机故障的影响。保证数据持久性99.999999%。容量与弹性云硬盘（UDisk）可自由配置存储容量并能随时扩容，目前支持最大容量8000G。单台云主机上可挂载多块云硬盘，从而使云主机硬盘容量无限扩展。易用性云硬盘（UDisk）支持快速创建、挂载、卸载、删除和扩容等操作，能够方便部署与管理UDisk产品并无需重启服务器。备份与恢复云硬盘（UDisk）支持2种备份方式：手动快照与数据方舟。手动快照可支持数据盘备份，并能通过备份来恢复或创建新的UDisk实例。数据方舟在全面支持手动快照功能基础之上，还支持云硬盘的实时备份功能，并能通过任意时间点备份来恢复或创建新的UHost实例。云硬盘（UDisk）产品适用于：小型关系数据库场景与对数据可靠性有一定要求的开发测试场景。对于容量有要求的大文件顺序读写场景。（如：hadoop离线数据分析场景）备份场景。产品性能性能数据评估云硬盘性能有3个重要的指标数据：IOPS：每秒读写次数。吞吐量：每秒读写IO流量。时延：操作请求发送到响应确认的时间。理论上，IOPS与吞吐量越大越好，时延越低越好。云硬盘（UDisk）性能指标如下：峰值IOPS：3000次峰值吞吐量：200MB/s平均时延：本文由云 社区发表>作者：磊哥上期文章我们聊到了redis。这期我们来说说另一个网红nosql数据库：MongoDB。有这么一个介绍MongoDB的说法是：MongoDB是非关系数据库当中功能最丰富，最像关系数据库的。这么说是因为作为一个面向文档存储型、数据结构非常松散自由的的数据库，却拥有着丰富的功能特性如强大灵活的查询语言、支持二级索引等特性，新版本的MongDB甚至还支持事务。听小伙伴说MongoDB不仅功能丰富，而且读性能强大到远远把MySQL甩在后面，今天我就代替大家来动手进行一下数据库测试，揭开MongoDB的神秘“面纱”。为了进行数据库对比测试，这次我购买了腾讯云MongoDB的主从版（1主2从），同时在同样配置的云主机自建MongoDB作为对比。下面给出CentOS764位上安装MongoDB3.6的实践如下：vim/etc/yum.repos.d/.repo编辑内容如下：[]name=MongoDBRepositorybaseurl=/yum/redhat/$releasever//3.6/x86_64/gpgcheck=1enabled=1gpgkey=/static/pgp/server-3.6.asc执行指令-y安装vim/etc/mongod.conf此处根据自己需求修改**bindIp:0.0.0.0#监听地址port:27017#监听端口**systemctlstartmongod.service*#开启服务stat-anpt|grep27017*#检查是否启动*服务开启后可以使用上面的指令测试服务是否启动，如果成功启动的话会看到结果如下图所示：如果无法启动，需要根据日志分析具体原因。根据笔者的实践，大部分的原因会落在配置和权限上。如果排除错误太难，建议重新安装来的快一点。接下来需要安装数据库测试工具，这次我们使用YCSB，雅虎开发的一个很强大的测试工具。在安装YCSB前需要安装Java和Maven，测试前需要在workloads文件夹中创建配置文件，配置如下图所示：考虑到购买的mongoDB是副本集配置，一个主节点带两个从节点，我们在本地也配置好副本集群，使用用./mongod--replSetamymongo--dbpath/data/27019--port27019--logpath/var/log/mongodb/27019.log--fork配置从节点，具体配置和初始化方法参考（当然部署在本机的方案不能保证高可用）在workloads中防止配置文件，我们选择插入1千万条记录，执行1千万次操作，测试两种场景：read/update9：1和纯insert场景。废话少说，下面就一起来看看测试结果吧。场景读更新read/update9:
1，单位ops/sec:场景纯写入insert，单位ops/sec:场景读更新read/update9:
1，单位us(延时)：场景纯写入insert，单位us(延时):看来mongodb真的是一个高性能的数据库，为啥呢，因为mongo的延时单位居然是us微秒、微秒、微秒。。。16GB的内存基本上20线程之后延时就会大大增加，在100线程的时候基本上延时基本在1000us以上，而读多场景跟写入场景相比，写入场景的性能略差一点，随着线程数的增大，写入场景的吞吐量和延时表现和读更新场景的差距会扩大。有读者可能会有疑惑，既然数据库测试是比较云和自建，看起来差距也没有那么大，用自建好像也可以接受啊。这里我要把测试中的发现讲给大家听，听完之后大家就明白了。第一点，笔者买的是16G内存的机器（流下了没有钱的泪水），测试的时候发现cvm的内存占用基本到了百分之60左右，笔者在建立副本集和加大测试数据量（购买数据量的百分之80）之后发现，内存占用基本到了百分之80以上。看来mongo的第一个缺点，就是对内存的消耗真的非常可怕！！如果遇到高并发大数据量读写，恐怕分分钟就存在着存在着OOM的风险。所以这里奉劝各位同学，如果要自建MongoDB，还是尽量购买超大内存满足业务需求，避免在业务高峰的时候被“干掉”。如果因为跟笔者一样贫穷不想买那么大的内存，可以考虑使用云数据库，云MongoDB具备动态伸缩能力，即使没有买够大的内存，也完全来得及在业务高峰扩容，即使发生故障，也有完善的数据自动备份和无损恢复机制来恢复数据，在可用性上保障就高多了。第二点，笔者在后续测试本地副本集的时候，尝试读secondary节点的数据，结果遇到了读延迟很高的情况。在网上研究了一下发现是因为，MongoDB复制集里Secondary不断从主上批量拉取oplog，然后在本地重放，以保证数据与Primary一致。这里为了防止脏读，会加一个锁阻塞所有的读请求。所以如果遇到Secondary重放oplog占用锁时间长，读取的延时也会对应变长。这个锁最高能锁多久呢，看到有个案例锁了接近一个小时。。。看到的人内心一定是崩溃的，而在云Mongo测试的时候没有遇到这个情况，我想这一定是针对这个缺陷做了很大的改进，使用了其他方法实现同步。总的来说，MongoDB确实可以不借助其他第三方工具实现高可用和分片功能，具备的高可用的故障切换，分片可以实现数据的分部均衡，大数据量的时候通过路由实现了服务器的负载均衡。所以MongoDB自身的可用性较高，也难怪会在短短时间内成为流行的nosql数据库。但是MongoDB也存在着一些坑：如对内存的占用过高、对网络的占用过高、存在从节点锁导致读几乎不可用的情况，这些情况在实际业务使用的时候会导致很严重的问题，集群宕机、服务瘫痪、数据丢失无时不刻不是覆盖在运维同学心头的阴影。这个时候云MongoDB几乎就是救星，弹性伸缩、随时扩容、真正安全的数据热备以及强大的专业运维架构师团队，才能真的确保业务安全无故障的运行下去。写到这里，笔者也在思考，云数据库到底是什么，它仅仅是把数据库封装一下，改改内核，提供给使用者吗？不，云数据库应当是一整套专业服务，除了数据库之外，还有监控、安全、迁移、灾备、运维等一系列的服务提供。能让业务开发专注于业务本身，把专业的交给专业的人去做。**此文已由腾讯云 社区在各渠道发布****获取更多新鲜技术干货，可以关注我们[腾讯云技术社区-云加社区官方号及知乎机构号](/teng-xun-yun-ji-zhu-she-qu/activities)**

Redis是什么？简单来说，Redis是一个开源的内存数据库，支持Key-Value等多种数据结构，可用于缓存、事件发布或订阅、高速队列等场景。Redis使用ANSIC语言编写，支持网络，提供字符串、哈希、列表、队列、集合结构直接存取，基于内存，可持久化。在游戏应用中，可以将一些非角色数据，如排行榜等存储在Redis中以提升用户访问速度。但在云计算环境下，日益增长的海量数据与用户请求为缓存服务带来新的挑战。比如一款新游戏上线后，经常在凌晨迎来业务爆发。运维人员必须紧盯着屏幕监控游戏运行数据，不然过高的redis资源占用率随时都会让业务发生异常，严重影响着用户体验。如果你还在自建Redis缓存，那你就out了！为了解决开源Redis在性能、资源利用率等方面的局限，华为云缓存服务Redis应运而生。云缓存Redis是一个在华为云上提供的分布式缓存，提供即开即用、安全可靠、弹性扩容、的在线分布式缓存能力，提供单机、主备、集群等丰富的实例类型，满足用户高并发及快速数据访问的业务诉求。说了这么多，分布式缓存Redis到底好在哪里呢？作为云化服务，云缓存Redis具有易使用、低成本、高可靠、易维护等优势。具体来说就是：即开即用用户直接操作Web控制台，或者调用接口，即可申请Redis服务，快速部署，无需关心硬件及软件。而自建Redis需自行购置服务器资源、部署，耗时耗力。稳定可靠与自建Redis相比，分布式缓存Redis数据高可靠，支持主备和集群模式，支持数据持久化。服务高可用，支持故障自动切换。易维护云缓存Redis管理操作流程简便，可一键申请、启停缓存实例。有丰富的服务监控指标（如存储键值、客户端连接数量、历史命令数据等），以及系统监控指标（如内存占用、CPU消耗、带宽占用）。而自建Redis需要集成第三方工具进行监控展示，以及专职DBA值守、磁盘清理、实例管理等。别再自建Redis缓存啦，用分布式缓存服务，上云快人一步。

基于Flask的Web自建图床，内置支持又拍云、七牛云、阿里云OSS、腾讯云COS等对象存储。

数据库作为企业核心的数据存储引擎，在其提供服务的过程中，经常会因为各种各样的原因需要进行数据的迁移。数据库迁移作为一个古老的话题并不神秘，但因为迁移数据的重要性，以及业务对数据库可用性的高要求，导致数据库迁移的复杂度极高，一般都需要专业工具的协助才能完成。当前，市面上也已经提供了各种各样的数据库迁移工具。本文将介绍数据库迁移的步骤以及市面上常见的迁移工具。
一、为什么要做数据库迁移数据库在提供服务的过程中，经常需要进行数据迁移，常见的场景包括：数据库上云迁移，业务上云，要求数据库上云，此时涉及数据库的迁移；数据库跨云迁移，业务需要跨云迁移时，要求数据库跨云迁移；数据库版本升级，例如数据库内核发布新版本，需要从旧版本迁移到新版本；数据库扩容或缩容，例如数据库所在服务器资源不足，需要跨机器迁移数据库以实现数据库扩容；异构数据库迁移，数据库中的部分业务需要迁移到另外一种更适合的引擎时，涉及的数据库迁移工作。例如从单机数据库迁移到分布式数据库；从关系型数据库迁移到NoSQL，或，从关系型数据库/NoSQL把数据迁移到数据仓库、大数据或数据湖中进行数据分析。
二、数据库迁移的步骤不同于应用搬迁，数据库在数据迁移过程中，业务仍然持续写入数据，数据一直处于动态变化的状态，整个迁移过程相对比较复杂。根据是否能支持数据迁移过程中，数据库为业务持续提供读写服务，将迁移方案分为：停机迁移、零停机迁移。为了满足业务服务的高可用及迁移数据的完整性，推荐大家选择能够支持“零停机迁移”的工具产品。停机迁移，即迁移之前需要停止数据库的写能力，即数据库上层业务不能有写请求，业务停服。然后，在数据库完全静态的情况下，进行数据库迁移。零停机迁移，即在数据库迁移的过程中，业务仍然继续提供服务，业务不受影响。在数据库迁移过程，零停机迁移的迁移步骤包括如下几步。而停机迁移，只支持存量历史数据的搬迁。存量历史数据的搬迁，存量历史数据搬迁主要进行结构定义及数据的迁移。例如对于关系型数据库(例MySQL、SQLServer等)，结构迁移会进行表结构、视图、存储过程、函数等的定义迁移。增量更新数据，由于存量历史数据搬迁一般会持续数小时甚至上天，在这期间为了实现数据库可服务，数据库会继续接受业务写入请求。对于这部分新增的数据，也需要迁移到目标数据库，以保证迁移数据的完整性。当然市面上很多工具不提供这个能力，其要求业务完全停止服务，保持数据库的完全静态后，再进行数据迁移。迁移数据对比，在完成数据迁移后，一般都需要校验迁移数据的一致性，避免因为软硬件或人为误操作等原因，出现迁移数据不一致导致业务受影响。
三、常见的数据库迁移方法当前市面上主流的数据库迁移工具，主要分为如下几种方案：
1.NineData官网地址：NineData-让每个人用好数据和云-玖章算术NineData是玖章算术旗下的多云数据管理平台，它支持数十种常见数据源(例：MySQL、SQLServer、Clickhouse、Kafka等)之间的同异构数据迁移。NineData提供了数据的单向及双向复制。其提供的单向数据复制功能，包括了结构复制、全量数据复制及增量复制能力，基于这几个复制步骤，可以在业务零停机的情况下，完成数据库的无缝迁移。NineData作为一个即开即用的SAAS服务，围绕数据迁移功能，也提供了一系列完善的配套服务，包括告警监控、权限管控、迁移限流及数据一致性对比等。其中，数据对比功能非常有特色，其支持所有对象的结构对比及数据对比，同时，为降低对比对数据库的压力影响，还提供了快速对比、对比限流等能力，在对比完成后，其还会提供详细的不一致数据及订正语句。除了完善的功能外，NineData的迁移性能也很优秀，用sysbench模型测试了下，它的全量迁移速度高达130MB/s，增量复制速度能达到10万 TPS。NineData比较有特色的是：可完全自动化得实现数据库的零停机迁移；提供高效、易用完善的数据一致性对比工具；对云数据库、云主机及IDC自建数据库的支持同样完善。图一：配置任务的第一步骤，选择迁移的数据源及迁移的步骤图
二、配置任务的第二步骤，选择复制对象图三：配置任务的第三步骤，配置映射关系及数据过滤条件图四：配置任务的第四步骤，迁移前的前置检查图五：任务详情及运维界面图六：复制任务的数据对比详情图七：复制任务的对比结果，不一致数据的详情
2.备份集恢复一般各个数据库引擎都会提供备份恢复工具，例如MySQL的xtrabackup。借助备份集恢复功能实现数据库迁移的步骤一般如下图所示。整个恢复过程纯依赖手动调度、手工执行。这种恢复方案因依赖数据库本身工具，迁移的完整度很高。但是实现复杂度也比较高，比较容易出错。且恢复工具不提供辅助的诊断运维能力，使用门槛比较高，不是很推荐。备份恢复迁移方案的特征为：纯手工操作复杂度高且容易出错，迁移的完整性较高，但只适合同网络环境下的同构同版本数据库之间的数据迁移。
3.数据导出 数据导入一般各个数据库引擎都会提供导入导出的工具，例如MySQL的mydumper myloader。同时，各大数据库开发工具也会提供数据导出 导入的功能，例如navicat。这种工具只能支持历史存量数据的迁移，不支持增量数据迁移。所以，为了保障迁移数据的完整性，要求业务停机后，再进行数据迁移。基于数据导出导入的迁移方案的问题是：要求业务停机迁移，业务影响大；只适合小规模数据量情况下的数据迁移。
4.云厂商数据库迁移工具云厂商数据库迁移工具，其中以阿里云数据传输DTS为代表。云厂商一般都会提供数据库迁移工具，以支撑数据库上云迁移。云厂商的数据库迁移工具一般也支持结构复制、全量数据复制及增量数据服务，可以实现业务零停机情况下的数据库迁移。同时，云厂商一般也会提供内置的数据校验工具，但一般只支持数据的校验，不提供结构校验能力。云厂商迁移工具一般由数据库团队负责，所以其对云数据库的迁移支持较好，但是对于云主机上自建数据库以及IDC自建数据库支持不好甚至不支持。例如，大部分云厂商迁移工具都不支持自建数据库作为迁移工具的目标数据源。云厂商迁移工具的特征是：可完全自动化得实现数据库的零停机迁移；对云数据库的支持较完善，基本不支持云主机及IDC自建数据库。
四、小结总的来说，数据库作为核心业务支撑，其在数据库搬迁过程中的可用性及搬迁数据的完整性至关重要。为了满足服务高可用及迁移数据的完整性，推荐大家选择能够支持“业务零停机迁移”的工具产品。同时，平台工具(例NineData)的自动化体验及配套设施（例：数据校验工具、迁移限流、监控告警等）一般较为完善，是比较推荐的选择。

2022年12月27日，明道云私有部署V3.8正式发布。除了同步更新明道云SaaS版V7.8的功能以外，V3.8还将应用库功能下放至私有部署，私有部署用户可以自建企业内部应用库，并且给新创建的组织预置应用了。注意：该功能仅面向明道云私有部署付费用户开放。自建应用库平台管理员可以在系统配置里设置应用库是否关闭，启用自建应用库还是明道云共有应用库。开启后，应用管理员即可在应用库的「我的发布」里进入应用发布管理界面。应用库界面应用发布管理界面在应用发布管理界面，你可以上传、审核、上架、下架应用。为方便查找，你还可以创建分类和行业标签，将应用分门别类地收纳起来。如果有员工搭建出值得大家参考学习的应用，你还可以将其放置到推荐页面，吸引同事安装借鉴。预置应用在应用发布管理界面，管理员还可以指定已发布的应用设置为预置应用。当新的组织创建时，系统将自动安装预置应用。过去，我们看到不少大型企业在用各种方法管理应用模板和应用版本，包括保存应用mdy文件到本地、自建管理应用的应用等等。有了自建应用库功能后，企业可以用更简便、优雅的方式管理应用，建立更开放的企业内部应用生态。安装链接点击下方链接，即可快速安装或升级到V3.8.0。/pd/releases/tag/v3.8.0

​什么是云主机？这确实是值得思考的问题，随着互联网的快速发展，人们在享受互联网时代给我们带来了便利，但是同时也会因有很多新鲜事物的诞生而费解，什么是人工智能？区块链是什么？大数据又是什么东西？我们不理解这些事物的话，就一定先了解了解它的概念吧，就像我前面提到的问题，什么是云主机？说起来云主机，就不得不提云计算了，云计算的核心思想，就是将大量使用网络连接的计算资源统一管理和调度，构成一个计算资源池向用户按需服务。云计算的基本原理是，通过使计算分布在大量的分布式计算机上，而不是在独立计算机或远程服务器中完成目标任务。企业数据中心的运行与互联网相似。这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。那么什么是云主机呢？什么是云？什么是云主机？云主机与云计算是分不开的，很多人在上大学时就会经常听
C 老师提到"云"、"云计算"等字眼，说实话，其实并没有那么的复杂。为了让大家逐渐的去了解云主机到底是什么的，还是要详细的说一下的.简单地说：云主机说起来是很厉害的，听起来也是很霸气的。但它其实就是一台电脑，很普通的电脑，只不过云主机是在云上面的，也就是说云主机不是在你面前的，而是在遥远的地方，就像天空飘着那些云朵一样。所以它与你的个人电脑相比优点有两个，一是全天24小时都是开着机的，二是它的上传带宽比较高的。要知道我们家用PC大多数是用的下载功能，上传就要慢一点。在云主机还未出现之前，大多数企业购买和应用软件都需要租用单独的服务器，那样的成本确实是很高的。直到云主机的出现，不仅大大降低了租用的成本，而且也让企业和用户有了多元化的选择，针对软件和应用的配置要求，选择适合自己的云主机。云服务器能快速构建更稳定、安全的应用，同时也降低了开发运维的难度和整体IT成本，使企业可以更专注于核心业务的创新

日前，国务院印发了《“十四五”国家应急体系规划》（以下简称《规划》），对安全生产、防灾减灾救灾等工作进行了全面部署。《规划》中提到，要以防范化解重大安全风险为主线，深入推进应急管理体系和能力现代化，坚决遏制重特大事故，最大限度降低灾害事故损失，全力保护人民群众生命财产安全和维护社会稳定。安全是城市发展的根基，而大数据、云计算等领先数字技术为依托的数字化建设是推动城市安全发展的倍增器，基于数字化的智慧应急是打通城市安全全周期管理经脉的“路与桥”。作为全国唯一一家工业互联网标识解析安全应急行业节点运营商，中安工业互联网（成都）有限公司（以下简称“中安公司”）依托多方核心技术和行业资源，专注行业应急安全智慧化建设，面向全行业提供“工业互联网 安全生产”整体解决方案。为确保更好地支撑未来业务发展，中安公司加快推进数字化进程。在此期间，考虑到IT资源需求量大，传统自建机房会导致设备采购周期长、运营成本高、无专人管理、运维难度大且资源易浪费等问题，中安公司携手天翼云迎难而上，结合天翼云多年积累的云计服务经验，采用以数据交换为核心构建云网络，围绕云网络设置构建云安全区、主机资源、存储资源等核心模块，通过对各项业务数据模块隔离的方式，助力工业互联网应急管理云平台安全、快速上线。在天翼云的有效推动下，中安公司打造了四川省内首个以云资源池为底座的工业互联网标识解析安全应急行业二级节点及应用服务平台样板。在整体业务上云过程中，中安公司将安全摆在了关键位置。为此，在云安全区的建设方面，天翼云为中安公司配备的全套解决方案打通了企业内外网的高速业务访问，实现了网络安全隔离，以及对DDoS攻击的防御和分流。基于此，中安公司通过了信息化网络安全等级保护三级认可，充分保障了系统能够稳定运行。为满足后续业务的快速部署，以及规模弹性扩展的业务需求，在主机资源区的建设上，中安公司采用天翼云主机，实现业务系统的资源按需配置，提升了系统的扩展性、稳定性和可靠性。天翼云提供的即开即用的弹性云服务，使得中安公司的工业互联网应急管理云平台业务上线时间缩短了30天，资源利用率提升40%。目前，中安公司基于工业互联网应急管理云平台已为中石油西南油气田公司、敦煌莫高窟景区、泸州老窖乾坤酒堡、普达尔工业气体有限公司等单位提供了整体解决方案和应用实施。

10月25日，开源容器平台KubeOperator正式发布v3.11.0版本。在这一版本中，集群工具列表新增KubePi可视化管理面板，并且在导入KubeOperator自建集群时支持扩缩容、升级等Day2操作，同时还完成了若干的功能优化和Bug修复。新增功能
1.新增KubePi可视化管理面板作为一款简单易用的开源es可视化管理面板，KubePi（/KubeOperator/KubePi）允许管理员导入多个es集群，并且通过权限控制将不同Cluster、Namespace的权限分配给指定的用户。KubePi允许开发人员管理es集群中运行的应用程序，并对其进行故障排查，从而帮助开发人员更好地处理es集群中的复杂性。与同类型的集群可视化管理工具相比，KubePi更注重于集群内应用的部署、管理与纠错，将常用的kubectl命令可视化，以表单的形式代替了冗长复杂的YAML文件，力求实现人人可用。KubePi支持导入多个es集群，当前版本支持token、kubeconfig、证书三种导入方式，能够实现对集群的零侵入。用户权限具体到命名空间，支持各类权限自定义。导入集群后，管理员可以为用户分配不同的集群角色与命名空间权限，从而实现对集群权限的管理与控制。▲图1KubeOperator集群工具列表▲图2KubePi仪表盘
2.导入KubeOperator自建集群时支持进行扩缩容、升级等Day2操作KubeOperatorv3.11.0版本支持导入自建的es集群，并且支持用户进行Worker节点扩容、缩容、集群升级、备份、恢复、创建存储提供商等Day2操作。▲图3导入KubeOperator自建集群▲图4编辑KubeOperator自建集群功能优化■初始化集群时，支持设置Master节点是否可调度；■支持同步已启用工具状态和Chart仓库状态；■支持Prometheus工具启用后跳转；■工具列表增加详情信息展示；■添加存储类时，支持自定义回收策略；■集群、主机等列表页支持自定义排序；■主机列表页增加凭据信息（默认隐藏）；■创建vCenter可用区时，资源类型支持选择主机；■创建可用区时，自定义模版支持自定义凭据和端口；■部署计划、可用区和区域列表默认按照名称排序；■系统设置添加仓库时，支持设置Nexus仓库密码；■运行时选择Docker时，默认支持live-restore功能；■添加集群配置预览时，手动集群节点超出后隐藏显示；■集群评分功能优化（es开源配置验证工具Polaris的版本升级至v4.1.0版本）；■批量删除存储提供商时，增加状态判断选项；■集群API健康检查增加“待解决”状态；■集群删除逻辑优化。Bug修复■修复了WebKubectl弹出时显示token错误的问题；■修复了添加主机时，大内存主机获取不到内存的问题；■修复了提交类按钮双击导致重复提交的问题；■修复了OpenStack集群创建可用区时，虚拟机没有创建在指定服务器的问题；■修复了发生网络闪断后，Kobe服务中锁未释放的问题；■修复了在Ubuntu主机中输入kubectl命令没有自动补全的问题；■修复了导入集群没有发送消息的问题；■修复了导入集群删除后，消息详情没有获取到集群名称的问题；■修复了区域、消息中心高级搜索报错的问题。

10月25日，开源容器平台KubeOperator正式发布v3.11.0版本。在这一版本中，集群工具列表新增KubePi可视化管理面板，并且在导入KubeOperator自建集群时支持扩缩容、升级等Day2操作，同时还完成了若干的功能优化和Bug修复。新增功能
1.新增KubePi可视化管理面板作为一款简单易用的开源es可视化管理面板，KubePi（/KubeOperator/KubePi）允许管理员导入多个es集群，并且通过权限控制将不同Cluster、Namespace的权限分配给指定的用户。KubePi允许开发人员管理es集群中运行的应用程序，并对其进行故障排查，从而帮助开发人员更好地处理es集群中的复杂性。与同类型的集群可视化管理工具相比，KubePi更注重于集群内应用的部署、管理与纠错，将常用的kubectl命令可视化，以表单的形式代替了冗长复杂的YAML文件，力求实现人人可用。KubePi支持导入多个es集群，当前版本支持token、kubeconfig、证书三种导入方式，能够实现对集群的零侵入。用户权限具体到命名空间，支持各类权限自定义。导入集群后，管理员可以为用户分配不同的集群角色与命名空间权限，从而实现对集群权限的管理与控制。▲图1KubeOperator集群工具列表▲图2KubePi仪表盘
2.导入KubeOperator自建集群时支持进行扩缩容、升级等Day2操作KubeOperatorv3.11.0版本支持导入自建的es集群，并且支持用户进行Worker节点扩容、缩容、集群升级、备份、恢复、创建存储提供商等Day2操作。▲图3导入KubeOperator自建集群▲图4编辑KubeOperator自建集群功能优化■初始化集群时，支持设置Master节点是否可调度；■支持同步已启用工具状态和Chart仓库状态；■支持Prometheus工具启用后跳转；■工具列表增加详情信息展示；■添加存储类时，支持自定义回收策略；■集群、主机等列表页支持自定义排序；■主机列表页增加凭据信息（默认隐藏）；■创建vCenter可用区时，资源类型支持选择主机；■创建可用区时，自定义模版支持自定义凭据和端口；■部署计划、可用区和区域列表默认按照名称排序；■系统设置添加仓库时，支持设置Nexus仓库密码；■运行时选择Docker时，默认支持live-restore功能；■添加集群配置预览时，手动集群节点超出后隐藏显示；■集群评分功能优化（es开源配置验证工具Polaris的版本升级至v4.1.0版本）；■批量删除存储提供商时，增加状态判断选项；■集群API健康检查增加“待解决”状态；■集群删除逻辑优化。Bug修复■修复了WebKubectl弹出时显示token错误的问题；■修复了添加主机时，大内存主机获取不到内存的问题；■修复了提交类按钮双击导致重复提交的问题；■修复了OpenStack集群创建可用区时，虚拟机没有创建在指定服务器的问题；■修复了发生网络闪断后，Kobe服务中锁未释放的问题；■修复了在Ubuntu主机中输入kubectl命令没有自动补全的问题；■修复了导入集群没有发送消息的问题；■修复了导入集群删除后，消息详情没有获取到集群名称的问题；■修复了区域、消息中心高级搜索报错的问题。

DT时代，越来越多的企业应用数据步入云端。Hadoop是当下流行的大数据并行计算体系，横向扩展、生态圈成熟等一直是它的主要特点。阿里云数加MaxCompute(原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。与传统Hadoop相比，MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。国内做大数据，基本就这两个选择：自建Hadoop或者使用阿里云的MaxCompute。像Amazon、Google、微软的大数据服务在国内基本处于不可用或者很难用的状态。我们就来对比一下这两个主流的技术选型：以企业拥有10TB数据为例，自建hadoop集群，则至少需要6台机器(3nodes 2NameNode 1jobtracker)，成本在20万左右。除此之外，还需要投入机房资源，网络设备和运维成本。这其中主要是运维成本，要知道一个运维人员的成本一年至少15万。这样，整体算下来要55万左右。如果采用阿里云的MaxCompute，按照现在的报价，大约需要32160(存储费用) 45000(计算费用)=77160元。也就是说二者的成本差距在7倍以上。按照Hortonworks首席技术官EricBaldeschwieler关于成本的陈述，就更为夸张：硬件成本只占Hadoop数据中心总成本的20%。如此明显的优势，相信开发者的选择已经了然于胸。想了解MaxCompute目前情况和未来规划、MaxCompute如何对生态赋能、MaxCompute与自建Hadoop成本效能分析、MaxCompute与开源生态连接工具讲解和MaxCompute编译器与开发环境等方面的技术问题，就来云栖大会吧～10月14日阿里云大数据计算服务MaxCompute阿里云大数据计算服务专场将有众多阿里云大数据资深技术专家为你一一解答以上问题。这一届云栖大会的主题是“飞天·智能”，会有3场主论坛、22场前沿峰会，同时有100余场分论坛、400余家科技企业展，围绕云计算、大数据、人工智能、智能硬件、VR、AR、芯片技术、数据库、loT、操作系统、生物识别、天文科研、金融科技、量子计算等前沿领域进行讨论与展出。开源中国一直致力于为一线开发者提供最热门的技术干货，因此本次云栖大会我们给用户带来了盛大优惠，9月20日起购票活动再升级！返现100元基础上每天再抽10张门票免费送！赶紧登录：/osc-aliyun-yunqi/?s=osc-wz订购2017云栖大会门票吧！

全民上云，云服务器买来可以用来做什么？云服务器吧分享云服务器使用场景列举，一般来讲，很多同学购买云服务器是用来建站、OA系统、ERP系统、搭建邮件服务器、爬虫、小程序服务器等应用场景：云服务器是使用场景购买云服务器后，云服务器可用来做什么？云服务器吧分享使用场景：
1.搭建网站搭建网站的用途是比较主流的，很多站长手里可能会有十几台服务器或者VPS。搭建网站的类别就很多了，例如：企业建站、个人博客、论坛社区等。
2.APP后端运行移动手机APP运行是需要后端云服务器支持的。
3.企业管理软件部署OA/ERP云服务器具有高可用且24小时不间断运行的优势，企业办公自动化或ERP软件可以托管在云服务器上，员工远程连接即可。
4.微信小程序服务器开发微信小程序，你需要一台服务器。
5.邮件服务器对于小企业而言，使用第三方免费的邮件服务器即可，但是企业做大了之后，通常会自建邮件服务器，这就需要服务器了。
6.跑爬虫云服务器是一台24小时不关机的电脑，爬虫能做的事情很多，比如爬产品价格等，然后剁手。
7.挂软件云服务器是一台24小时运行的主机，并且不需要你交电费，可以用云服务器挂软件，挂什么软件？云服务器吧就不错赘述了。
8.机器学习、深度学习、AI等应用阿里云GPU云服务器和腾讯云，分分钟创建，并且可以使用云厂商提供的深度学习相关镜像。以上为云服务器吧分享的云服务器使用场景，欢迎补充。