云计算和大数据时代,数据的安全存储和高可用性成为公司发展的核心要素。作为企业协同领域的引领者,致力于为用户更好的提供稳定可靠的企业协同SaaS服务,采用多层次、多方向的灾备策略,在技术架构中引入,覆盖关键业务的所有的环节,成功实现灾备无缝切换,全方位保证用户数据安全和服务的持续可用性。

  本文将详细的介绍票易通采用的ES集群灾备技术,以及其在实际应用中的优势和运行方式。

  在云架构的业务环境中,数据的安全性和可用性至关重要。Elasticsearch是核心数据存储和检索组件,通常情况下,在使用Elasticsearch集群的过程中,数据量的增长需要更大的存储空间和更高的解决能力,在面临硬件故障、网络中断或自然灾害等情况下,单一ES集群有几率会使业务中断和数据丢失。

  为了应对可能的数据丢失或者服务中断,专业的SaaS公司需要有更强大的灾备方案来保证数据安全。基于此,云砺技术团队决定实施基于Elasticsearch的双集群热备的灾备方案,这样的形式的优点是可以实时备份数据,当主集群出现一些明显的异常问题时,能够迅速切换到备份集群,保证业务的连续性,更好地保障用户数据的安全性和可用性。

  双ES集群热备的灾备方案上线后,云砺企业协同SaaS平台的业务稳定性和数据安全性进一步明显提升。即便平台的主集群出现一些明显的异常问题,也可以在几分钟内快速切换到备份集群,并在任何一个时间里进行数据恢复,无需花费大量的时间和资源等待数据备份完成,数据丢失可能性几乎为零。

  高可用性提升:当生产ES集群出现异常时,快速通过DNS切换将业务应用切换至灾备ES集群,实现零停机切换,保证业务的持续稳定运行。

  恢复时间目标(RTO)提升:ES灾备方案能够在分钟级别内完成故障恢复,快速缩短了业务中断时间。

  恢复点目标(RPO)提升:ES灾备方案能够在秒级别内完成数据同步,最大限度地减少了数据丢失。

  适用于一定要通过ES snapshot恢复数据至新集群的情况,包括灾难恢复、数据丢失或损坏、升级或迁移、误删除操作、安全事件。

  实现原理:直接备份源集群节点磁盘上的文件至对象存储,使用备份文件在目的端ES集群中进行恢复。

  适用于秒级切换生产或灾备集群, 包括当生产ES集群异常、数据丢失或损坏时使用。

  实现原理:将近期变化的数据存储在消息存储服务Kafka,通过自研consumer双写生产和灾备ES,保证了数据一致性。使用DNS切换灾备集群案,实现秒级切换ES集群。

  当生产ES集群发生故障时,需要将业务切换到灾备ES集群上。具体步骤如下:

  运维人员启动ES查杀脚本,检查生产ES集群中的数据是不是有异常,并尝试修复异常数据。

  运维人员修复完毕后,将业务流量切回到生产ES集群上,并将灾备ES集群恢复为备用状态。

  自研Elasticsearch慢SQL查杀脚本TasKill.py,用于缓解ES集群压力,如图显示执行TasKill.py可迅速查杀慢SQL,降低ES CPU压力。该脚本可以自动扫描ES集群中的慢查询ID,并将缓慢查询任务杀掉。同时,自动化查杀也能够大大减少人工查杀的时间和成本,提升工作效率。

  数据安全和高可用性是SaaS公司的核心竞争力。采用双ES集群热备方案是一种可行且有效的技术架构,不仅仅可以实现数据的实时同步和灾备切换,还能保障业务连续性和系统高可用性。

  通过实施Elasticsearch集群的灾备方案,云砺企业协同SaaS平台的业务稳定性和数据安全性得到进一步稳固,ES服务RTO和RPO均达到业界一流水平。未来,云砺技术团队将一直在优化和迭代技术,持续为用户更好的提供稳定可靠的企业协同SaaS服务,助力公司实现业务平稳快速发展。

  云计算和大数据时代,数据的安全存储和高可用性成为公司发展的核心要素。作为企业协同领域的引领者,云砺(...

  随着科技的不停地改进革新，医疗行业也在经历着前所未有的变革。在这个数字化时代，数字病理作为医疗领域的重...

  近日,88岁金涌院士因为在网络站点平台做科普,受到广泛关注。他是我国著名化学工程专家,从教60余年,一直致力...

  人工智能(AI)的热度在当今社会可谓前所未有，随着中国在AI领域的迅速崛起，人类对于AI技术的关注...

  公交车辆是公交企业营运的主要载体，也是其主要固定资产。但与其他资产不同，公交车辆使用的过程涉及部门...

  长安储能研究院为长安绿电科技有限公司全资打造的研究平台、与西安交通大学的国家储能研究平台的多位教...

  业财融合、降本增效、不破不立 财务人的2023充斥着变与不变。从热点沙龙到年度活动,2023年分...

  独特的体验将展示马瑞利如何通过其可扩展的硬件架构、服务型软件和由AWS、QNX以及高通技术上的支持的云端虚...

  5G技术是不断演进的，为实现全球的协同，每隔一段时间3GPP就会将一批5G技术标准冻结，这就是5G Relea...

  12月14日，在2023年21世纪大健康产业峰会上，由南方财经全媒体集团、21世纪经济报道指导，21世纪新健康...

  云计算和大数据时代,数据的安全存储和高可用性成为公司发展的核心要素。作为企业协同领域的引领者,云砺(...

  随着科技的不停地改进革新，医疗行业也在经历着前所未有的变革。在这个数字化时代，数字病理作为医疗领域的重...

  近日,88岁金涌院士因为在网络站点平台做科普,受到广泛关注。他是我国著名化学工程专家,从教60余年,一直致力...

  近日，来自中国的职业电竞战队AzureRay战队在《DOTA2》ESL One吉隆

  喜报！2023年12月，中国整形美容协会正式公布2023年医疗美容机构评

  疫情结束后的第一个双旦假期马上就要来临，旅行跨年的热度也在逐日飙升。随着签证政策的放开，大家旅行的目...

  云南镇雄海能雅阁大酒店（雅阁酒店集团旗下成员酒店）坐落在素有鸡鸣三省之称，并享有美酒河盛誉的赤水...

  近日，在清科2023年中国股权投资年度排名中，建信信托有限责任公司全资子公司建信（北京）互助基金...