一文读懂:异构复制技术四大应用场景
在开源软件及信息技术路线多样化发展潮流下,数据复制异构场景逐渐增多。在我国,随着国产化趋势的蓬勃发展,国内信息基础设施厂商百家齐放。

如今,经过近二十年的积累和发展,我国信息技术产业整体国产化取得了较大的发展,涌现了大批国产存储、数据库、云资源等信息基础设施供应商。据统计,2010年以来,新成立的国产存储企业超 15家,2015至2020年间,新成立的国产数据库企业达33家,截至2021年5月的国产数据库企业共计80家,且2020年国外数据库在我国数据库市场的市场份额已降至 52.6%。
存储方式和数据库类型的变革,以及厂商数量的增加使企业的信息系统日益复杂,带来广阔的跨平台、跨品牌的数据复制需求。但同时也要看到,异构复制因为技术和产品架构的不同,数据复制过程中存在数据库、操作系统、桌面用户数据、迁移过程的复杂性、大量非结构化数据、迁移过程的安全性等诸多挑战,涵盖包括字符集不兼容,中英文转换难、数据治理难度高、兼容性差等系列难点。
以英方软件为例,其基于动态文件字节级、数据库语义级、卷层块级三大复制技术,为用户构建多层次的异构复制方案。并推出了文件迁移和复制工具 i2COOPY、NAS迁移和复制工具 i2NAS、对象存储数据迁移和复制工具 i2DTO、数据库迁移和复制工具 i2Stream、操作系统在线热迁移工具 i2Move、HDFS 迁移和复制工具 i2COOPY for HDFS 等多款异构数据迁移和复制工具,适用于多种异构复制应用场景:
场景一:文件异构迁移和复制
文件异构的场景下,又细分为“异构服务器/操作系统之间、异构NAS存储之间、对象存储数据迁移和复制”三类应用场景,每个场景英方均有解决方案。
以某头部证券 NAS 到对象存储的文件迁移项目为例,其生产系统是影像系统,包含3.3亿个海量小文件,总数据量高达60TB。英方方案按照不同桶或桶内路径拆分多条规则等方式并发传输,提高了券商的迁移效率。且方案支持全量和增量同步,迁移过程不影响前端生产。
场景二:数据库异构迁移和复制
异构数据库的迁移和复制,其应用场景可细分为“异构平台经Kafka或直接复制迁移、异构数据融合与异构数据库迁移”。
以某省医保数据上云项目为例,项目涵盖了全省八千多万人的医保数据,上云数据量超百 TB,且涉及到多种类型的数据同步,多种异构数据源。方案通过英方 i2Stream 数据流复制管理产品,将 Oracle 数据库同步至腾讯 TDSQL 分布式数据库中,将复杂分散的地市州医保数据同步到省医保核心数据库中,保证了数据完整性和一致性。且数据同步速度最快能够达到 20 万行/秒。
场景三:整机异构迁移和复制
整机迁移即操作系统迁移,该场景整合了字节级迁移与块级两种复制技术,可为用户提供整机在线热迁移。
以某大型运营商云存量资源海量迁移项目为例,通过英方多种迁移产品,为本次大规模迁移中的每个企业提供了 1 对 1 的专业的驻地迁移技术服务,将三个存量资源池中包括 4000+ 企业、100+ 自有业务在内总量 14000+ 的云主机迁移到新的资源池。英方软件帮助用户实现了“对接客户、迁移调研、资源开通、方案制定、迁移实施、迁移割接”等一站式全流程交付。
场景四:HDFS异构迁移和复制
HDFS的英文全称是Hadoop File System,作为大数据文件系统的主要应用场景,在容灾方面难以做到底层的实时复制和容灾。英方围绕用户需求,推出了i2COOPY for HDFS 复制产品,可实现不同平台间HDFS文件的同步。
以某城市银行大数据实时同步项目为例,该银行基于 CDH 重新建设了全新的统一运维分析平台,英方通过 i2COOPY for HDFS 产品,为该客户基于 CDH 建设的大数据平台,实现 HDFS 以及 Hive 数据在跨 CDH集群之间的实时同步。方案实施后,该行全量同步性能可达534.7 MB/s,增量同步性能可达114.0 MB/s。
