河北移动携手华为构建计费系统领先的双中心双活架构，实现“应用双活、智能切换、业务永续”

河北移动在2021年6月全部业务系统入住全网中心华北节点资源池后，面临单机房宕机或者网络故障时业务切换时间长、业务影响大的问题，为强化关键数据资源保护能力，增强通信系统数据安全和业务连续性，河北移动IT中心联合华为团队于2022年1月正式启动计费领域的双中心双活架构建设，于2022年5月开始试点，2022年8月完成试点全面商用，实现真正意义上的“应用双活、智能切换、业务永续”。

随着5G等数据业务迅猛增长，对于海量业务的计费效率、关键业务连续性、以及双中心资源利用率要求越来越高，计费系统面临多重挑战：

● 计费核心组件对网络时延要求高，跨中心访问引起效率大幅下降

计费系统属于高并发、大批量业务处理系统，对底层物理库、内存库、存储性能要求高，对网络时延非常敏感。跨中心双活部署势必造成应用处理效率大幅下降，带来业务超时、话单处理积压等问题。

● 生产中心切换繁琐耗时，业务连续性难以保障

计费系统业务组网复杂，设备数量庞大，进程数量达到6万+，从生产中心切换到容灾中心涉及数据库切换、参数&配置文件修改、存储挂载、应用部署、应用启停等大量手工操作，步骤繁琐复杂，恢复时间目标（RTO）时长达数个小时，无法满足业务连续性要求。

● 容灾中心不工作，成本存在严重浪费、关键时刻不能随时切换

当前计费系统主要采用生产中心+容灾中心模式部署，同等数量主机配置，包括数据库、主机、存储及网络资源，备份成本非常高。除数据库主机外，应用主机均处于冷备或温备状态，长期不承载生产业务，关键时刻不具备随时切换的条件。

为解决上述难题，实现“应用双活、智能切换、业务永续”的目标，河北移动近两年来持续优化演进计费系统架构和部署模式，不断缩短RTO时间，最大保障业务连续性，逐步演进出一套安全可靠、快速切换、可借鉴复制的同城双活双中心解决方案，并在北京冬奥会保障、疫情期间客户关怀等活动中发挥了积极的作用。

双中心双活架构实现故障可视化一键秒级切换、0数据丢失，保障业务安全、连续、高效

新的整体架构方案打破计费系统生产+容灾的布局，规划双中心均为生产中心，整个计费系统按奇偶地市将数据库主库、共享存储分别部署在两个中心；全省用户离线话单和在线计费消息按用户归属地市指向到不同中心；核心应用全部实现容器化改造，同时运行在两个中心应用主机，处理同一份话单数据，实现计费系统全量应用双活双中心部署。

● 多措并举，缓解应用跨中心访问时延问题

（1）支持路由数据双中心双写、应用就近访问，保证核心路由数据访问效率照比跨中心提升30%，同时避免关键路由数据单点故障风险。

（2）实现数据访问类服务同中心访问，跨中心网络资源消耗降低25%。

（3）支持核心资料数据临时缓存，减少内存库访问80%，有效缓解网络时延问题。

（4）通过网络底层SDN组网，实现双链路上行网络带宽增加50%，降低网络等待时间。

● 应用容器化&双活部署，实现跨中心秒级切换

计费核心应用全部进行容器化改造，双中心应用主机资源归属同一套PAAS平台，支持根据双中心主机资源、业务指标弹性伸缩，单中心应用主机发生故障后，另一中心应用可自动接管，并根据业务数据处理积压情况自动弹缩扩容进程，保障业务处理能力不中断。

● 账管服务双中心负载均衡，保障关键业务连续性

对于提供帐详单查询、缴费、套餐查询等关键业务受理服务的账管应用，在双中心双活部署基础上，通过前端负载均衡实现双中心账管接口业务受理繁忙度一致。在单中心账管服务不可用时，自动将请求分发到另一中心，保障关键业务连续性。

● 可视化切换平台，一键切换，切换更便捷

通过新建双中心切换平台，依托统一流程驱动能力，进行切换流程编排，归整切换脚本，实现双中心切换可视化，操作更简单便捷，双中心切换效率可提升三倍。

● 话单双中心双写，切换不丢数据，100%安全可靠

两个中心的应用主机双挂载共享存储系统，各业务处理环节的话单文件分别分流到不同中心的相同队列下，降低存储故障时话单文件丢失风险。

新双中心双活架构带来经济、社会效益双丰收

河北移动计费系统双中心双活架构的成功实施，不仅保障了生产系统稳定可靠运行，同时也带来了积极的经济效益和社会效益。随着经济社会发展的数字化需求急剧爆发，越来越多的商业与消费活动转向线上，来自蜂窝网络与固定宽带的消费者数据流量快速增长，迫使运营商计费系统需要不断硬件扩容升级，提升系统处理能力。

● 经济效益

通过应用双中心双活部署，均衡生产和容灾中心应用主机硬件资源使用率，共同分担业务压力，保护已有设备投资，节约因业务增长带来硬件扩容需求，共节省X86扩容主机80台，节省投资800万。

● 社会效益

双中心方案实现分钟级RTO的业务连续性指标，助力业务7*24小时运行

双中心计费系统确保按照准确计费、透明消费的原则为用户提供可靠、准确、及时的通信服务，保障社会稳定和经济发展。

节约硬件扩容投资，间接节省碳排放

数据中心在处理业务负载的过程中消耗大量电能，产生大量的间接碳排放。双活双中心部署后，大大提升硬件资源利用率，降低扩容需求，间接减少碳排放，助力实现国家“碳达峰、碳中和”的宏伟战略目标。

我们将拥抱云原生持续对计费系统架构进行演进，围绕核心自主可控原则、引入大数据+人工智能（AI）技术，通过技术驱动引领架构向全容器化、敏捷化、智能化演进，保障业务高质量发展。