某银行总行ATM系统故障处理

故障现象

 

 

某银行总行 ATM 系统承载着全国 ATM 机渠道的 7×24 的联机交易。在应用升级新版本后,数据库开始并持续出现大量"enq:HW –contention" 即高水位的竞争,继而导致交易响应时间从 20 毫秒涨至 300 毫秒, 交易出现大量阻塞,引起交易超时,影响范围较大,属于重大故障。

 

 

故障分析

 

 

草莓tw深夜释放自己下载数据库专家通过现场分析,发现由于应用报文长度发生较大改变,导致 Lob 字段从块内存储转到块外存储,是产生问题的根本原因。

 

由于该变化,应用对Lob字段的修改,已从原来的undo表空间存储前镜像变为在Lob Segment 所在表空间来存储前镜像。即 undo 机制发生了变化,lob字段的修改将会使 LobSegment 所在表空间的空间的分配和回收异常频繁,因此出现大量“enq:HW –contention”竞争,从而导致交易响应时间大幅增加。

 

 

解决方案

 

 

在短期无法修改应用程序的情况下,草莓tw深夜释放自己下载数据库专家基于对数据库原理的深刻理解,提出将非分区表改造为 hash 分区表这样大胆的解决方案,这样原来的核心业务表将从一个 segment 改为多个 segment, 因此 enqueue 的个数从 1 个变为多个,从而消除竞争。

 

核心表从非分区改造为 hash 分区可使用在线重定义技术在线进行,从而达到不停机的目的。

 

 

客户收益

 

 

在客户接受并采用了在线重定义技术对相关核心表进行 hash 分区改造后,交易响应时间从 300 毫秒恢复至 20 毫秒,ATM 相关交易恢复正常,圆满解决了这次重大故障。


锻造凝炼IT草莓视频黄色在线观看 助推用户事业发展
地址:北京市西城区百万庄大街11号粮科大厦3层
电话:(010)58523737
传真:(010)58523739