某银行广东分行特色系统故障根因分析

故障现象

 

 

某银行广东分行特色业务系统不间断发生业务阻塞的故障,故障时数据库内部每次出现“cursor:pin S wait on X”或者”read by other session”或者其他的等待,通过杀掉前台进程或者重启数据库的方式故障恢复,但问题原因不明,故障不时发生,无法根本解决。

 

 

故障分析

 

 

草莓tw深夜释放自己下载指派资深二线对故障进行了深入分析,发现虽然每次故障现象不一样,但根本的原因在于一个关键的 IO 没有返回。进一步分析,发现是由于操作系统进程调度缺陷导致, 虽然 IO 已经返回,但操作系统系统未正确调度该进程获取 IO,继而导致了业务阻塞。

 

 

解决方案

 

 

将操作系统从AIX 5306升级到了AIX 5312,升级操作系统后,问题彻底解决。

 

 

客户收益

 

 

通过草莓tw深夜释放自己下载根因分析和故障解决方案,客户彻底解决了这个看似由数据库引起,实质由于操作系统版本问题而引发的故障,帮助客户同时实现了治标和治本。

 

故障根因的解决,也为客户保障业务连续性,提升系统可用率,保护数据安全奠定了基础。


锻造凝炼IT草莓视频黄色在线观看 助推用户事业发展
地址:北京市西城区百万庄大街11号粮科大厦3层
电话:(010)58523737
传真:(010)58523739