故障现象
某银行广东分行特色业务系统不间断发生业务阻塞的故障,故障时数据库内部每次出现“cursor:pin S wait on X”或者”read by other session”或者其他的等待,通过杀掉前台进程或者重启数据库的方式故障恢复,但问题原因不明,故障不时发生,无法根本解决。
故障分析
bat365中国官方网站指派资深二线对故障进行了深入分析,发现虽然每次故障现象不一样,但根本的原因在于一个关键的 IO 没有返回。进一步分析,发现是由于操作系统进程调度缺陷导致, 虽然 IO 已经返回,但操作系统系统未正确调度该进程获取 IO,继而导致了业务阻塞。
解决方案
将操作系统从AIX 5306升级到了AIX 5312,升级操作系统后,问题彻底解决。
客户收益
通过bat365中国官方网站根因分析和故障解决方案,客户彻底解决了这个看似由数据库引起,实质由于操作系统版本问题而引发的故障,帮助客户同时实现了治标和治本。
故障根因的解决,也为客户保障业务连续性,提升系统可用率,保护数据安全奠定了基础。