赛迪网 > IT技术 热点推荐 > 文章
  IT资讯搜索
 
IT产品搜索
[程序开发][网管世界][网络安全][数据库技术]
[操作系统][嘉宾聊天·在线访谈][活动集锦]
[精彩专题][Symantec专区][订阅IT技术周刊]
[开发论坛][网管论坛][安全论坛][数据库论坛]
[操作系统论坛][Sybase专区][IBM dW技术专区]
[病毒求助][病毒与漏洞播报][文档·源码下载]

吕渤海:构建基于Sybase IQ的环境

发布时间:2007.11.15 12:30     来源:赛迪网    作者:赛迪网

下面有请中国农业银行山东分行信科部高级经理吕渤海先生介绍在客户眼中“Sybase产品如何为客户构建完美的信息环境”。

吕渤海:

我的演讲主题是“构建基于Sybase IQ的环境”。

首先介绍一下山东农行,目前有16家分行,支行150余家,营业网点2000左右,员工大概有2万余人,2006年营业收入在40亿左右。目前的交易量是260万笔。我们96年开始就用Sybase的数据系统,我记得最早的时候拿到培训课程的时候是Sybase4点几的版本,现在已经到了15了。这么多年Sybase的产品对我们山东农行的发展起到了很好的推进作用。2005年我们引进了Sybase IQ系统,当时农行实现了全行数据大集中。这时候我们遇到一个困难,数据大集中和差异化运营分析的问题。因为数据大集中山东农行的数据集中到了北京,全国只有一个数据中心,总体的架构是总、分结合的架构,分行主要处理渠道的交易信息,这样的架构决定了数据分布核心数据全部分布在总行,分行只有一些渠道交易的信息。但是从业务经营上来讲,省分行是一种相对独立运营的关系,因为它是类似总公司运营的方法,因为地域竞争的差异性和消费习惯的差异性,就决定了从总行层面做一套为全国服务的运营分析系统就众口难调,没法适应每一个地域的特点。最终的结果就是我们要发展一套差异化的分析经营系统,这就是我们引进Sybase IQ的大背景。

整个山东农行运营分析系统的状况:

伴随着数据中心的建设同步发展,01年的时候我们我们完成了省域中心的建设,这时候就具备了为业务部门提供数据分析的能力。我们第一个项目是做了一个数据广场,我们用了Sybase的ASE产品。采用了BS架构,这个产品推出来以后我们的业务部门对我们的平价非常高,这个系统就是把一些分散的信息做了一个简单的整合,可以通过一个集中的管理界面把很多信息都查得到。

随着我们数据中心的完善核心业务投产以后,我们的信贷系统在数据中心运行,像业务报表、银行卡分析、绩效考核、审计系统等。这些分析系统的部署为山东农行的发展起到了很好的支撑作用。为领导层的决策提供了非常准确的数据。在这些系统发展过程中我们发现出现了另外一个问题,就是数据集市现象,每一个系统都有自己的分析层、展现层,带来一个比较具有挑战性的问题就是整个数据是分散存储,各个系统之间很难共享。由于数据分散存储,在各个业务系统中必须有数据冗余度,但是又反应出来各个口径反应出来的不一样,这个事情我们又没有办法解释。第三个原因,随着业务量的发展,数据越来越大,从运营目标来讲,因为山东农行业务的飞速发展,管理层对IT系统的要求也越来越高。首先需要分析的层次不能是简单的整合数据。再一个分析方法要求灵活,针对这上两方面的挑战我们在05年的时候决定了要对运营分析系统做一个全面的整合,同时要建设我们的数据仓库系统。

像所有做事情的步骤一样,我们既然决定做这个事情首先要摸清我们的家底,农行从数据库产品来看一个是交易系统,一个是分析系统,交易系统一个是TBO,第二个就是Sybase的ASE。分析系统几乎都是用ASE分析的。摸清家底以后我们就开始制定原则,要选择什么样的产品支持应用系统整合。首先我们考虑了兼容性的问题,因为我们积累所有的数据都是基于Sybase ASE的,第二个方面我们当时考虑了产品的成熟度。业内很多朋友也知道,大家觉得山东农行在科技方面是敢于吃螃蟹的,我们做这些事情的时候非常不情愿吃螃蟹,我们非常希望有一个成熟的,有一个成功的案例的东西让我们使用。因为这会牵扯到我们今后运营的发展方向,我们希望有一个非常成功案例的产品。

第三,我们针对应用分析系统的需求制定了几方面的技术指标。第一个是数据加载时间,第二需要随机查询响应非常快的系统。我们后来发现很多查询事先并不能做出一个程序让你做,或者说从另一个层面来讲像ASE为了加快查询速度要针对查询条件建立相对的索引。但是应用分析系统里有些时候没办法加索引,因为索引加多了数据存储时间会变得非常长。第三我们对数据存储时间也有一定的要求,随着数据的增长,我们为了存储这些数据不断的买硬件,结果就是机房里硬件设施很混乱。第四方面我们考虑了投资保护,原有的系统迁移成本我们想要最低的,第二个需要我们的人员知识转移成本是最低的,最后的选择结果也很清楚了,我们选择了Sybase 的IQ。我对Sybase IQ印象最深的一点就是它的案例存储。最早选型的时候我是拿了一个系统测试的,我们的一个活期明细,银行的活期流水,在银行每做一笔交易都有流水,这个数据量增长的非常迅速,当时山东农行一天是200万的交易,这些流水很多时候用处很少,这几年经济案件发生的也比较多,银行和客户之间也有一些纠纷,后来发现经常有一些客户查询历史流水,但是查询会很困难,为了应付这些公检法的查询,我们必须建立一套系统及时提供给他,尽我们社会公民的义务。我们原来是用ASE做了一个系统当时响应不能得到保证,因为数据量非常大。听说IQ以后我就拿来做了一个测试,测试结果确实非常惊人,原来我的一笔查询大概用了一个小时的时间,但是在IQ上测试结果只有一分钟。我当时非常的不相信,我说技术不会差别这么大,确确实实后来我看了一下,是快了60倍的速度。后面对这个问题我跟Sybase公司也做了很多探讨,我试图想明白理论上要告诉我到底为什么能做到这么短的时间查询。但是结果很遗憾,Sybase公司说最后的东西是我们公司的核心机密,不可能告诉你们。

但是我们确实感到了案例存储的优点。第一我能理解确实只存储需要查询的数据第二案例存储可以做一些压缩算法。再就是案例存储数据和索引是索引即数据,数据即索引。这是我能理解到的再深层次的我希望有机会能够了解一下。

我们选定了产品以后开始做迁移,在系统迁移方面非常方便的是Sybase IQ的API和ASE的API是基本相似的,这样我们的迁移成本是非常低的。现在正在做数据整合,下一步利用IQ构架分析系统平台。现在IQ在山东农行使用情况是这样的,我们已经完成了迁移系统,总行的审计系统、总行的银行卡分析系统、成本控制效益分析系统,目前存放在IQ系统中的数据量是3TB。

最后想跟大家汇报一下我们使用IQ的效果从四个方面对IQ系统还是比较满意的:

1、统一了数据源。不同分析系统有了统一的数据来源,解决了统计分析口径不一致的问题。

2、提高了系统效率:

典型加载时间,成本效益分析系统ASE需要40小时,现在IQ只需要2小时。

典型分析速度:

成本效益分析系统原来ASE需要28小时,现在IQ只需要6小时。

3、节省了硬件投资:

IQ采用了压缩存储技术,同样的数据量只用AES三分之一的存储空间。

4、增强了科技支持服务能力

更快的响应业务部门的需求。

以上就是我们山东农行采用Sybase IQ方面的一些历程,说出来跟大家分享一下,谢谢大家!

主持人:

感谢吕先生的精彩演讲,吕先生的演讲让我们对Sybase在中国的未来更加充满信心。


[ 发表评论 ] 字体[  ] [ 打印 ] [ 进入博客 ] [ 进入论坛 ]  [ 推荐给朋友 ]
  相关文章
· Sybase中国iAnywhere销售总监庄敏 (11-15) · Sybase售前总监宋一平 (11-15)
· 2007 Sybase技术日 赛迪网独家视频图文直播 (11-14) · 2007 Sybase技术日 (11-14)
· 商务智能解决方案 管理“无处不在”的企业信 (11-14) · 商务智能解决方案 稳定驱动企业关键应用 (11-14)
· 商务智能解决方案 让企业信息环境“绿意盎然 (11-14) · Sybase公司全球市场运营部高级副总裁兼首席市 (11-14)
· Sybase软件中国有限公司技术总监 卢东明 (11-14) · Sybase亚太区副总裁大中华区总经理邹作基 (11-14)
  客户需求反馈表
* 姓  名:
更多资料  了解方案  认识厂商
* 单位名称:
* 联系电话:
* 电子邮件:
  赛迪推荐  
  手机·资费 ·新品·导购·评测·手机资费·宽带
手机搜索  诺基亚 N73 MOTO Z6
  IT产品 ·笔记本·台式机·服务器·打印·投影
IT产品搜索 
  IT技术 ·开发·网管·安全·数据库·操作系统
  信息化 ·热点·专题·访谈·周刊·方案案例
· 电子商务盈利新招:垂直化渠道管理新趋势
· 互联网加速蜕变 运营商进军搅动市场格局
· 08 IT技术风起云涌 专访 ITIL落地难在哪
· 视频加密保护解决方案 文档安全解决方案
  IT博客 ·曾剑秋·项立刚·Java学习·网管
  IT技术论坛 ·开发·网管·安全·数据库·系统