书本网 > 其他小说 > 离语 > 第291章 冬瓜

第291章 冬瓜(1 / 2)

推荐阅读: 高冷军少之独占爱妻 第五人格:我将救赎一切 轮回印 被家族放弃后,我成了宠物店主 血脉剑神 国运之战:我以神明镇诸天 女扮男装后我成了男主兄弟 山水行记 烟雨神界 生命最后三年,高冷总裁妻子疯狂报复我! 抗日小透明的自新之路 重生的夫君儿子每天都在想怎么弄死我 厨神,妖兽:不好,我们成食材了 掐指一算,你是逃犯! 陈年诡事 穿宋,我反了 一条狗的漫漫修行路 重回少年,孩子她妈成了女总裁 从得到鸿蒙珠开始修真 第四天灾,但柯学世界 师妹表白不成想要囚禁我 玄幻,从码头开启超凡之路 开在火影的便利店 我在天牢,长生不死 我是你爸 大唐:开局碰瓷长乐公主 金戈丽人行:天命之魁 村滥 重生88,从大山挖参开始! 快穿之在小世界里边苟边吃瓜 诸天无限降临世界 我杜卡雷一定会成为MVP的!! 御兽,从银月天狼开始 无限分身:诸天都有我小号 错嫁:鬼眼王妃 觉醒了异能,怎么战斗更烧脑了? 替死鬼假千金她重生了 大唐十万里 游戏入侵:我的血能毒杀异界神魔 天才与废材 当山贼开始宅斗 御兽:我能不断进化兽娘 傻大阳,求求你,弄死我吧 高武独行 僵尸校园,有亿把枪不过分吧 神奇宝贝:系统开局 符道之祖 无敌归来,未婚妻却流落风尘 重生后,四岁萌娃横扫末世! 变成龙的我,今天该干什么 此生,愿为殿下手中刃 木叶骑士王 综穿之雪色随心 大傻川,求你,弄死我吧 HP:失色魂灵 白雪皇帝,从恶魔小姐管家做起? 凡人修仙:开局看守草药场 重回七零,与病娇老公举案齐眉 重生:校花姐姐别追我 小松的爱情保卫战

EtL是企业数据仓库构建过程中的一个核心步骤Y我们可以借助于EtL

工具来高效地完成数据抽取转换和加载工作之所以需要EtL工具Y

主要有以下几个原因x

?

1?当数据来自不同的物理主机Y这时候如果使用SqL语句去处理的

话Y就显得比较吃力且开销也更大]

?

2?数据来源可以是各种不同的数据库或者文件Y这时候需要先把它

们整理成统一的格式后才可以进行数据的处理Y这一过程用代码实现

显然有些麻烦]

?

3?在数据库中我们当然可以使用存储过程去处理数据Y但是Y处理

海量数据的时候Y存储过程显然比较吃力Y而且会占用较多数据库的

资源Y这可能会导致数据库资源不足Y进而影响数据库的性能。

在选择EtL工具时主要考虑如下因素x

?对平台的支持程度]

?抽取和装载的性能是不是较高Y且对业务系统的性能影响大不

大,高不高]。

?对数据源的支持程度]。

?是否具有良好的集成性和开放性]。

?数据转换和加工的功能。

?是否具有管理和调度的功能。

cdc解决方案包括变化捕捉代理变化数据服务和变化分发机制三个

组成部分

?

1?变化捕捉代理变化捕捉代理是一个软件组件Y它负责确定和捕

捉发生在操作型数据存储源系统中的数据变化可以对变化捕捉代理

进行专门优化Y使它适用于特定的源系统Y比如使用数据库触发器]

也可以使用通用的方法Y比如数据日志比较。

变化数据服务变化数据服务为变化数据捕捉的成功实现提供了

一系列重要的功能Y包括过滤排序附加数据生命周期管理和审

计等表6-4给出了每个功能的解释。

变化分发机制变化分发机制负责把变化分发到变化的消费者?通

常是EtL程序?那里变化分发机制可以支持一个或多个消费者Y并且提

供了灵活的数据分发方式Y包括推(ph)或拉(pull)的方式pull方式需要

消费者周期性地发送请求Y通常采用标准接口实现Y比如odbc或Jdbc

ph方式需要消费者一直监听和等待变化的发生Y一旦捕捉到变化Y就立

刻转移变化的数据Y通常采用消息中间件来实现变化分发机制的另一个

重要功能就是提供动态返回和请求旧的变化的能力Y从而满足重复处理和

恢复处理等任务。

变化数据捕捉技术有两个典型的应用场景x面向批处理的cdc

?

pullcdc?和面向实时的cdc?

phcdc?

1.面向批处理的cdc

在这种场景中YEtL工具周期性地请求变化Y每次都接收批量数据Y

这些批量数据是在上次请求和这次请求之间所捕捉到的变化变化

分发请求可以采取不同的频度Y比如一天两次或每隔15分钟1次。

对于许多组织而言Y提供变化数据的一种比较好的方式是以数据表的记

录的形式表示这种方式可以使EtL工具通过标准接口?比如odbc?的

方式无缝地访问变化数据cdc则需要维护上次变化分发的位置和分发

新的变化

这种应用场景和传统的EtL很相似Y不同的是Ypullcdc只需要转移变化

的数据Y并不需要转移所有的数据Y这就极大地减少了资源消耗Y也消

除了传统EtL过程的宕机时间。

面向批处理的cdc技术简单Y很容易实现Y因为它和传统的EtL很相似Y

并且使用现有的技术当企业对时间延迟以分钟或小时来进行衡量时Y

采取这种方式比较可行。

这种场景满足零延迟的要求Y变化分发机制一旦探测到变化Y就把变化

最新小说: 小马宝莉之我为谋士 80军婚狠狠宠 又宠又撩,豪门教官我不要了 成亲当天,老婆被人拐跑了? 重生1979,身边躺着女知青 情深不悔:顾总的心尖宠 殊晏 以白狐游戏人间 小师祖真不浪,她只是想搞钱 致命游戏:归梦 乱讲!爱妃秉性纯良怎会是坏女人 苦海尽头 精分太离谱!我角色切换自如 黄泉碧落皆不见 神渊世纪续上 四合院:暴躁街溜子,人狠话又多 娇生柔情 解婚约和求婚的,竟然是同一人! 幼儿园带娃日常 斩神:代理六颗宝石,弹指灭神 人在90,脚踹渣男,卖饼致富 龙吟变 穿书之我的路人修仙之路 凤命凰谋 穿越时空:白领在古代的 快穿:大佬的养老生活 大唐神医孙思邈 异时空:彼端魔法少女 穿越带空间商城老李家开挂了 契约!墨爷竟被金丝雀偷了心 仙途逆世风云 校草校花奇遇记 不可名状的养成游戏 爱你如星光璀璨 修真高手在异界 假面帝骑:总裁,你想和谁谈恋爱 重生七零:真千金吃瓜摆烂当学霸 快穿我的超市绑定了位面交易系统 高校里最恐怖的班级 诡道,这个世界太疯癫 重生十五99天后当包租婆考清北 斩神入仙逆:万魂幡里做兄弟 最后的道子 四合院:61开局,我是天才 撩心撩情:冷宫皇后想复仇! 穿越之后才知道美食可以致富 灵犀恋梦:都市奇幻情长 染指浮华 约战中的假面骑士 快穿之炮灰只想修炼 重生嫡嫁,第一奸臣他为我折了腰 南者煞 重生之一个也跑不掉 灵脉少年 重生后我总在失忆 庶女嫡宫 百年诸神 你也没说穿的都是一个世界啊 错爱成殇:复仇之恋 人在泰拉开事务所