通常為了盡可能的減少對業(yè)務(wù)系統(tǒng)的壓力和性能影響，或者因?yàn)榫W(wǎng)絡(luò)傳輸異構(gòu)數(shù)據(jù)庫等原因，一般都是根據(jù)特定的增量抽取原則，將數(shù)據(jù)從業(yè)務(wù)數(shù)據(jù)庫導(dǎo)出到flat文本文件或者XML文件中，也叫數(shù)據(jù)緩存區(qū)或者數(shù)據(jù)登臺區(qū)(這名字起得特別別扭)。本文討論的是從業(yè)務(wù)數(shù)據(jù)庫直接抽取到數(shù)據(jù)倉庫。數(shù)據(jù)倉庫是一種體系架構(gòu)，而不是一種純粹的技術(shù)。實(shí)際上，大多數(shù)數(shù)據(jù)庫都提供了類似的不同數(shù)據(jù)庫直接連接的接口，例如SQL Server的鏈接數(shù)據(jù)庫，Oracle的透明網(wǎng)關(guān)等等。

創(chuàng)新互聯(lián)是一家專注于成都網(wǎng)站制作、網(wǎng)站建設(shè)、外貿(mào)網(wǎng)站建設(shè)與策劃設(shè)計(jì),咸陽網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)做網(wǎng)站,專注于網(wǎng)站建設(shè)十載,網(wǎng)設(shè)計(jì)領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:咸陽等地區(qū)。咸陽做網(wǎng)站價(jià)格咨詢:18980820575

關(guān)于數(shù)據(jù)的增量抽取也是一個(gè)重要的討論話題，其原因主要是在超大數(shù)據(jù)量情況下任何關(guān)系數(shù)據(jù)庫都無法滿足數(shù)據(jù)處理的要求。在《數(shù)據(jù)倉庫》(Inmon)一書中，主要描述了以下3種方法：

1.數(shù)據(jù)增量抽取，主要是基于時(shí)間戳的；

2.掃描增量文件，實(shí)際上就是關(guān)系數(shù)據(jù)庫的歸檔日志；

3.前后映像對比。

當(dāng)然每種方法都有其優(yōu)勢和劣勢，本文旨在討論基于時(shí)間戳的數(shù)據(jù)增量抽取的實(shí)現(xiàn)，無意探討和比較這三種方法的優(yōu)劣。

當(dāng)然在進(jìn)行基于時(shí)間戳的數(shù)據(jù)增量處理之前，首先要滿足以下假設(shè)：

1.假設(shè)在業(yè)務(wù)數(shù)據(jù)庫中存在著一個(gè)特定的時(shí)間屬性，作為增量抽取的唯一標(biāo)識；

2.假設(shè)在這個(gè)字段上存在著索引字段。這樣我們的數(shù)據(jù)增量抽取模擬腳本就不會遭遇到性能瓶頸。當(dāng)然我們還會通過將大事務(wù)盡可能變成小事務(wù)的原則進(jìn)行優(yōu)化；

3.假設(shè)業(yè)務(wù)數(shù)據(jù)庫和數(shù)據(jù)倉庫能夠以某種方式直接連接；

4.抽取過程中，盡量避免數(shù)據(jù)轉(zhuǎn)換、清洗的動(dòng)作，以減少對業(yè)務(wù)數(shù)據(jù)庫的性能影響；

在滿足了以上條件之后，我們才能進(jìn)一步考慮數(shù)據(jù)增量抽取腳本的實(shí)現(xiàn)。

 1.建立鏈接數(shù)據(jù)庫；

2.首先需要定義一張數(shù)據(jù)字典表，定義需要進(jìn)行處理的任務(wù)，其中主要包括業(yè)務(wù)數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫的表名、字段列表、以及where條件等；

3.有了這張字典表就可以開始進(jìn)行工作了，為了方便表達(dá)，暫時(shí)處理成偽代碼形式，同時(shí)只以一個(gè)表的處理為例。

◆獲取數(shù)據(jù)倉庫目標(biāo)表目前的***時(shí)間(讀取字典表或者當(dāng)前表均可)

◆獲取業(yè)務(wù)數(shù)據(jù)庫業(yè)務(wù)表目前的***時(shí)間(需要到業(yè)務(wù)系統(tǒng)中去讀取)

◆如果業(yè)務(wù)數(shù)據(jù)庫業(yè)務(wù)表數(shù)據(jù)為空，退出執(zhí)行

◆如果數(shù)據(jù)倉庫為空，業(yè)務(wù)數(shù)據(jù)庫不為空，則再次讀取業(yè)務(wù)數(shù)據(jù)庫最小時(shí)時(shí)間

◆如果均不為空，則設(shè)置開始抽取最小時(shí)間和***時(shí)間

◆***時(shí)間設(shè)置為整點(diǎn)

◆根據(jù)控制事務(wù)處理大小的粒度，進(jìn)行循環(huán)抽取

◆拼寫SQL語句，寫成類似以下的形式

INSERT INTO TargetTable (TargetFieldList) 
　　SELECT SourceFieldList FROM SourceTable 
　　WHERE WhereFieldName> BeginDate 
　　AND WhereFieldName< BeginDate+粒度

◆處理狀態(tài)寫入該字典表

4.有一點(diǎn)要主要的是，在SQL Server中有兩種使用鏈接數(shù)據(jù)庫的方法：

OPENQUERY ( linked_server , 'query' )

linked_server_name.catalog.schema.object_name的四部分名稱

這兩種方法各有利弊，第二種容易閱讀一些;***種方法據(jù)說把語句提交到源數(shù)據(jù)庫執(zhí)行的，效率可能會高些(實(shí)際的資料并未找到)。

其次這兩種方法在使用起來語法有點(diǎn)差別，***種方法采用的是宿主數(shù)據(jù)庫的語法形式，第二種方法采用的是SQLServer本身的語法形式。因此在寫腳本的時(shí)候也會有所不同。主要差別是在字段列表和條件處，暫時(shí)采用***種方式。

【編輯推薦】

1. Oracle 11g R1中AWR基線增強(qiáng)
2. Oracle 11g R1中大小寫敏感的密碼
3. 解析Oracle 11g閃回?cái)?shù)據(jù)歸檔新功能

網(wǎng)站名稱：關(guān)于數(shù)據(jù)增量抽取模擬實(shí)現(xiàn)原理
本文來源：http://uogjgqi.cn/article/dpchcip.html