數(shù)據(jù)倉庫總體設(shè)計(jì)報(bào)告
| |文檔編號 |產(chǎn)品版本 |密級 | | | | | | | | |1.0 | | | | |共87頁 | 數(shù)據(jù)倉庫系統(tǒng) 總體設(shè)計(jì) 文檔作者：__ ____日期：2001/12/20 項(xiàng)目經(jīng)理：__ ____日期：2001/12/28 部門經(jīng)理：__ __ 日期：2002/01/08 總 工 辦：__ ____日期：2002/01/08 [pic] 目 錄 1 概述 7 1.1 背景 7 1.1.1 待開發(fā)的軟件系統(tǒng)名稱 8 1.1.2 系統(tǒng)的基本概念 8 1.1.3 項(xiàng)目組名稱 8 1.1.4 項(xiàng)目代號 8 1.2 術(shù)語和縮寫詞 8 1.3 設(shè)計(jì)目標(biāo) 9 2 系統(tǒng)設(shè)計(jì) 9 2.1 設(shè)計(jì)原則 9 2.2 系統(tǒng)結(jié)構(gòu) 11 2.2.1 子系統(tǒng)劃分 11 2.3 系統(tǒng)數(shù)據(jù)結(jié)構(gòu) 17 2.3.1 邏輯結(jié)構(gòu) 12 2.3.2 層次結(jié)構(gòu) 13 2.3.3 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu) 14 2.3.4 網(wǎng)絡(luò)層次結(jié)構(gòu) 16 2.4 行業(yè)特殊需求 17 2.5 底層數(shù)據(jù)庫（倉庫）設(shè)計(jì) 19 2.5.1 設(shè)計(jì)原則 19 2.5.2 數(shù)據(jù)現(xiàn)狀 20 2.5.3 數(shù)據(jù)存儲整體規(guī)劃 21 2.6 ETL系統(tǒng) 24 2.6.1 需求規(guī)定 24 2.6.2 運(yùn)行環(huán)境 24 2.6.3 設(shè)計(jì)思想 24 2.6.4 結(jié)構(gòu)說明 25 2.6.5 處理流程 26 2.7 系統(tǒng)管理 27 2.7.1 需求規(guī)定 27 2.7.2 運(yùn)行環(huán)境 28 2.7.3 設(shè)計(jì)思想 28 2.7.4 結(jié)構(gòu)說明 28 2.7.5 處理流程 29 2.8 數(shù)據(jù)展現(xiàn) 30 2.8.1 需求規(guī)定 30 2.8.2 運(yùn)行環(huán)境 32 2.8.3 設(shè)計(jì)思想 32 2.8.4 結(jié)構(gòu)說明 32 2.8.5 處理流程 34 2.9 界面設(shè)計(jì) 34 2.9.1 需求規(guī)定 34 2.9.2 主程序界面 34 2.9.3 主要頁面設(shè)計(jì) 35 2.10 接口設(shè)計(jì) 38 2.10.1 外部接口 38 2.10.2 內(nèi)部接口 39 2.11 安全設(shè)計(jì) 39 2.11.1 網(wǎng)絡(luò)安全 39 2.11.2 數(shù)據(jù)庫安全 42 2.12 系統(tǒng)可靠性設(shè)計(jì) 43 2.12.1 可靠性 43 2.12.2 可維護(hù)性 43 2.12.3 可擴(kuò)展性 44 2.12.4 健壯性 44 2.12.5 性能保證 44 2.12.6 出錯處理 45 2.12.7 備份與恢復(fù) 45 2.13 運(yùn)行設(shè)計(jì) 46 2.14 相關(guān)工具選擇 46 2.14.1 數(shù)據(jù)庫選擇 47 2.14.2 WEB服務(wù)器和應(yīng)用服務(wù)器 47 2.14.3 數(shù)據(jù)庫建模工具 48 2.14.4 分析型工具 48 2.14.5 OLAP工具介紹 49 2.14.6 ORACLE公司OLAP介紹 50 2.15 開發(fā)環(huán)境 51 2.15.1 硬件環(huán)境 51 2.15.2 操作系統(tǒng) 51 2.15.3 開發(fā)語言 52 2.15.4 數(shù)據(jù)庫系統(tǒng) 52 2.15.5 中間件系統(tǒng) 52 2.15.6 應(yīng)用系統(tǒng) 53 3 系統(tǒng)調(diào)試和測試 53 3.1 目的 53 3.2 基本要求 54 3.2.1 測試計(jì)劃 54 3.2.2 測試說明 54 3.2.3 測試環(huán)境建立 54 3.2.4 測試報(bào)告 54 3.3 應(yīng)遵循的原則 54 3.4 測試方法 55 3.5 測試重點(diǎn) 55 4 項(xiàng)目進(jìn)度 56 4.1 項(xiàng)目資源計(jì)劃 56 4.1.1 項(xiàng)目組 56 4.1.2 數(shù)據(jù)倉庫領(lǐng)導(dǎo)小組辦公室 56 4.2 項(xiàng)目工期計(jì)劃 56 4.3 時間進(jìn)度計(jì)劃 56 4.3.1 數(shù)據(jù)倉庫系統(tǒng)需求調(diào)查與兩會系統(tǒng) 57 4.4 第一期開發(fā)主題 57 4.5 第二期開發(fā)主題 57 4.6 工作量分配計(jì)劃 57 5 小結(jié) 58 6 參考文獻(xiàn) 60 7 附錄 61 7.1 Oracle性能評估報(bào)告 61 7.2 主流WEB服務(wù)器比較 65 7.3 IBM小型機(jī)性能評估報(bào)告 76 7.4 詳細(xì)網(wǎng)絡(luò)拓?fù)鋱D及設(shè)備清單 78 7.5 在多層體系結(jié)構(gòu)下建立數(shù)據(jù)倉庫 83 摘 要 數(shù)據(jù)倉庫系統(tǒng)的建立可以解決傳統(tǒng)數(shù)據(jù)庫不能很好提供分析決策功能的問題，可以發(fā) 掘歷史數(shù)據(jù)中隱含的大量有價值的信息，為國民經(jīng)濟(jì)的發(fā)展和宏觀決策提供大量有效的 參考信息。系統(tǒng)數(shù)據(jù)來源復(fù)雜，在數(shù)據(jù)倉庫設(shè)計(jì)中不能采用常規(guī)方法解決問題；主題眾 多且分析熱點(diǎn)會隨時間變化而變化，要求主題下所含的信息在一定范圍可變；主題下指 標(biāo)可能需要調(diào)整等實(shí)際情況，這和數(shù)據(jù)倉庫的數(shù)據(jù)的不可修改性有矛盾；等等。我們結(jié) 合數(shù)據(jù)倉庫的特點(diǎn)和系統(tǒng)實(shí)際情況，提供了一套完整的數(shù)據(jù)倉庫系統(tǒng)的解決方案。整個 數(shù)據(jù)倉庫系統(tǒng)從數(shù)據(jù)采集到數(shù)據(jù)展現(xiàn)共分為四部分：1、數(shù)據(jù)抽取、轉(zhuǎn)換、加載；2、系 統(tǒng)管理（包括數(shù)據(jù)庫維護(hù)）；3、數(shù)據(jù)展現(xiàn)；4、支撐整個系統(tǒng)的數(shù)據(jù)庫的設(shè)計(jì)(包括ETL 中間數(shù)據(jù)庫和數(shù)據(jù)倉庫)保證系統(tǒng)具有相當(dāng)?shù)撵`活性。各個部分獨(dú)立完成本部分功能，同 時緊密協(xié)作組成數(shù)據(jù)倉庫系統(tǒng)。數(shù)據(jù)倉庫系統(tǒng)管理與數(shù)據(jù)導(dǎo)入部分采用C/S模式有針對性 的開發(fā)；數(shù)據(jù)倉庫系統(tǒng)的數(shù)據(jù)展現(xiàn)采用流行的B/S模式向用戶提供數(shù)據(jù)查詢、決策分析。 關(guān)鍵詞： 指標(biāo)，主題，數(shù)據(jù)倉庫，聯(lián)機(jī)分析，數(shù)據(jù)挖掘，決策支持。 概述 1 背景 經(jīng)過2個多月的需求分析調(diào)查，確定了數(shù)據(jù)倉庫系統(tǒng)總體定位（省政府?dāng)?shù)據(jù)倉庫是以 充分發(fā)揮信息的社會作用和經(jīng)濟(jì)效益為最終目的）和系統(tǒng)功能需求?，F(xiàn)根據(jù)需求分析規(guī) 定和局具體情況，確定數(shù)據(jù)倉庫整體方案，以指導(dǎo)數(shù)據(jù)倉庫系統(tǒng)研究、開發(fā)、實(shí)現(xiàn)。 省政府局?jǐn)?shù)據(jù)具有建立數(shù)據(jù)倉庫系統(tǒng)的基本條件： o 積累了大量歷史數(shù)據(jù)，這是數(shù)據(jù)倉庫存在的必要條件； o 隨著市場經(jīng)濟(jì)的發(fā)展，社會各界（如金融投資等領(lǐng)域?yàn)榱艘?guī)避市場風(fēng)險，提高決策 的準(zhǔn)確度，開發(fā)新的市場和利潤增長點(diǎn)，挖掘市場潛力）對數(shù)據(jù)的需求不斷增大 ，社會各界迫切需要利用數(shù)據(jù)進(jìn)行決策分析，指導(dǎo)經(jīng)濟(jì)建設(shè)。 省政府?dāng)?shù)據(jù)倉庫建設(shè)存在以下困難： o 當(dāng)前局各個處室沒有統(tǒng)一規(guī)劃的數(shù)據(jù)庫系統(tǒng)； o 只有少量數(shù)據(jù)以電子文件形式存在，大部分歷史數(shù)據(jù)保存在紙介質(zhì)上，到目前為止 ，建國以來的數(shù)據(jù)有一般以上以紙介質(zhì)方式存儲； o 由于我國制度在不斷發(fā)展完善，指標(biāo)在不同的歷史時期的口徑不同，為了使同類指 標(biāo)具有可比性，要確定不同時期各個指標(biāo)的調(diào)整規(guī)則，并對歷史數(shù)據(jù)按規(guī)則進(jìn)行 調(diào)整，這種調(diào)整除了少數(shù)指標(biāo)可以按統(tǒng)一的算法進(jìn)行以外，大部分調(diào)整工作需要 人工參與； 因此，省政府?dāng)?shù)據(jù)倉庫的建設(shè)中數(shù)據(jù)的整理加載工作量極大，ETL（Extract、Trans form、Cleaning、Load）工具開發(fā)難度大；完善的、與數(shù)據(jù)倉庫系統(tǒng)良好聯(lián)接的、統(tǒng)一 規(guī)劃的各個處室的數(shù)據(jù)庫系統(tǒng)是據(jù)倉庫系統(tǒng)的具有長久生命力的基本保障，因此各處室 數(shù)據(jù)庫的建設(shè)應(yīng)同步進(jìn)行。 1 待開發(fā)的軟件系統(tǒng)名稱 省政府?dāng)?shù)據(jù)倉庫系統(tǒng) 2 系統(tǒng)的基本概念 指標(biāo)：系統(tǒng)的數(shù)據(jù)以指標(biāo)為載體，所有的數(shù)據(jù)都是指標(biāo)在不同時間，不同地域上的取 值，統(tǒng)一指標(biāo)可能有年度、月度、季度、半年、連續(xù)某幾個月等時間段的數(shù)據(jù)，可能有 國家、省、地、市、縣、鄉(xiāng)、村的數(shù)據(jù)，甚至有居民戶、具體企業(yè)單位的明細(xì)數(shù)據(jù)，數(shù) 據(jù)倉庫中的數(shù)據(jù)就是這些數(shù)據(jù)的有機(jī)集合。 主題：數(shù)據(jù)倉庫中的數(shù)據(jù)按主題組織，這是由數(shù)據(jù)倉庫以分析決策為主要目的決定的 。主題是一個在較高層次上將數(shù)據(jù)歸類的標(biāo)準(zhǔn)，每一個主題對應(yīng)一個宏觀的分析領(lǐng)域。 省政府?dāng)?shù)據(jù)倉庫是將指標(biāo)數(shù)據(jù)按分析主題集成起來，供查詢、分析、輔助決策。 3 項(xiàng)目組名稱 數(shù)據(jù)倉庫項(xiàng)目組 4 項(xiàng)目代號 XhnTJDW001-0019 2 術(shù)語和縮寫詞 指標(biāo)：Statistical Parameter 數(shù)據(jù)倉庫：DW（DataWarehouse） 主題：Subject 數(shù)據(jù)集市：DataMart 元數(shù)據(jù)：MetaData 數(shù)據(jù)抽取、轉(zhuǎn)換、加載：ETL（Extract、Transform、Cleaning、Load） 聯(lián)機(jī)分析處理：OLAP（On-LineAnalyticalProcessing） 聯(lián)機(jī)事務(wù)處理：OLTP（On-LineTransactionProcessing） 決策支持系統(tǒng)：DSS（DecisionSupportSystem） 數(shù)據(jù)挖掘：DM（DataMining） 應(yīng)用服務(wù)器：AS（ApplicationServer） Web服務(wù)器：WebServer 3 設(shè)計(jì)目標(biāo) 省政府?dāng)?shù)據(jù)倉庫系統(tǒng)是以充分發(fā)揮信息的社會效益和經(jīng)濟(jì)價值為最終目的。 將大量事務(wù)處理數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行清理、抽取和轉(zhuǎn)換，并按決策主題進(jìn)行多維重組 ，在高效的網(wǎng)絡(luò)平臺上充分發(fā)揮系統(tǒng)作為社會“數(shù)據(jù)庫，信息庫，思想庫，智囊?guī)臁钡淖?用，直接向黨政領(lǐng)導(dǎo)、社會各界提供數(shù)據(jù)、信息服務(wù)，為信息工程建設(shè)提供一個“決策數(shù) 據(jù)管理與分析中心”的基本解決方案。 為省政府局建立一套面向黨政領(lǐng)導(dǎo)、專業(yè)分析人員、廣大社會群眾對外發(fā)布信息的數(shù) 據(jù)倉庫系統(tǒng)。整個系統(tǒng)集數(shù)據(jù)采集、管理、維護(hù)、展現(xiàn)于一體，旨在建立數(shù)據(jù)倉庫后既 減輕局工作人員工作量，又能很好的為公眾服務(wù)。前端數(shù)據(jù)展現(xiàn)要有通用性，采用瀏覽 器瀏覽數(shù)據(jù)，是瘦客戶端。后端維護(hù)系統(tǒng)要具有高效性，能及時、高效處理、管理數(shù)據(jù) ，功能強(qiáng)大，是胖客戶端。 數(shù)據(jù)倉庫系統(tǒng)重在建立一個適應(yīng)分析的系統(tǒng)環(huán)境，首期開發(fā)“兩會”信息咨詢，企業(yè)名 錄、人口普查、字典、工業(yè)經(jīng)濟(jì)、農(nóng)業(yè)經(jīng)濟(jì)等主題。 系統(tǒng)設(shè)計(jì) 1 設(shè)計(jì)原則 從充分發(fā)揮系統(tǒng)作為社會“數(shù)據(jù)庫，信息庫，思想庫，智囊?guī)臁钡淖饔?，直接向黨政領(lǐng) 導(dǎo)、社會各界提供“快、精、準(zhǔn)”的信息服務(wù)的需要出發(fā)，采用當(dāng)今數(shù)據(jù)庫領(lǐng)域成熟穩(wěn)定 的數(shù)據(jù)倉庫、決策分析等技術(shù)，在高效的網(wǎng)絡(luò)平臺上為全省信息工程建設(shè)提供一個“決策 數(shù)據(jù)管理與分析中心”的基本解決方案。 1. 系統(tǒng)采用多層體系結(jié)構(gòu)，建立一個良好開放性的數(shù)據(jù)倉庫系統(tǒng)環(huán)境，適應(yīng)不斷增加 和變化的業(yè)務(wù)需求。多層體系結(jié)構(gòu)通過引入中間層組件，擴(kuò)大了傳統(tǒng)的客戶/服務(wù) 器和兩層計(jì)算模式。多層結(jié)構(gòu)可由以下三類分層來定義：前端的客戶層，負(fù)責(zé)提 供可移植的表達(dá)邏輯；中間的應(yīng)用層，允許用戶通過將其與實(shí)際應(yīng)用隔離而共享 和控制業(yè)務(wù)邏輯；后端的數(shù)據(jù)管理與服務(wù)層，提供對專門服務(wù)（例如數(shù)據(jù)庫服務(wù) 器）的訪問。多層結(jié)構(gòu)與傳統(tǒng)的客戶/服務(wù)器結(jié)構(gòu)的區(qū)別在于：在傳統(tǒng)的客戶/服 務(wù)器兩層結(jié)構(gòu)中，用戶將實(shí)際的業(yè)務(wù)邏輯放置到客戶端(作為對表達(dá)邏輯的增補(bǔ)) 或放置到后端數(shù)據(jù)庫(作為數(shù)據(jù)邏輯的一部分包含在存儲過程中)。而在多層結(jié)構(gòu) 中，用戶將業(yè)務(wù)邏輯放到中間層上。這種模塊化方法明確地劃分了表達(dá)邏輯、業(yè) 務(wù)邏輯和數(shù)據(jù)存儲。多層結(jié)構(gòu)通過將應(yīng)用邏輯集中到中間層，開發(fā)者可以迅速更 新業(yè)務(wù)邏輯，而無需重新將應(yīng)用遞交到成千上萬的桌面系統(tǒng)上。提高數(shù)據(jù)庫的性 能、改善系統(tǒng)的開放性、可擴(kuò)展性和數(shù)據(jù)的安全性，并降低管理的復(fù)雜性。 2. 結(jié)構(gòu)化、層次化、模塊化。采用面向?qū)ο蠹夹g(shù)，使系統(tǒng)高度結(jié)構(gòu)化、模塊化、層次 化，整個系統(tǒng)由接口定義良好的多個模塊組成，每個模塊都有詳細(xì)的功能說明和 設(shè)計(jì)文稿，每個模塊完成相對獨(dú)立的功能，模塊之間的接口定義規(guī)范，使模塊功 能的變化相對獨(dú)立，不影響整個系統(tǒng)的功能和結(jié)構(gòu)，便于系統(tǒng)升級，維護(hù)。 3. 具有良好的平臺移植性。選用支持多種操作平臺的數(shù)據(jù)庫服務(wù)器、應(yīng)用服務(wù)器、W EB服務(wù)器等服務(wù)器軟件系統(tǒng)，選用具有良好平臺移植性的B/S和C/S模式下的開發(fā) 語言開發(fā)應(yīng)用程序和應(yīng)用中間件，提高應(yīng)用系統(tǒng)的平臺移植性； 4. 統(tǒng)一性和多樣性相結(jié)合。面向用戶的各個應(yīng)用系統(tǒng)，盡量保持統(tǒng)一風(fēng)格以適應(yīng)用戶 的操作習(xí)慣，但各個系統(tǒng)根據(jù)內(nèi)容具有各自的特色，整個系統(tǒng)和諧統(tǒng)一，清新明 了。 5. 自主開發(fā)和利用現(xiàn)有工具相結(jié)合。盡量利用各成熟的數(shù)據(jù)倉庫系統(tǒng)軟件（工具）為 數(shù)據(jù)倉庫這個具有特殊性的項(xiàng)目服務(wù)，針對具有特殊性的需求，開發(fā)特定的系統(tǒng) 軟件，縮短數(shù)據(jù)倉庫開發(fā)周期，降低開發(fā)成本，保證系統(tǒng)正常開發(fā)。 6. 安全性的考慮。系統(tǒng)安全和數(shù)據(jù)安全是一個網(wǎng)絡(luò)應(yīng)用系統(tǒng)應(yīng)該首先考慮的問題，數(shù) 據(jù)倉庫系統(tǒng)的設(shè)計(jì)要從網(wǎng)絡(luò)安全、系統(tǒng)安全、數(shù)據(jù)安全等各個方面充分考慮，保 障系統(tǒng)安全穩(wěn)定。 7. 分散與集中相結(jié)合。數(shù)據(jù)倉庫系統(tǒng)是一個非常龐大的系統(tǒng)，所有數(shù)據(jù)集中存儲，但 局各處室能分別維護(hù)本處室數(shù)據(jù)，數(shù)據(jù)倉庫根據(jù)需要能對系統(tǒng)管理分別設(shè)置權(quán)限 ，不同用戶維護(hù)不同數(shù)據(jù)。 8. 穩(wěn)定優(yōu)先，注重效率。數(shù)據(jù)倉庫的海量數(shù)據(jù)存儲和高效查詢是一對矛盾，在當(dāng)今硬 件技術(shù)不斷發(fā)展和成本不斷降低的形式下，我們優(yōu)先考慮系統(tǒng)效率，但是在系統(tǒng) 穩(wěn)定性和效率不可兼顧時，以系統(tǒng)穩(wěn)定優(yōu)先。。例如在數(shù)據(jù)倉庫設(shè)計(jì)方面，我們 通過逆規(guī)范化（引進(jìn)適當(dāng)冗余）來提高系統(tǒng)查詢效率。 9. 以最簡單的方式實(shí)現(xiàn)復(fù)雜的功能。為提高系統(tǒng)的穩(wěn)定性和可讀性，可維護(hù)性，盡量 采用簡潔易懂的方式實(shí)現(xiàn)系統(tǒng)功能，不追求復(fù)雜、深奧的算法。 2 系統(tǒng)結(jié)構(gòu) 1 子系統(tǒng)劃分 整個系統(tǒng)按功能分為四大系統(tǒng)，各系統(tǒng)分別為： 1. 數(shù)據(jù)庫系統(tǒng)
數(shù)據(jù)倉庫總體設(shè)計(jì)報(bào)告