數(shù)據(jù)倉庫與智能卡應(yīng)用系統(tǒng)

文章出處：http://xianjuhong.com 作者：創(chuàng)峰金安公司 楊升   人氣： 發(fā)表時(shí)間：2011年09月18日

1．前言 

    隨著全球一體化進(jìn)程的加劇和我國加入世貿(mào)組織，對(duì)我國政府及企業(yè)的管理工作提出了更高的要求。因此，充分利用現(xiàn)代信息科技技術(shù)，自動(dòng)快速獲取有用的決策信息，為企業(yè)提供及時(shí)、準(zhǔn)確的決策支持，已成為大多數(shù)成功企業(yè)及政府部門的共識(shí)。 

    數(shù)據(jù)倉庫是近年來興起的一種新的數(shù)據(jù)庫應(yīng)用?！皵?shù)據(jù)倉庫”一詞最早出現(xiàn)于20世紀(jì)90年代初，目前已趨于成熟。據(jù)IDC調(diào)查，數(shù)據(jù)倉庫的平均投資回報(bào)率（ROI）已超過400%。數(shù)據(jù)倉庫技術(shù)與互聯(lián)網(wǎng)技術(shù)一樣，正在成為最快的IT增長(zhǎng)點(diǎn)，并日益緊密地與智能卡應(yīng)用技術(shù)相結(jié)合。 

2．?dāng)?shù)據(jù)倉庫 

    傳統(tǒng)的數(shù)據(jù)庫技術(shù)是以單一的數(shù)據(jù)資源，進(jìn)行事務(wù)處理、批處理、決策分析等各種數(shù)據(jù)處理工作，主要的劃分為兩大類：操作型處理和分析型處理(或信息型處理)。操作型處理也叫事務(wù)處理，是指對(duì)數(shù)據(jù)庫聯(lián)機(jī)的日常操作，通常是對(duì)一個(gè)或一組紀(jì)錄的查詢和修改，主要為企業(yè)的特定應(yīng)用服務(wù)的，注重響應(yīng)時(shí)間，數(shù)據(jù)的安全性和完整性；分析型處理則用于管理人員的決策分析，經(jīng)常要訪問大量的歷史數(shù)據(jù)。傳統(tǒng)數(shù)據(jù)庫系統(tǒng)優(yōu)于企業(yè)的日常事務(wù)處理工作，而難于實(shí)現(xiàn)對(duì)數(shù)據(jù)分析處理要求，已經(jīng)無法滿足數(shù)據(jù)處理多樣化的要求。操作型處理和分析型處理的分離成為必然。 

    隨著數(shù)據(jù)庫技術(shù)的應(yīng)用和發(fā)展，人們嘗試對(duì)數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行再加工，形成一個(gè)綜合的，面向分析的環(huán)境，以更好支持決策分析，從而形成了數(shù)據(jù)倉庫技術(shù)。作為決策支持系統(tǒng)，數(shù)據(jù)倉庫系統(tǒng)包括： 

1）數(shù)據(jù)倉庫技術(shù)； 

    數(shù)據(jù)倉庫是適合知識(shí)發(fā)現(xiàn)的過程的結(jié)構(gòu)。數(shù)據(jù)倉庫的處理過程是從“數(shù)據(jù)清理/整合——>數(shù)據(jù)倉庫——>數(shù)據(jù)選擇——>數(shù)據(jù)挖掘——>模式評(píng)價(jià)——>知識(shí)”不斷循環(huán)的過程 

2）聯(lián)機(jī)分析處理技術(shù)； 

    聯(lián)機(jī)分析處理是使分析人員、管理人員或執(zhí)行人員能夠從多角度對(duì)信息進(jìn)行快速、一致、交互地存取,從而獲得對(duì)數(shù)據(jù)的更深入了解的一類軟件技術(shù)。 

3）數(shù)據(jù)挖掘技術(shù)； 

    從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)有數(shù)據(jù)中，提取出隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識(shí)的過程。它是在沒有明確假設(shè)的前提下去挖掘信息、發(fā)現(xiàn)知識(shí)。 

    數(shù)據(jù)倉庫彌補(bǔ)了原有的數(shù)據(jù)庫的缺點(diǎn)，將原來的以單一數(shù)據(jù)庫為中心的數(shù)據(jù)環(huán)境發(fā)展為一種新環(huán)境：體系化環(huán)境。 


    數(shù)據(jù)倉庫概念始于本世紀(jì)80年代中期，第一次出現(xiàn)是在號(hào)稱“數(shù)據(jù)倉庫之父”William H.Inmon的《建立數(shù)據(jù)倉庫》一書中。隨著人們對(duì)大型數(shù)據(jù)系統(tǒng)研究、管理、維護(hù)等方面的深刻認(rèn)識(shí)和不斷完善，在總結(jié)、豐富、集中各行業(yè)，企業(yè)信息的經(jīng)驗(yàn)之后，為數(shù)據(jù)倉庫給出了更為精確的定義，即“數(shù)據(jù)倉庫是在企業(yè)管理和決策中面向主題的、集成的、與時(shí)間相關(guān)的、不可修改的數(shù)據(jù)集合”。 

    數(shù)據(jù)倉庫并沒有嚴(yán)格的數(shù)學(xué)理論基礎(chǔ)，也沒有成熟的基本模式，且更偏向于工程，具有強(qiáng)烈的工程性。因此，在技術(shù)上人們習(xí)慣于從工作過程等方面來分析，并按其關(guān)鍵技術(shù)部份分為數(shù)據(jù)的抽取、存儲(chǔ)與管理以及數(shù)據(jù)的表現(xiàn)等三個(gè)基本方面。 

1)      數(shù)據(jù)的抽取： 

    數(shù)據(jù)的抽取是數(shù)據(jù)進(jìn)入倉庫的入口。由于數(shù)據(jù)倉庫是一個(gè)獨(dú)立的數(shù)據(jù)環(huán)境，它需要通過抽取過程將數(shù)據(jù)從聯(lián)機(jī)事務(wù)處理系統(tǒng)、外部數(shù)據(jù)源、脫機(jī)的數(shù)據(jù)存儲(chǔ)介質(zhì)中導(dǎo)入到數(shù)據(jù)倉庫。 

2) 存儲(chǔ)和管理： 

    數(shù)據(jù)倉庫的真正關(guān)鍵是數(shù)據(jù)的存儲(chǔ)和管理。數(shù)據(jù)倉庫的組織管理方式?jīng)Q定了它有別于傳統(tǒng)數(shù)據(jù)庫，同時(shí)也決定了其對(duì)外部數(shù)據(jù)的表現(xiàn)形式。要決定采用什么產(chǎn)品和技術(shù)來建立數(shù)據(jù)倉庫的核心，則需要從數(shù)據(jù)倉庫的技術(shù)特點(diǎn)著手分析。  

3)　數(shù)據(jù)的表現(xiàn)： 

    數(shù)據(jù)表現(xiàn)實(shí)際上相當(dāng)于數(shù)據(jù)倉庫的門面，其性能主要集中在多維分析、數(shù)理統(tǒng)計(jì)和數(shù)據(jù)挖掘方面。而多維分析又是數(shù)據(jù)倉庫的重要表現(xiàn)形式，近幾年來由于互聯(lián)網(wǎng)的發(fā)展，使得多維分析領(lǐng)域的工具和產(chǎn)品更加注重提供基于Web前端聯(lián)機(jī)分析界面，而不僅僅是在網(wǎng)上發(fā)布數(shù)據(jù)。 

    數(shù)據(jù)倉庫技術(shù)應(yīng)用領(lǐng)域非常廣，凡是涉及到數(shù)據(jù)分析，報(bào)表匯總，決策支持等與數(shù)據(jù)有關(guān)的信息系統(tǒng)，都是其應(yīng)用的范圍。 

3．智能卡 

    智能卡即IC卡，就是集成電路卡。它的顯著特征就是自身嵌裝有微處理器及大容量存儲(chǔ)器等集成電路芯片。IC卡是伴隨著半導(dǎo)體技術(shù)的發(fā)展和社會(huì)對(duì)信息安全性等要求的日益提高而應(yīng)運(yùn)而生的，經(jīng)過近幾十年的發(fā)展，其技術(shù)日趨成熟，目前在國內(nèi)外均已經(jīng)得到了很廣泛的應(yīng)用。由于IC卡采用了當(dāng)今最先進(jìn)的半導(dǎo)體制造技術(shù)和信息安全技術(shù)，相對(duì)于其他卡具，如磁卡等，主要有以下優(yōu)點(diǎn)：  
    ① 存儲(chǔ)容量大：因其內(nèi)部有集成電路存儲(chǔ)器芯片，存儲(chǔ)容量可達(dá)幾兆字節(jié)，為磁卡的幾千至幾萬倍。IC卡的存儲(chǔ)器可以分成若干應(yīng)用區(qū)，分別存儲(chǔ)文字、聲音、圖形、圖像等各種信息，便于一卡多用，方便保管。  
    ② 安全性能高：加密IC卡從硬件和軟件等幾個(gè)方面實(shí)施其安全策略，可以控制卡內(nèi)不同存儲(chǔ)區(qū)域的存取特性。IC卡本身具有安全密碼，卡內(nèi)的信息加密后不可復(fù)制。只有密碼核對(duì)正確后才能對(duì)卡內(nèi)的信息進(jìn)行讀寫操作，對(duì)安全密碼核對(duì)錯(cuò)誤時(shí)，卡片具有自毀功能；而磁卡等一般只能用功能較弱的軟件加密措施，存儲(chǔ)信息很容易被復(fù)制，安全性較差。 
    ③ IC卡防磁、防一定強(qiáng)度的靜電，一般至少可重復(fù)讀寫十萬次以上，使用壽命長(zhǎng)，可靠性比磁卡高。且IC卡體積小、重量輕，便于攜帶，易于使用。 
    ④ IC卡的讀寫機(jī)構(gòu)比磁卡的讀寫機(jī)構(gòu)簡(jiǎn)單可靠、造價(jià)便宜，維護(hù)方便，推廣容易。 正是由于這些優(yōu)點(diǎn)，IC卡越來越受重視，其市場(chǎng)迅速遍及世界各地，而其應(yīng)用領(lǐng)域也從最初單一的銀行信用卡領(lǐng)域，滲透到包括稅務(wù)征收、付費(fèi)電話、健康記錄、身份認(rèn)證、賓館旅游等多個(gè)領(lǐng)域。 

    IC卡的使用，應(yīng)該說還有很大的擴(kuò)展空間，上面所說，只是其中一部分，推而廣之，各行業(yè)中的辦公自動(dòng)化(OA)系統(tǒng)、考勤系統(tǒng)、甚至人員的工資等，均可用IC卡作為身份認(rèn)證、數(shù)據(jù)查詢及數(shù)據(jù)存儲(chǔ)，真正實(shí)現(xiàn)一卡多用。 

    即將開始試驗(yàn)使用的我國第二代身份證采用非接觸IC卡技術(shù)，是最大的IC卡應(yīng)用項(xiàng)目。它的使用，對(duì)加強(qiáng)我國人口信息化的安全性和高效性將起到十分重要的作用。 

4．二者的結(jié)合 

    智能IC卡作為與信息系統(tǒng)的接口，大量業(yè)務(wù)數(shù)據(jù)的產(chǎn)生與它有關(guān)。包括銀行，電信，稅務(wù)，海關(guān)等積累了大量的數(shù)據(jù)，業(yè)務(wù)人員與決策人員都希望能夠從中發(fā)現(xiàn)可利用的，有價(jià)值的信息。在這樣的需求下，數(shù)據(jù)倉庫技術(shù)便在智能卡應(yīng)用領(lǐng)域迅速的推廣開來。 

    以煙草行業(yè)為例，基于Sybase（美國數(shù)據(jù)庫供應(yīng)商）數(shù)據(jù)倉庫技術(shù)的煙草商業(yè)信息系統(tǒng)。分為五個(gè)版本：為國家專賣局(煙草總公司)、省煙草公司(省煙草專賣局)、地區(qū)級(jí)煙草公司(煙草專賣局)也叫煙草分公司(分公司煙草專賣局)、縣煙草公司(煙草專賣局)、煙草批發(fā)部。數(shù)據(jù)是垂直分布，并且是有關(guān)聯(lián)性的。以便完成購銷業(yè)務(wù)、匯總處理和查詢功能。 

    針對(duì)煙草行業(yè)的業(yè)務(wù)特點(diǎn)，系統(tǒng)分為八個(gè)子系統(tǒng)進(jìn)行設(shè)計(jì)：日常業(yè)務(wù)管理子系統(tǒng)、倉儲(chǔ)管理子系統(tǒng)、商品帳核算子系統(tǒng)、專賣管理子系統(tǒng)、價(jià)格管理子系統(tǒng)、通用報(bào)表子系統(tǒng)、綜合查詢子系統(tǒng)、移動(dòng)訪銷、配送、稽查系統(tǒng)。 

    靈活的IC卡銷售及專賣管理是其中的一個(gè)重要子系統(tǒng)。門店銷售時(shí)系統(tǒng)在商戶IC卡上記錄銷售數(shù)據(jù)，送貨時(shí)通過移動(dòng)式IC卡讀寫器對(duì)商戶作卷煙銷售，銷售記錄同時(shí)記入商戶IC卡和IC卡讀寫器，并自動(dòng)上傳到MIS系統(tǒng)；專賣檢查人員也可以通過移動(dòng)式IC卡讀寫器對(duì)商戶進(jìn)行專賣檢查，將檢查結(jié)構(gòu)同時(shí)記入商戶IC卡和IC卡讀寫器，自動(dòng)上傳到MIS系統(tǒng)。并抽取到數(shù)據(jù)倉庫數(shù)據(jù)服務(wù)器供決策支持使用。 

    整個(gè)系統(tǒng)結(jié)合了數(shù)據(jù)倉庫和智能IC卡的特點(diǎn)。充分考慮到系統(tǒng)的融合與獨(dú)立性。實(shí)現(xiàn)了如下的一些特點(diǎn)： 

1．實(shí)現(xiàn)數(shù)據(jù)的采集 

2．高效的IC卡專賣的管理 

3．高效率的存儲(chǔ)和查詢 

    這樣的系統(tǒng)充分集合了數(shù)據(jù)倉庫與智能卡二者的優(yōu)點(diǎn)，使整個(gè)體系有了完整的信息化流程。 

    中國是人口大國，人口的管理一直是國家非常重視的。作為人口系統(tǒng)化的重要部分，我國第一代身份證以其保密性差，易仿造等諸多缺點(diǎn)，已經(jīng)不能滿足未來的需要。即將取而代之的第二代身份證將采用非接觸IC卡技術(shù)，在防偽性、保密性等方面將有質(zhì)的飛躍。 

    人口信息系統(tǒng)最大的特點(diǎn)是數(shù)據(jù)量大，每年的調(diào)查格式不盡相同。以中等城市人口統(tǒng)計(jì)數(shù)據(jù)為例，許多歷年的、大量的人口調(diào)查原始資料多以紙介質(zhì)、軟盤、磁帶等形式存儲(chǔ)在資料庫里，這些寶貴的資料，一方面面臨外部環(huán)境對(duì)傳統(tǒng)保存方式數(shù)據(jù)安全性的挑戰(zhàn)，另一方面各業(yè)務(wù)部門和相關(guān)單位也有充分利用、進(jìn)行數(shù)據(jù)挖掘的迫切需求。而數(shù)據(jù)倉庫的應(yīng)用，是一種最佳解決之道。 

    舉例來說，某市人口約900萬，第四次人口普查數(shù)據(jù)加上近十年的人口調(diào)查資料、勞動(dòng)力情況調(diào)查資料和社區(qū)情況調(diào)查資料，原始數(shù)據(jù)量約10GB。針對(duì)人口系統(tǒng)的特點(diǎn)，采用了數(shù)據(jù)倉庫技術(shù)并面向主題設(shè)計(jì)了最佳數(shù)據(jù)模型和數(shù)據(jù)字典。人口數(shù)據(jù)的整理需要一定的時(shí)間，在項(xiàng)目的實(shí)施過程中數(shù)據(jù)整理工作和數(shù)據(jù)加載工作同步進(jìn)行。第四次人口普查900萬條數(shù)據(jù)和1990年至今近十年的抽樣調(diào)查數(shù)據(jù)已全部加載到人口數(shù)據(jù)倉庫。 

    人口信息數(shù)據(jù)大，對(duì)數(shù)據(jù)倉庫引擎和數(shù)據(jù)加載工具有極高的性能要求。NCR（作為以硬件為主的的數(shù)據(jù)倉庫解決方案提供商）它的Teradata數(shù)據(jù)倉庫是完全并行的數(shù)據(jù)庫，速度非常之快；NCR的FastLoad數(shù)據(jù)加載工具也是并行的，可以啟動(dòng)多個(gè)會(huì)話進(jìn)程，加載900萬人口數(shù)據(jù)僅需15分鐘，這對(duì)其它數(shù)據(jù)庫來說是不可想象的。 

    人口系統(tǒng)的應(yīng)用特點(diǎn)是各年度的絕對(duì)調(diào)查指標(biāo)之間缺少可比性，要對(duì)原始數(shù)據(jù)進(jìn)行加工整理，在原始數(shù)據(jù)基礎(chǔ)之上派生各種相對(duì)分析指標(biāo)，如人口分布、年齡結(jié)構(gòu)、生育結(jié)構(gòu)、家庭結(jié)構(gòu)、婚姻狀況等以滿足各年度之間的分析研究?？紤]到通用性和便于統(tǒng)計(jì)業(yè)務(wù)人員進(jìn)行分析，我們?cè)O(shè)計(jì)了一個(gè)通用的、功能強(qiáng)大的、靈活的派生數(shù)據(jù)模塊，利用后臺(tái)處理和Teradata快速的特點(diǎn)，能將原始數(shù)據(jù)生成相對(duì)通用的派生數(shù)據(jù)。派生數(shù)據(jù)已將指標(biāo)代碼轉(zhuǎn)化成漢字屬性，并計(jì)算和產(chǎn)生了許多新的屬性字段，在派生數(shù)據(jù)基礎(chǔ)之上，利用報(bào)表工具（如Brio工具），統(tǒng)計(jì)業(yè)務(wù)人員和人口研究人口可以隨機(jī)產(chǎn)生各種報(bào)表，可以作各種各樣的聯(lián)機(jī)分析處理這將大大提高了工作效率。加上未來第二代身份證采用非接觸IC卡技術(shù)，在安全性、唯一性方面有強(qiáng)有力的保障。使人口信息系統(tǒng)在數(shù)據(jù)識(shí)別，信息交互方面以及與底層數(shù)據(jù)通訊速度方面都將有很大的提高。 

5.前景展望 

    數(shù)據(jù)倉庫工程是一個(gè)復(fù)雜的信息集成工程,需要有事先周密的規(guī)劃。通過對(duì)數(shù)據(jù)倉庫工程進(jìn)行規(guī)劃， 要明確分析信息的需求和現(xiàn)狀，提出如何通過采用相應(yīng)技術(shù)，實(shí)施可行的工程化步驟，達(dá)到工程項(xiàng)目的預(yù)期目標(biāo)。隨著數(shù)據(jù)倉庫技術(shù)和智能卡在各行業(yè)及企業(yè)的應(yīng)用，二者的結(jié)合也將趨于成熟。為政府，企業(yè)決策提供更先進(jìn)的技術(shù)手段，必將進(jìn)一步加強(qiáng)政府，企業(yè)的管理和決策職能。數(shù)據(jù)倉庫技術(shù)在不遠(yuǎn)的將來，必將在我國的信息化的建設(shè)中發(fā)揮重要作用。