數據挖掘(Data Mining)就是從大量的、不完全的、有噪聲的、模糊的、隨機的實際應用數據中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。這個定義包括幾層含義：數據源必須是真實的、大量的、含噪聲的；發現的是用戶感興趣的知識；發現的知識要可接受、可理解、可運用；并不要求發現放之四海皆準的知識，僅支持特定的發現問題。這里的知識一般指規則、概念、規律及模式等。 數據挖掘建模過程

定義挖掘目標

針對具體的數據挖掘應用需求，首先要非常清楚，本次挖掘的目標是什么？系統完成后能達到什么樣的效果？因此我們必須分析應用領域，包括應用中的各種知識和應用目標。了解相關領域的有關情況，熟悉背景知識，弄清用戶需求。要想充分發揮數據挖掘的價值，必須要對目標有一個清晰明確的定義，即決定到底想干什么。否則，很難得到正確的結果。 數據取樣

數據采集前首要考慮的問題包括：哪些數據源可用，哪些數據與當前挖掘目標相關？如何保證取樣數據的質量？是否在足夠范圍內有代表性？數據樣本取多少合適？如何分類(訓練集、驗證集、測試集)等等。

在明確了需要進行數據挖掘的目標后，接下來就需要從業務系統中抽取一個與挖掘目標相關的樣本數據子集。抽取數據的標準，一是相關性，二是可靠性，三是最新性。

進行數據取樣一定要嚴把質量關，在任何時候都不要忽視數據的質量，即使是從一個數據倉庫中進行數據取樣，也不要忘記檢查其質量如何。因為數據挖掘是探索企業運作的內在規律，原始數據有誤，就很難從中探索規律性。 數據探索

當拿到一個樣本數據集后，它是否達到我們原來設想的要求，其中有沒有什么明顯的規律和趨勢，有沒有出現從未設想過的數據狀態，因素之間有什么相關性，它們可區分成怎樣一些類別，這都是要首先探索的內容。數據探索和預處理的目的是為了保證樣本數據的質量，從而為保證預測質量打下基礎。數據探索包括：異常值分析、缺失值分析、相關分析、周期性分析、樣本交叉驗證等。 數據預處理和清洗

采樣數據維度過大，如何進行降維處理，采用數據中的缺失值如何處理，這些都是數據預處理需要解決的問題。數據預處理主要包含如下內容：數據篩選，數據變量轉換，缺失值處理，壞數據處理，數據標準化，主成分分析，屬性選擇等。 數據挖掘模式發現

樣本抽取完成并經預處理后，接下來要考慮的問題是：本次建模屬于數據挖掘應用中的哪類問題(分類、聚類、關聯規則或者時序分析)，選用哪種算法進行模型構建？

模型構建的前提是在樣本數據集中發現模式，比如關聯規則、分類預測、聚類分析、時序模式等。在目標進一步明確化的基礎上，我們就可以按照問題的具體要求來重新審視已經采集的數據，看它是否適合挖掘的需要。

針對挖掘目標的需要可能需要對數據進行增刪，也可能按照對整個數據挖掘過程的新認識，要組合或者新生成一些新的變量，以體現對狀態的有效的描述。在挖掘目標進一步明確，數據結構和內容進一步調整的基礎上，下一步數據挖掘應采用的技術手段就更加清晰、明確了。 數據挖掘模型構建

模型構建是反映的是采樣數據內部結構的一般特征，并與該采樣數據的具體結構基本吻合。對于預測模型（包括分類與回歸模型、時序預測模型）來說，模型的具體化就是預測公式，公式可以產生與觀察值有類似結構的輸出，這就是預測值。預測模型是多種多樣的，可以適用于不同結構的樣本數據。正確選擇預測模型是數據挖掘很關鍵的一步，有時由于模型選擇不當，造成預測誤差過大，就需要改換模型。必要時，可同時采用幾種預測模型進行運算以便對比、選擇。對建立模型來說，要記住最重要的就是它是一個反復的過程，需要仔細考察不同的模型以判斷哪個模型對解決問題最有效。 預測模型的構建通常包括模型建立、模型訓練、模型驗證和模型預測 4個步驟，但根據不同的數據挖掘分類應用會有細微的變化。 數據挖掘模型評價

評價的目的之一就是從這些模型中自動找出一個最好的模型來，另外就是要針對業務對模型進行解釋和應用。預測模型評價和聚類模型的評價方法是不同的。

預測模型對訓練集進行預測而得出的準確率并不能很好地反映分類模型未來的性能，為了能預測分類模型在新數據上的性能表現，需要一組沒有參與分類模型建立的數據集，并在該數據集上評價分類器的準確率，這組獨立的數據集就是測試集。這是一種基于驗證的評估方法，常用的方法有保持法、隨機二次抽樣、自助法、交叉驗證等。

聚類分群效果可以用向量數據之間的相似度來衡量，向量數據之間的相似度定義為兩個向量之間的距離（實時向量數據與聚類中心向量數據），距離越近則相似度越大，即該實時向量數據歸為某個聚類。

數據挖掘方法

利用數據挖掘進行數據分析常用的方法主要有分類、回歸分析、聚類、關聯規則、特征、變化和偏差分析、Web頁挖掘等， 它們分別從不同的角度對數據進行挖掘。

分類

分類是找出數據庫中一組數據對象的共同特點并按照分類模式將其劃分為不同的類，其目的是通過分類模型，將數據庫中的數據項映射到某個給定的類別。

它可以應用到客戶的分類、客戶的屬性和特征分析、客戶滿意度分析、客戶的購買趨勢預測等，如一個汽車零售商將客戶按照對汽車的喜好劃分成不同的類，這樣營銷人員就可以將新型汽車的廣告手冊直接郵寄到有這種喜好的客戶手中，從而大大增加了商業機會。

回歸分析

回歸分析方法反映的是事務數據庫中屬性值在時間上的特征，產生一個將數據項映射到一個實值預測變量的函數，發現變量或屬性間的依賴關系，其主要研究問題包括數據序列的趨勢特征、數據序列的預測以及數據間的相關關系等。

它可以應用到市場營銷的各個方面，如客戶尋求、保持和預防客戶流失活動、產品生命周期分析、銷售趨勢預測及有針對性的促銷活動等。

聚類

聚類分析是把一組數據按照相似性和差異性分為幾個類別，其目的是使得屬于同一類別的數據間的相似性盡可能大，不同類別中的數據間的相似性盡可能小。

它可以應用到客戶群體的分類、客戶背景分析、客戶購買趨勢預測、市場的細分等。

關聯規則

關聯規則是描述數據庫中數據項之間所存在的關系的規則，即根據一個事務中某些項的出現可導出另一些項在同一事務中也出現，即隱藏在數據間的關聯或相互關系。

在客戶關系管理中，通過對企業的客戶數據庫里的大量數據進行挖掘，可以從大量的記錄中發現有趣的關聯關系，找出影響市場營銷效果的關鍵因素，為產品定位、定價與定制客戶群，客戶尋求、細分與保持，市場營銷與推銷，營銷風險評估和詐騙預測等決策支持提供參考依據。

特征分析

特征分析是從數據庫中的一組數據中提取出關于這些數據的特征式，這些特征式表達了該數據集的總體特征。如營銷人員通過對客戶流失因素的特征提取，可以得到導致客戶流失的一系列原因和主要特征，利用這些特征可以有效地預防客戶的流失。

變化和偏差分析

偏差包括很大一類潛在有趣的知識，如分類中的反常實例，模式的例外，觀察結果對期望的偏差等，其目的是尋找觀察結果與參照量之間有意義的差別。在企業危機管理及其預警中，管理者更感興趣的是那些意外規則。意外規則的挖掘可以應用到各種異常信息的發現、分析、識別、評價和預警等方面。

Web頁挖掘

隨著Internet的迅速發展及Web 的全球普及， 使得Web上的信息量無比豐富，通過對Web的挖掘，可以利用Web 的海量數據進行分析，收集政治、經濟、政策、科技、金融、各種市場、競爭對手、供求信息、客戶等有關的信息，集中精力分析和處理那些對企業有重大或潛在重大影響的外部環境信息和內部經營信息，并根據分析結果找出企業管理過程中出現的各種問題和可能引起危機的先兆，對這些信息進行分析和處理，以便識別、分析、評價和管理危機。

數據挖掘是一種決策支持過程，它通過高度自動化地分析企業的數據，做出歸納性的推理，從中挖掘出潛在的模式，幫助決策者調整市場策略，減少風險，做出正確的決策。這對于一個企業的發展十分重要。

上一篇：如何系統地學習數據挖掘？

下一篇：沒有了