數(shù)據(jù)挖掘課程設(shè)計(jì)(共15頁)

精選優(yōu)質(zhì)文檔-傾情為你奉上數(shù) 據(jù) 挖 掘 報(bào) 告目 錄 摘 要學(xué)生成績是反映學(xué)校教學(xué)水平的第一手資料,這些數(shù)據(jù)可以為學(xué)校改進(jìn)教育教學(xué)提供重要依據(jù)。然而,現(xiàn)階段的學(xué)生成績分析,多數(shù)還停留在較為原始的數(shù)據(jù)庫管理和查詢階段,沒有對(duì)學(xué)生的成績進(jìn)行橫向和縱向的對(duì)比研究,也缺乏對(duì)各學(xué)科成績之間內(nèi)在聯(lián)系的挖掘。為此,學(xué)校將數(shù)據(jù)挖掘技術(shù)與學(xué)校學(xué)生成績分析管理系統(tǒng)相結(jié)合,通過分析和處理系統(tǒng)中大量的學(xué)生成績數(shù)據(jù),尋找潛在的規(guī)律及模式,促使學(xué)校更好地開展教學(xué)工作,提高教學(xué)質(zhì)量。AbstractStudent achievement is the first-hand information reflecting the teaching level of a school. These data can provide an important basis for schools to improve education and teaching. However, at this stage, most of the studentsperformance analysis still stays in the relatively primitive stage of database management and query. There is no horizontal and vertical comparative study of students performance, nor is there any excavation of the internal links between the performance of various disciplines. Therefore, the school combines the data mining technology with the school student achievement analysis management system. By analyzing and processing a large number of student achievement data, the school seeks for potential rules and patterns, and promotes the school to better carry out teaching work and improve the quality of teaching.專心-專注-專業(yè)一 項(xiàng)目名稱大學(xué)物理，模擬電子技術(shù)和計(jì)算機(jī)組成原理成績的關(guān)系分析二 項(xiàng)目介紹大學(xué)物理，是大學(xué)理工科類的一門基礎(chǔ)課程，通過課程的學(xué)習(xí)，使學(xué)生熟悉自然界物質(zhì)的結(jié)構(gòu)，性質(zhì)，相互作用及其運(yùn)動(dòng)的基本規(guī)律，為后繼專業(yè)基礎(chǔ)與專業(yè)課程的學(xué)習(xí)及進(jìn)一步獲取有關(guān)知識(shí)奠定必要的物理基礎(chǔ)。但工科專業(yè)以力學(xué)基礎(chǔ)和電磁學(xué)為主要授課。通過課程的學(xué)習(xí)，使學(xué)生逐步掌握物理學(xué)研究問題的思路和方法，在獲取知識(shí)的同時(shí)，使學(xué)生擁有的建立物理模型的能力，定性分析、估算與定量計(jì)算的能力，獨(dú)立獲取知識(shí)的能力，理論聯(lián)系實(shí)際的能力都獲得同步提高與發(fā)展。開闊思路，激發(fā)探索和創(chuàng)新精神，增強(qiáng)適應(yīng)能力，提升其科學(xué)技術(shù)的整體素養(yǎng)。通過課程的學(xué)習(xí)，使學(xué)生掌握科學(xué)的學(xué)習(xí)方法和形成良好的學(xué)習(xí)習(xí)慣，形成辯證唯物主義的世界觀和方法論。計(jì)算機(jī)組成原理是計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)的一門核心專業(yè)基礎(chǔ)課。通過本課程的學(xué)習(xí)，使學(xué)生掌握計(jì)算機(jī)系統(tǒng)的基本組成、計(jì)算機(jī)中數(shù)據(jù)的表示方法、計(jì)算機(jī)各硬件部件的功能和工作原理等，為學(xué)生學(xué)習(xí)計(jì)算機(jī)專業(yè)課打下堅(jiān)實(shí)的基礎(chǔ)。三 項(xiàng)目工具系統(tǒng)：win10軟件：office2010，anaconda1Microsoft Office WordMicrosoft Office Word是微軟公司的一個(gè)文字處理器應(yīng)用程序。Word給用戶提供了用于創(chuàng)建專業(yè)而優(yōu)雅的文檔工具，幫助用戶節(jié)省時(shí)間，并得到優(yōu)雅美觀的結(jié)果。一直以來，Microsoft Office Word都是最流行的文字處理程序。作為 Office 套件的核心程序， Word 提供了許多易于使用的文檔創(chuàng)建工具，同時(shí)也提供了豐富的功能集供創(chuàng)建復(fù)雜的文檔使用。哪怕只使用 Word 應(yīng)用一點(diǎn)文本格式化操作或圖片處理，也可以使簡(jiǎn)單的文檔變得比只使用純文本更具吸引力。2Microsoft Office ExcelMicrosoft Excel是Microsoft為使用Windows和Apple Macintosh操作系統(tǒng)的電腦編寫的一款電子表格軟件。直觀的界面、出色的計(jì)算功能和圖表工具，再加上成功的市場(chǎng)營銷，使Excel成為最流行的個(gè)人計(jì)算機(jī)數(shù)據(jù)處理軟件。在1993年，作為Microsoft Office的組件發(fā)布了5.0版之后，Excel就開始成為所適用操作平臺(tái)上的電子制表軟件的霸主。3Anaconda:Anaconda指的是一個(gè)開源的Python發(fā)行版本，其包含了conda、Python等180多個(gè)科學(xué)包及其依賴項(xiàng)。可以用于在同一個(gè)機(jī)器上安裝不同版本的軟件包及其依賴，并能夠在不同的環(huán)境之間切換。Anaconda包括Conda、Python以及一大堆安裝好的工具包，比如：numpy、pandas等。四 數(shù)據(jù)文件預(yù)處理在數(shù)據(jù)挖掘中，海量的原始數(shù)據(jù)中存在著大量不完整、不一致、有異常的數(shù)據(jù)，嚴(yán)重影響到數(shù)據(jù)挖掘建模的執(zhí)行效率，甚至可能導(dǎo)致挖掘結(jié)果的偏差，所以進(jìn)行數(shù)據(jù)清洗就顯得尤為重要，數(shù)據(jù)清洗完成后接著進(jìn)行或者同時(shí)進(jìn)行數(shù)據(jù)集成、變換、規(guī)約等一系列的處理，該過程就是數(shù)據(jù)預(yù)處理。數(shù)據(jù)預(yù)處理一方面是要提高數(shù)據(jù)的質(zhì)量，另一方面是要讓數(shù)據(jù)更好地適應(yīng)特定的挖掘技術(shù)或工具。1.數(shù)據(jù)預(yù)處理方法:(1)數(shù)據(jù)清理數(shù)據(jù)清理例程通過填寫缺失的值、光滑噪聲數(shù)據(jù)、識(shí)別或刪除離群點(diǎn)并解決不一致性來“清理”數(shù)據(jù)。主要是達(dá)到如下目標(biāo)：格式標(biāo)準(zhǔn)化，異常數(shù)據(jù)清除，錯(cuò)誤糾正，重復(fù)數(shù)據(jù)的清除。(2)數(shù)據(jù)集成數(shù)據(jù)集成例程將多個(gè)數(shù)據(jù)源中的數(shù)據(jù)結(jié)合起來并統(tǒng)一存儲(chǔ)，建立數(shù)據(jù)倉庫的過程實(shí)際上就是數(shù)據(jù)集成。(3)數(shù)據(jù)變換通過平滑聚集，數(shù)據(jù)概化，規(guī)范化等方式將數(shù)據(jù)轉(zhuǎn)換成適用于數(shù)據(jù)挖掘的形式。(4)數(shù)據(jù)歸約數(shù)據(jù)挖掘時(shí)往往數(shù)據(jù)量非常大，在少量數(shù)據(jù)上進(jìn)行挖掘分析需要很長的時(shí)間，數(shù)據(jù)歸約技術(shù)可以用來得到數(shù)據(jù)集的歸約表示，它小得多，但仍然接近于保持原數(shù)據(jù)的完整性，并結(jié)果與歸約前結(jié)果相同或幾乎相同。 由于數(shù)據(jù)文件信息較多且有很多數(shù)據(jù)和本課題無關(guān),為了減少資源和時(shí)間的浪費(fèi)，所以在進(jìn)行分析前先將excel表格進(jìn)行刪減和求和，優(yōu)化數(shù)據(jù),使數(shù)據(jù)更加直觀便于分析。處理前數(shù)據(jù)如圖4-1所示. 處理后數(shù)據(jù)如圖4-2所示。圖4-1表格數(shù)據(jù)處理前4-2處理后數(shù)據(jù)import pandas as pdcatering_sale=G:/scour.xlsxdata=pd.read_excel(catering_sale,index_col=u學(xué)生)print(data.describe()print(len(data)圖4-3 數(shù)據(jù)初篩結(jié)果上圖中Count 代表數(shù)量，Mean 代表均值，Std 代表標(biāo)準(zhǔn)差，Min 代表最小值，50% 代表中位數(shù)，Max 代表最大值。2.異常值的分析異常值是指樣本中的個(gè)別值，也稱為離群點(diǎn)，其數(shù)值明顯偏離其余的觀測(cè)值。異常值分析是檢驗(yàn)數(shù)據(jù)是否有錄入錯(cuò)誤以及含有不合常理的數(shù)據(jù)。忽視異常值的存在是十分危險(xiǎn)的，不加剔除地把異常值包括進(jìn)數(shù)據(jù)的計(jì)算分析過程中，對(duì)結(jié)果會(huì)產(chǎn)生不良影響；重視異常值的出現(xiàn)，分析其產(chǎn)生的原因，常常成為發(fā)現(xiàn)問題進(jìn)而改進(jìn)決策的契機(jī)。異常值是指樣本中的個(gè)別值，其數(shù)值明顯偏離其余的觀測(cè)值。異常值也稱為離群點(diǎn)，異常值的分析也稱為離群點(diǎn)分析。(1)簡(jiǎn)單的統(tǒng)計(jì)量分析：我們可以先對(duì)采集到的數(shù)據(jù)做一個(gè)描述性的估計(jì)，最常用的方法就是最大值與最小值.用來判斷這個(gè)變量是否超出常規(guī)的人們的理解等。 (2)箱型圖分析箱型圖是判斷是判斷數(shù)據(jù)的異常值的最為直觀的一個(gè)方法，他的異常值被定義為可能出現(xiàn)在上四分位數(shù)以上的部分與下四分位數(shù)以下的部分.當(dāng)然，并不是說在這樣的范圍內(nèi)的數(shù)都是異常值，但是可以肯定的是，異常值是一定在這里產(chǎn)生的。為了首先感知我們數(shù)據(jù)的基本情況，在Python的Pandas庫中，只需要讀入要處理的數(shù)據(jù)，然后使用describe()函數(shù)，就可以查看數(shù)據(jù)的基本情況.這里面涉及到數(shù)據(jù)的很多屬性，比如說可以查看缺失值，最小值，最大值等。這里我們使用了箱型圖分析，異常值檢測(cè)代碼如下：import pandas as pdcatering_sale=G:/scour.xlsxdata=pd.read_excel(catering_sale,index_col=u學(xué)生)import matplotlib.pyplot as pltplt.rcParamsfont.sans-serif=SimHeiplt.rcParamsaxes.unicode_minus=Falseplt.figure()p=data.boxplot(return_type=dict)x=pfliers0.get_xdata()y=pfliers0.get_xdata()y.sort()for i in range(len(x): if i>0:plt.annotate(yi,xy=(xi,yi),xytext=(xi+0.05-0.8/(yi-yi-1),yi) else:plt.annotate(yi,xy=(xi,yi),xytext=(xi+0.08,yi)plt.show()得到的檢查結(jié)果如下圖2-6所示：4-6 異常值檢測(cè)箱型圖五 數(shù)據(jù)分析數(shù)據(jù)分析是指用適當(dāng)?shù)慕y(tǒng)計(jì)方法對(duì)收集來的大量第一手資料和第二手資料進(jìn)行分析，以求最大化地開發(fā)數(shù)據(jù)資料的功能，發(fā)揮數(shù)據(jù)的作用。是為了提取有用信息和形成結(jié)論而對(duì)數(shù)據(jù)加以詳細(xì)研究和概括總結(jié)的過程。數(shù)據(jù)也稱觀測(cè)值，是實(shí)驗(yàn)、測(cè)量、觀察、調(diào)查等的結(jié)果，常以數(shù)量的形式給出。數(shù)據(jù)分析的目的與意義數(shù)據(jù)分析的目的是把隱沒在一大批看來雜亂無章的數(shù)據(jù)中的信息集中、萃取和提煉出來，以找出所研究對(duì)象的內(nèi)在規(guī)律。1.繪制餅狀圖餅狀圖顯示一個(gè)數(shù)據(jù)系列（數(shù)據(jù)系列：在圖表中繪制的相關(guān)數(shù)據(jù)點(diǎn)，這些數(shù)據(jù)源自數(shù)據(jù)表的行或列。圖表中的每個(gè)數(shù)據(jù)系列具有唯一的顏色或圖案并且在圖表的圖例中表示?？梢栽趫D表中繪制一個(gè)或多個(gè)數(shù)據(jù)系列。餅狀圖只有一個(gè)數(shù)據(jù)系列。）中各項(xiàng)的大小與各項(xiàng)總和的比例。餅狀圖中的數(shù)據(jù)點(diǎn)（數(shù)據(jù)點(diǎn)：在圖表中繪制的單個(gè)值，這些值由條形、柱形、折線、餅狀圖或圓環(huán)圖的扇面、圓點(diǎn)和其他被稱為數(shù)據(jù)標(biāo)記的圖形表示。相同顏色的數(shù)據(jù)標(biāo)記組成一個(gè)數(shù)據(jù)系列。）顯示為整個(gè)餅狀圖的百分比。餅狀圖是以圓形代表研究對(duì)象的整體,用以圓心為共同頂點(diǎn)的各個(gè)不同扇形顯示各組成部分在整體中所占的比例,要注明各扇形所代表的項(xiàng)目的名稱(可用圖例表示)及其所占百分比。餅狀圖可以比較清楚地反映出部分與部分、部分與整體之間的數(shù)量關(guān)系.易于顯示每組數(shù)據(jù)相對(duì)于總數(shù)的大小.而且顯現(xiàn)方式直觀。為了使圖中數(shù)據(jù)更加直觀，這里使用餅狀圖，代碼如下：import numpy as upimport matplotlib.mlab as mlabimport matplotlib.pyplot as pltplt.rcParamsfont.sans-serif=SimHeiplt.rcParamsaxes.unicode_minus=Falselabels=不及格,60-70,70-80,80-90,90-100X=9,17,7,2,0fig=plt.figure()plt.pie(X,labels=labels,autopct=%1.2f%)plt.title(大學(xué)物理1成績分布圖)所得到的餅狀圖為大學(xué)物理1，如下圖5-1所示：圖5-1物理成績分布圖按照以上方法，分別得到物理，組成原理，如下圖5-2，圖5-3，所示：圖5-4組成原理成績分布圖六 挖掘建模本課題研究的是對(duì)大學(xué)物理各個(gè)分?jǐn)?shù)段的人及格幾率的預(yù)測(cè)，并通過數(shù)據(jù)檢測(cè)，檢測(cè)是否在計(jì)算機(jī)組成原理學(xué)習(xí)中存在困難，并及時(shí)給與提醒，根據(jù)數(shù)據(jù)挖掘分析。1算法實(shí)現(xiàn)過程：用代碼5-1 求總的信息熵。手工測(cè)算高數(shù)1，高數(shù)2對(duì)于數(shù)據(jù)結(jié)構(gòu)及格情況的條件熵。信息增益=總信息熵-條件熵。參考信息增益，用信息增益多的作根節(jié)點(diǎn)，畫出最淺決策樹。2.具體實(shí)現(xiàn)代碼及過程（1）利用以下代碼將ecxel表格導(dǎo)入listimport xlrd def creatData(): file = G:離散化.xlsx wb = xlrd.open_workbook(filename=file) ws = wb.sheet_by_name(離散化) data = for r in range(ws.nrows): col = for c in range(ws.ncols): col.append(ws.cell(r, c).value) data.append(col) labels = 物理, 計(jì)算機(jī)組成原理 return data, labels（2）利用以下代碼計(jì)算信息熵from math import log def shannon_entropy(data): enteries=len(data) label_count= for v in data: current_label=v-3 if current_label not in label_count.keys(): label_countcurrent_label=0 label_countcurrent_label+=1 entropy=0.0 for key in label_count: prob=float(label_countkey)/enteries entropy-=prob*log(prob,2) return entropyif _name_ = _main_: data, features = creatData() print(data) print(shannon_entropy(data)及格不及格及格及格不及格不及格組成原理學(xué)習(xí)情況組成原理學(xué)習(xí)情況組成原理學(xué)習(xí)情況大學(xué)物理學(xué)習(xí)情況不及格良好及格決策樹圖七 數(shù)據(jù)挖掘過程大學(xué)物理學(xué)習(xí)情況良好不及格及格及格及格及格不及格不及格不及格組成原理學(xué)習(xí)情況組成原理學(xué)習(xí)情況組成原理學(xué)習(xí)情況柱狀圖是一種以長方形的長度為變量的表達(dá)圖形的統(tǒng)計(jì)報(bào)告圖，由一系列高度不等的縱向條紋表示數(shù)據(jù)分布的情況，用來比較兩個(gè)或以上的價(jià)值（不同時(shí)間或者不同條件），只有一個(gè)變量，通常利用于較小的數(shù)據(jù)集分析。柱狀圖亦可橫向排列，或用多維方式表達(dá)。繪制柱狀圖的代碼如下所示 ：import matplotlib.pyplot as pltplt.rcParamsfont.sans-serif=SimHeiplt.rcParamsaxes.unicode_minus=Falsename_list=不及格,及格,良好num_list=60,49,27num_list1=5,5,9x=list(range(len(num_list)total_width, n=0.8, 2width=total_width/nplt.bar(x,num_list,width=width,label=及格,fc=y)for i in range(len(x): xi=xi+widthplt.bar(x,num_list1, width=width,label=不及格,tick_label=name_list,fc=r)plt.legend()plt.show()得到如圖7-1所示的柱狀圖圖7-1