《續(xù)》

　　目前世界上采用多層神經(jīng)網(wǎng)絡(luò)對肉類圖像特征進(jìn)行學(xué)習(xí)的研究成果不多，故當(dāng)前國內(nèi)外并沒有有效的豬胴體圖像數(shù)據(jù)庫可供應(yīng)用，另外由于肉豬種類的區(qū)別，不同國家地區(qū)的豬胴體分級標(biāo)準(zhǔn)有一定差別，從互聯(lián)網(wǎng)上獲取的豬胴體圖片普遍存在拍攝角度、清晰度、光照條件、分類信息不明確等問題。本文主要針對在豬肉加工車間環(huán)境下豬胴體圖像的學(xué)習(xí)和識別，為了支持研究中網(wǎng)絡(luò)模型建立過程的進(jìn)行，決定構(gòu)建豬肉加工車間內(nèi)的豬熱胴體圖像庫。

　　3.1 豬胴體圖像的獲取

　　在本次研究中，選擇了遼寧地區(qū)豬肉生產(chǎn)加工龍頭企業(yè)之一的鐵嶺九星集團(tuán)的豬肉屠宰加工生產(chǎn)線作為合作對象，其豬肉屠宰加工生產(chǎn)線為我國絕大多數(shù)豬肉加工企業(yè)所通用的半機(jī)械半人工加工平臺，對國內(nèi)的豬肉加工企業(yè)有較好的普適性。

　　通過與九星集團(tuán)的溝通協(xié)調(diào)，在不影響生產(chǎn)的情況下，以固定距離和角度分多次拍攝了在生產(chǎn)線環(huán)境下的豬胴體原始照片共93張，包括豬左半胴體原始照片56張及豬右半胴體原始照片37張；93張原始照片中車間常規(guī)照明（白熾燈）環(huán)境下的豬胴體照片82張，閃光燈增亮環(huán)境下的照片11張。拍攝的93張照片分屬于75個生豬個體，其中由人工判別后標(biāo)定為I級的有52個，標(biāo)定為II級的有21個，標(biāo)定為III級的有個。

　　深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練需要大量的訓(xùn)練集，僅使用原始照片完全無法滿足神經(jīng)網(wǎng)絡(luò)的訓(xùn)練及測試需要。為了保證神經(jīng)網(wǎng)絡(luò)能被充分訓(xùn)練，將93張原始照片進(jìn)行數(shù)據(jù)增廣，直接復(fù)制已有的樣本添加入訓(xùn)練集中雖然可以擴(kuò)大訓(xùn)練集，但大量重復(fù)樣本訓(xùn)練的神經(jīng)網(wǎng)絡(luò)很容易出現(xiàn)嚴(yán)重的過擬合情況。故本文使用了一系列常用且符合研究要求的數(shù)據(jù)增強(qiáng)的方法來擴(kuò)充樣本集的大小。

　　（1）圖像平移，在對豬胴體進(jìn)行分級時，豬胴體在圖片中的位置差別不影響豬胴體的分級結(jié)果，故采用圖像平移的方法，通過對圖像采取范圍為10個像素點的隨機(jī)平移。

　?。?）圖像鏡像，豬胴體分級過程中左半胴體圖片和右半胴體圖片可視為基本完全一致的鏡像圖片，故對圖片進(jìn)行鏡像處理。

　?。?）增加圖像噪聲，通過對圖像適當(dāng)添加不同的椒鹽噪音，使圖片呈現(xiàn)更多的變化性。所謂椒鹽噪音，就是在圖片上隨機(jī)添加白色或黑色的點，其中添加噪聲為白色的（白色點灰度值為255）稱為鹽噪音，而添加噪聲為黑色的（灰度值為0）稱為胡椒噪音。椒鹽噪聲本身不會影響圖片的輪廓和紋理特征，是擴(kuò)大圖片類數(shù)據(jù)集的一種有效方式。

　　以上操作均通過Visual Studio2015及OpenCV3.1利用C++語言批量完成。數(shù)據(jù)增廣范例如圖3.1所示。通過多種數(shù)據(jù)增強(qiáng)的方法后，豬胴體圖像數(shù)據(jù)集的帶標(biāo)簽圖片數(shù)量達(dá)到了16000余張，可以滿足網(wǎng)絡(luò)訓(xùn)練和測試的要求。

圖 3.1 數(shù)據(jù)增廣的三種方法（分別為圖像鏡像、圖像平移、增加噪聲）

　　每張圖片的文件名作為這張圖片的標(biāo)簽，其格式如圖3.2所示，其中數(shù)據(jù)類型代表其為訓(xùn)練集或測試集；品級信息代表其人為判別品級，為了未來對數(shù)據(jù)集的進(jìn)一步拓展，保留了一個待拓展位。

圖 3.2 豬胴體圖片文件名格式

　　除調(diào)用SMOTE算法包及PCA/ZCA白化算法包以外，豬胴體圖像數(shù)據(jù)集構(gòu)建過程的程序流程圖如圖3.3所示。

圖3.3構(gòu)建豬胴體圖像數(shù)據(jù)集程序流程圖

　　3.2 數(shù)據(jù)集不平衡問題的解決

　　由于生豬飼養(yǎng)技術(shù)的不斷提高，大多數(shù)生豬的豬胴體品級均為I級，少數(shù)生豬會有II級的評級，而評級為III級的豬胴體在大規(guī)模生豬飼養(yǎng)的環(huán)境下幾乎不存在。對于生豬養(yǎng)殖和豬肉加工企業(yè)而言，這是行業(yè)的進(jìn)步，但在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練中，由于相差過大的樣本比例，極大地增加了類別數(shù)據(jù)的不均衡性。

　　分類任務(wù)需要對數(shù)據(jù)進(jìn)行處理，但是在分類時不平衡的情況時有發(fā)生，不同類別的數(shù)據(jù)差距不一，例如在一個具有兩種類的數(shù)據(jù)集中有200個樣本，其中多數(shù)類A中有160個樣本，而少數(shù)類B中的樣本數(shù)量為40個，那么兩類的比例就是4:1，樣本數(shù)量呈現(xiàn)一種不平衡的狀態(tài)。類別不均衡是幾乎所有分類工作中或多或少都會出現(xiàn)的廣泛問題，例如在對數(shù)據(jù)進(jìn)行分析識別商業(yè)詐騙的工作中中，屬于商業(yè)詐騙的例子明顯只會占整體數(shù)據(jù)極小的一部分，即絕大部分的記錄都是誠信的。

　　數(shù)據(jù)分類不平衡的情況總會時不時的出現(xiàn)，如果在二分法中的數(shù)據(jù)差距比例超過4:1，那么就會對數(shù)據(jù)本身造成一定的影響，如果在分類之前不對這樣的數(shù)據(jù)進(jìn)行處理，那么數(shù)據(jù)不平衡將會向數(shù)據(jù)錯誤進(jìn)行轉(zhuǎn)變，造成更嚴(yán)重的后果。例如在客戶服務(wù)調(diào)查中，90%的客戶想要繼續(xù)合作，而只有10%的客戶不想繼續(xù)合作，那么在客戶合作方面的比例就會嚴(yán)重失調(diào)，差距較大就會造成之后的數(shù)據(jù)處理時忽略較小的一部分而使得整體的分類產(chǎn)生錯誤。

　　通過訓(xùn)練集和算法可以一定程度上改善數(shù)據(jù)在分類時產(chǎn)生的不平衡問題。改變訓(xùn)練集中的數(shù)據(jù)分布或者學(xué)習(xí)一個新的算法等等的辦法都可以在數(shù)據(jù)處理時實時的糾正即將產(chǎn)生的錯誤。重采樣、學(xué)習(xí)算法或者改變分類依據(jù)來保證正確率的提升。

　　重采樣（resampling）包括兩種方法，包括對整體數(shù)據(jù)集進(jìn)行擴(kuò)大的上采樣（過采樣）方法以及縮小數(shù)據(jù)集的下采樣（欠采樣）方法，兩種方法的目的都是使原本相差較大的不均衡類更加均衡，避免不均衡數(shù)據(jù)導(dǎo)致的對少數(shù)類判斷錯誤率過高等問題。其中上采樣擴(kuò)大了少數(shù)類樣本的數(shù)量，其具體實施方法有很多，最簡單的就是直接復(fù)制少數(shù)類的樣本從而實現(xiàn)擴(kuò)大少數(shù)類數(shù)量的效果，這個方法在實際應(yīng)用中證明效果不佳，不能有效提升判別的正確率同時還會產(chǎn)生過擬合的隱患。針對這種情況，相關(guān)學(xué)者提出了一些更具實用性的上采樣技術(shù)，通過對數(shù)據(jù)的判斷與分析，對一些特定的少數(shù)類樣本進(jìn)行復(fù)制或按照原有少數(shù)類的規(guī)律生成新的少數(shù)類樣本，本文采用的SMOTE算法就是一種實用性很強(qiáng)的上采樣數(shù)據(jù)增加手段。下采樣的策略與上采樣策略相反，為了實現(xiàn)樣本的均衡，下采樣方法對多數(shù)類進(jìn)行處理。簡單的方法如隨機(jī)刪除存在著影響判斷準(zhǔn)確率的隱患，可能會丟失部分多數(shù)類的特征。在下采樣方法的研究中，選擇多數(shù)類中的非重要數(shù)據(jù)成為了算法改進(jìn)的核心。

　　在實際生產(chǎn)生活中，各種分類活動其側(cè)重點普遍在于提高對稀有類的劃分與判斷的準(zhǔn)確率，對于稀有類的判斷往往比對普遍類的判斷更為重要。重采樣方法作為解決數(shù)據(jù)集數(shù)據(jù)不均衡問題的重要方式，在其相關(guān)算法的研究發(fā)展中，上采樣方法較下采樣方法普遍更為實用有效，這與下采樣方法的核心思想（縮小數(shù)據(jù)集）有關(guān)。在諸多上采樣方法中，SMOTE（Synthetic Minority Oversampling Technique）算法由于其對數(shù)據(jù)集擴(kuò)大過程中少量類的特征影響小、易于實施等優(yōu)點廣泛地被應(yīng)用于許多存在數(shù)據(jù)類不平衡的情況。

　　SMOTE算法被發(fā)表于2002年，其要解決的核心目標(biāo)就是對不均衡樣本集中的稀有類進(jìn)行有選擇地擴(kuò)大，使稀有類中數(shù)據(jù)的數(shù)量達(dá)到與普遍類中數(shù)據(jù)的數(shù)量接近的程度。SMOTE算法的基本思想是設(shè)訓(xùn)練集的一個少數(shù)類的樣本數(shù)為T，那么SMOTE算法將為這個少數(shù)類合成NT個新樣本。其中N是正整數(shù)，給定N<1，SMOTE算法將少數(shù)類的樣本增廣至T=NT，并將強(qiáng)制將N設(shè)置為1。該少數(shù)類的一個樣本i，其特征向量為xi ,i∈{1,...,T}：

　?。?）從該少數(shù)類的全部T個樣本中找到樣本xi 的k個近鄰（例如用歐氏距離），記為Xi(near) ,near∈{1,...,k} ；

　?。?）從這k個近鄰中隨機(jī)選擇一個樣本Xi(n,n)，再生成一個0到1之間的隨機(jī)數(shù)ζ1，從而合成一個新樣本Xi1：Xi1 =Xi +ζ1×(Xi(n,n) ?Xi )。

　　將步驟2重復(fù)進(jìn)行N次，從而可以合并為N個新樣本：Xinew（new∈1...N）。對全部的T個少數(shù)類樣本進(jìn)行上述操作，便可為該少數(shù)類合成NT個新樣本。以二維樣本為例，如圖3.4所示，原樣本中少數(shù)類S的樣本數(shù)較L類相差極多，其中L類樣本6320例，S類樣本680例，通過過采樣中的SMOTE算法后，通過插值，將S類的樣本數(shù)擴(kuò)大到了3160例，經(jīng)過SMOTE擴(kuò)大后的樣本類間的均衡性顯著提高，深度網(wǎng)絡(luò)的學(xué)習(xí)更準(zhǔn)確更全面。且由于增廣的樣本是通過插值產(chǎn)生而非單純的隨機(jī)復(fù)制而來，在學(xué)習(xí)的過程中也可有效地避免過擬合情況的發(fā)生。

圖 3.4 Smote 算法原理圖及實際效果

　　3.3 針對深度學(xué)習(xí)的數(shù)據(jù)預(yù)處理

　　通過數(shù)據(jù)增廣和SMOTE算法的處理之后，豬胴體圖像數(shù)據(jù)集的數(shù)量和均衡性都達(dá)到了滿足卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練的要求，但仍無法達(dá)到直接輸入到卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行學(xué)習(xí)的水平。

　　首先獲得的豬胴體圖像集的原圖圖像尺寸過大，雖然也可以輸入網(wǎng)絡(luò)中進(jìn)行學(xué)習(xí)，但在有限的硬件條件下，過大的圖片尺寸將極大地影響網(wǎng)絡(luò)的學(xué)習(xí)效率和學(xué)習(xí)效果，假設(shè)用于學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)采用四層卷積層的結(jié)構(gòu)，同時采用尺寸為3×3的卷積核，那么一張尺寸為4000×3000的原圖經(jīng)過填充層填充后每層需要完成卷積計算4002（最接近且大于4000的3的倍數(shù)）×3000/(3×3)=133400次，而尺寸為100×75的壓縮圖經(jīng)過填充層填充后每層僅需卷積計算102×75/(3×3)=850次卷積運算，單張圖片僅在四層卷積層中需要多進(jìn)行卷積計算(133400/800)倍，將消耗大量的計算能力和時間。同時過大的圖片也將導(dǎo)致圖片的特征過多，極易產(chǎn)生過擬合的情況。但同時，由于豬胴體分級信息的識別分類需要依靠一定程度的紋理細(xì)節(jié)，不能為了減少網(wǎng)絡(luò)學(xué)習(xí)過程中的運算量而過度地壓縮圖片，導(dǎo)致脂肪與肌肉的相關(guān)紋理細(xì)節(jié)損失過大。

　　鑒于本次研究采用AlexNet，其標(biāo)準(zhǔn)網(wǎng)絡(luò)輸入圖片尺寸為227×227，針對這個情況，對豬胴體圖片壓縮至336×336尺寸，然后選取圖片正中的227×227部分圖片作為數(shù)據(jù)集圖片進(jìn)行下一步處理。這樣既可以更大地突出豬胴體部分的圖片，同時對計算機(jī)運算量要求很少，有很快的響應(yīng)速度，圖片截取范例如圖3.4所示。

圖 3.5 豬胴體圖片壓縮及截取示意圖

　　對于豬胴體人工辨識分級的情況，顏色和紋理細(xì)節(jié)越詳細(xì)，目視判別的準(zhǔn)確率越高。但在卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)中，豐富的色彩變化、顯著的亮度差異以及三通道的顏色模式，其在數(shù)據(jù)層面上代表的是巨大的樣本特征差異。這些均會在卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)的過程中導(dǎo)致特征值的過度分散，影響卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程中的收斂速度和效果。

　　所以在建立豬胴體圖像數(shù)據(jù)集的過程中，需要對要經(jīng)過深度學(xué)習(xí)的圖像進(jìn)行有針對性的數(shù)據(jù)預(yù)處理。

　　3.3.1 數(shù)據(jù)歸一化

　　為了使網(wǎng)絡(luò)模型可以更好地訓(xùn)練與識別，要對數(shù)據(jù)進(jìn)一步進(jìn)行歸一化處理。數(shù)據(jù)歸一化的方法有很多，具體方法通常是根據(jù)數(shù)據(jù)的實際情況而對應(yīng)選擇的。特征歸一化常用的方法包含如下幾種：

　?。?）特征值縮小

　　圖片型數(shù)據(jù)由一個個的像素組成，在灰度圖像中每個像素點的灰度值可以取0到255，分別對應(yīng)黑色和白色，但這樣的數(shù)據(jù)范圍對于網(wǎng)絡(luò)模型而言太大，波動性大的數(shù)據(jù)往往導(dǎo)致網(wǎng)絡(luò)對數(shù)據(jù)的收斂能力減弱，導(dǎo)致模型擬合困難。對圖片而言，可以用255對每個像素點的灰度值做除法，得到一個范圍在（0,1）中的數(shù)，通過逐個像素點的運算，可得到整張圖片的縮小化特征值。對于彩色圖片同理，將RGB三個通道的對應(yīng)數(shù)值分別除以255，并按照通道的不同分別進(jìn)行存儲。

　　（2）去均值化

　　對于較穩(wěn)定的數(shù)據(jù)（不同特征向量的特征值分布相接近），可以根據(jù)特征值對整個樣本取平均值，例如對一張灰度圖片的每個像素點的灰度值取平均值，然后對圖片中的每個像素點，均用該點的灰度值減去圖片的灰度平均值，得到的樣本空間更小，有利于擬合。

　　（3）特征標(biāo)準(zhǔn)化

　　這是一種廣泛應(yīng)用于實際數(shù)據(jù)處理中的歸一化處理方法，其原理是使數(shù)據(jù)在不同的特征向量中呈現(xiàn)普遍的零均值與單位方差。特征標(biāo)準(zhǔn)化在實施時，對全部的樣本集獲取各特征維度的特征平均值，像去均值法一樣從各個特征點中去除掉整體的平均值之后，用這個特征向量上樣本的標(biāo)準(zhǔn)差除每個特征向量上的樣本點。

　　3.3.2 PCA/ZCA白化

　　數(shù)據(jù)通過歸一化處理后，以相對規(guī)整的形式進(jìn)入接下來的白化處理環(huán)節(jié)，白化處理是許多現(xiàn)代多層神經(jīng)網(wǎng)絡(luò)模型能夠高效穩(wěn)定運行的重要因素。白化處理從根本上講是一種降低維度的運算方法。其包括了PCA白化處理算法和ZCA白化處理算法。

　　（1）PCA白化

　　PCA（Principal Components Analysis）主成分分析算法本質(zhì)是一種減少特征種類的算法。在無監(jiān)督學(xué)習(xí)的過程中，若參與訓(xùn)練的樣本包含了過多的特征種類，則這些特征種類中通常會有一部分特征值間具有關(guān)聯(lián)。這些具有關(guān)聯(lián)的特征有部分是可以用其他特征代替的，導(dǎo)致特征種類中產(chǎn)生了數(shù)據(jù)冗余，由于深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和識別過程需要大量的迭代與運算，冗余的數(shù)據(jù)不僅嚴(yán)重影響網(wǎng)絡(luò)訓(xùn)練和識別的速度，同時也會影響網(wǎng)絡(luò)的擬合。

　　PCA算法通過獲得數(shù)據(jù)集中的樣本的特征均值μ，對樣本中的數(shù)據(jù)進(jìn)行去均值處理，并獲得去均值后樣本的協(xié)同方差矩陣。根據(jù)該矩陣獲得其特征值以及特征值對應(yīng)的維度；將維度翻轉(zhuǎn)后，對數(shù)據(jù)集中的各個樣本進(jìn)行翻轉(zhuǎn)維度的比對；將對應(yīng)關(guān)系中數(shù)值小的部分去除，實現(xiàn)數(shù)據(jù)的降維。而PCA白化則是在PCA算法的基礎(chǔ)上對獲得的特征向量逐個進(jìn)行標(biāo)準(zhǔn)差的除法，通過對標(biāo)準(zhǔn)差的除運算后，樣本中每個特征向量的方差均為1。

　?。?）ZCA 白化

　　PCA操作主要實現(xiàn)了減少特征向量的目的，而ZCA操作則更多地面向去除維度間的相關(guān)性方面。ZCA的實質(zhì)是在不去除樣本的特征向量個數(shù)的情況下完成部分PCA的步驟，其主要目的在于消除特征向量間的聯(lián)系，讓特征更有“特征”且與最初的樣本更加類似。

　　（3）白化參數(shù)的確定

　　要對數(shù)據(jù)進(jìn)行有效的白化，需要確定進(jìn)行白化時的ε參數(shù)。通過對樣本采用ZC方法，進(jìn)行了ZCA的樣本若在圖像化狀態(tài)中有大量的噪點存在，則說明ε的選擇偏?。蝗鬦CA后的樣本的特征值圖像出現(xiàn)“長尾”，則表示ε的選擇偏大。白化的本質(zhì)在于選擇合適的參數(shù)進(jìn)行低頻濾波。

　　3.4 數(shù)據(jù)集二進(jìn)制化

　　為了方便未來對豬胴體圖像在深度學(xué)習(xí)領(lǐng)域的進(jìn)一步研究，本文中參照CIFAR-10這一廣泛使用的圖像數(shù)據(jù)集格式，將經(jīng)過預(yù)處理的豬胴體圖像數(shù)據(jù)集制成了二進(jìn)制圖像數(shù)據(jù)集。

　　CIFAR-10是由Alex Krizhevsky和Ilya Sutskever收集建立的一個用于普適物體識別的數(shù)據(jù)集。CIFAR是加拿大政府牽頭投資的一個先進(jìn)科學(xué)項目研究所。這個項目加速推動了Deep Learning的進(jìn)程。數(shù)據(jù)集由十個類共60000張尺寸為32×32像素的彩色圖像組成，其中每個類包含了6000張包含了標(biāo)簽的圖像，同時整個CIFAR-10數(shù)據(jù)集還分為50000張訓(xùn)練集和10000張測試集。CIFAR-10數(shù)據(jù)集的最大特點是其作為一個普適性的數(shù)據(jù)集，較之前的只具有特定專業(yè)方向的數(shù)據(jù)集更有使用意義，用戶群體更大。其姊妹數(shù)據(jù)集CIFAR-100更是將數(shù)據(jù)分類擴(kuò)大到了100類。

　　CIFAR-10數(shù)據(jù)集的數(shù)據(jù)格式并不是單個的圖像格式，而是將標(biāo)簽和圖像數(shù)據(jù)二進(jìn)制化分別存儲，其存儲格式為<1*label><3072*pixel>，首先是一個字節(jié)的空間存儲label（標(biāo)簽），然后存放圖像的數(shù)據(jù)，數(shù)據(jù)集對圖像的尺寸沒有具體限制，但要求所有的圖像尺寸一致。如果圖像為多個通道，則格式為label開頭，之后分別存儲RGB三個通道的數(shù)據(jù)。生成二進(jìn)制格式的數(shù)據(jù)集的程序流程圖如圖3.5所示。

圖 3.6 數(shù)據(jù)集二進(jìn)制化程序流程圖

　　3.5 本章小結(jié)

　　本章主要介紹了制作應(yīng)用于豬胴體圖像分級數(shù)據(jù)集的過程。以從九星集團(tuán)豬肉加工流水線上采集到的圖像為原始素材，通過圖像增廣擴(kuò)大了數(shù)據(jù)集中的有效圖像數(shù)量，通過 SMOTE 算法解決了數(shù)據(jù)集存在的樣本不均衡問題，使用固定格式對圖片進(jìn)行命名，并通過針對深度學(xué)習(xí)的數(shù)據(jù)預(yù)處理方法對數(shù)據(jù)集進(jìn)行了處理，為了方便未來的進(jìn)一步研究，將數(shù)據(jù)集轉(zhuǎn)化成標(biāo)準(zhǔn)的二進(jìn)制格式。
 

　　《未完待續(xù)》