1、-. z.摘 要本課程設(shè)計主要運(yùn)用MATLAB的仿真平臺設(shè)計進(jìn)展文字識別算法的設(shè)計與仿真。也就是用于實(shí)現(xiàn)文字識別算法的過程。從圖像中提取文字屬于信息智能化處理的前沿課題，是當(dāng)前人工智能與模式識別領(lǐng)域中的研究熱點(diǎn)。由于文字具有高級語義特征，對圖片容的理解、索引、檢索具有重要作用，因此，研究圖片文字提取具有重要的實(shí)際意義。又由于靜態(tài)圖像文字提取是動態(tài)圖像文字提取的根底，故著重介紹了靜態(tài)圖像文字提取技術(shù)。隨著計算機(jī)科學(xué)的飛速開展，以圖像為主的多媒體信息迅速成為重要的信息傳遞媒介，在圖像中，文字信息如新聞標(biāo)題等字幕包含了豐富的高層語義信息，提取出這些文字，對于圖像高層語義的理解、索引和檢索非常有幫助。

2、關(guān)鍵字：文字識別算法；靜態(tài)圖像文字提取；檢索-. z.目錄 TOC o 1-3 h z u HYPERLINK l _Toc5334989281 課程設(shè)計目的 PAGEREF _Toc533498928 h 3HYPERLINK l _Toc5334989292 課程設(shè)計要求 PAGEREF _Toc533498929 h 4HYPERLINK l _Toc5334989303 相關(guān)知識 PAGEREF _Toc533498930 h 5HYPERLINK l _Toc5334989314 課程設(shè)計分析 PAGEREF _Toc533498931 h 8HYPERLINK l _Toc5334

3、989325 系統(tǒng)實(shí)現(xiàn) PAGEREF _Toc533498932 h 9HYPERLINK l _Toc5334989336 系統(tǒng)測試與分析 PAGEREF _Toc533498933 h 17HYPERLINK l _Toc5334989346.1 文字識別算法仿真結(jié)果 PAGEREF _Toc533498934 h 17HYPERLINK l _Toc5334989356.2 基于字符及單詞的識別 PAGEREF _Toc533498935 h 19HYPERLINK l _Toc5334989366.2.1 基于字符的識別 PAGEREF _Toc533498936 h 19HYPER

4、LINK l _Toc5334989376.2.2 基于單詞的識別 PAGEREF _Toc533498937 h 20HYPERLINK l _Toc5334989386.3 現(xiàn)存算法的問題 PAGEREF _Toc533498938 h 21HYPERLINK l _Toc5334989396.3.1 大多文字識別方法依賴于人工定義的特征 PAGEREF _Toc533498939 h 21HYPERLINK l _Toc5334989406.3.2 脫離上下文的字符識別易造成顯著的歧義 PAGEREF _Toc533498940 h 21HYPERLINK l _Toc533498941

5、6.3.3 簡單的單詞整體識別有著較大的局限性 PAGEREF _Toc533498941 h 22HYPERLINK l _Toc5334989426.3.4 訓(xùn)練樣本制作繁瑣 PAGEREF _Toc533498942 h 22HYPERLINK l _Toc5334989437 參考文獻(xiàn) PAGEREF _Toc533498943 h 23-. z.1 課程設(shè)計目的圖像文字提取又分為動態(tài)圖像文字提取和靜態(tài)圖像文字提取兩種，其中，靜態(tài)圖像文字提取是動態(tài)圖像文字提取的根底，其應(yīng)用圍更為廣泛，對它的研究具有根底性，所以本文主要討論靜態(tài)圖像的文字提取技術(shù)。靜態(tài)圖像中的文字可分成兩大類：一種是圖像

6、中場景本身包含的文字， 稱為場景文字； 另一種是圖像后期制作中參加的文字，稱為人工文字，如右圖所示。場景文字由于其出現(xiàn)的位置、小、顏色和形態(tài)的隨機(jī)性，一般難于檢測和提取；而人工文字則字體較規(guī)、大小有一定的限度且易識別，顏色為單色，相對與前者更易被檢測和提取，又因其對圖像容起到說明總結(jié)的作用，故適合用來做圖像的索引和檢索關(guān)鍵字。對圖像中場景文字的研究難度大，目前這方面的研究成果與文獻(xiàn)也不是很豐富，本文主要討論圖像中人工文字提取技術(shù)。靜態(tài)圖像中文字的特點(diǎn)靜態(tài)圖像中文字本文特指人工文字，下同具有以下主要特征：1文字位于前端，且不會被遮擋；2文字一般是單色的；3文字大小在一幅圖片中固定，并且寬度和高度

7、大體一樣，從滿足人眼視覺感受的角度來說，圖像中文字的尺寸既不會過大也不會過小；4文字的分布比擬集中，排列一般為水平方向或垂直方向；6多行文字之間，以及單行各個字之間存在不同于文字區(qū)域的空隙。在靜態(tài)圖片文字的檢測與提取過程中，一般情況下都是依據(jù)上述特征進(jìn)展處理的。數(shù)字圖象處理靜態(tài)圖像文字提取一般分為以下步驟：文字區(qū)域檢測與定位、文字分割與文字提取、文字后處理。其流程如下圖。圖1 靜態(tài)文字處理流程圖2 課程設(shè)計要求在高速開展的計算機(jī)軟硬件技術(shù)的支撐下，多媒體技術(shù)的開展非常迅速，計算機(jī)技術(shù)從傳統(tǒng)的辦公和計算逐漸向人工智能和數(shù)字娛樂開展。在人工智能技術(shù)中，對環(huán)境信息的拾取處理和響應(yīng)顯得尤為重要，其中文

8、本信息占環(huán)境信息很大一局部，為了使人工智能系統(tǒng)更為完善，則需要系統(tǒng)能夠像人眼一樣對周圍環(huán)境信息進(jìn)展理解，尤其是環(huán)境信息中的文本信息。實(shí)驗(yàn)說明，人類日常生活中，50%以上的信息量來源于眼睛捕捉的周圍環(huán)境的圖像，人眼可以快速捕捉到圖像中感興趣的信息，而對于計算機(jī)來說，一幅圖像僅僅是雜亂的數(shù)據(jù)，如何讓計算機(jī)想人眼一樣快速讀取圖像中的信息并進(jìn)展分類及檢索等相應(yīng)處理，一直是多年來計算機(jī)視覺和模式識別研究者們探索的問題，如果能很好解決這些問題，能給工業(yè)生產(chǎn)及國防科技帶來巨大的改良。文字是信息存儲和傳遞的重要載體，在很多由攝像設(shè)備拍攝的圖片中，都存在或多或少的文字，比方路牌、店名、車站牌、商品簡介等，識別圖

9、片中的文字對計算機(jī)理解圖像的整體容有非常重大的作用。如何將圖片中的文字信息抽象出來形成具有完整語義的信息，再將其表達(dá)出來用于信息傳遞，從而輔助人類的生產(chǎn)和生活是研究計算機(jī)視覺的學(xué)者們多年來一直致力于解決的問題。研究如何對自然場景圖片中的字符進(jìn)展識別，提取出有用信息，在獲取圖片文本信息的各個領(lǐng)域都有極大的商業(yè)價值。場景文字識別在日常生活也有著重要的地位，例如車牌的識別，盲人對周邊環(huán)境信息的獲取、圖書館管理的數(shù)字化和髙效化，以及網(wǎng)絡(luò)中對指定的容的圖像和視頻的檢索等。自然場景文本識別，就是將提取出來的自然場景圖片中的進(jìn)展識別，提取出信息用于進(jìn)一步的處理。在對場景文字識別的研究中，獲取自然場景圖片時候

10、，由于背景物體、光線、陰影、拍攝角度引起的圖片背景千變?nèi)f化，攝像器材的精度、拍攝人員的技術(shù)等軟硬件的不同為拍攝同樣的自然場景圖片也帶來了相當(dāng)大的差異，被拍攝的圖片中包含的文字大小、顏色、書寫風(fēng)格的各不一樣等因素都為自然場景文字識別的實(shí)現(xiàn)增加的相當(dāng)?shù)碾y度。需要對自然場景圖片中的識別首先需要對圖片中的文本進(jìn)展定位，然后再對己經(jīng)準(zhǔn)確定位的圖片進(jìn)展識別。文本定位技術(shù)作為整個自然場景文本信息獲取系統(tǒng)中的根底技術(shù)，已經(jīng)得到較好開展，一樣地，文本識別技術(shù)在近年來也得到了比擬好的開展，但是由于文本的復(fù)雜性和隨機(jī)性，較文本定位技術(shù)來說，文本識別技術(shù)開展較為緩慢。3相關(guān)知識1. 在Matlab中調(diào)用i1=imre

11、ad8.jpg，可得到原始圖像，如下圖：圖2文字識別算法調(diào)制器模型 2. 調(diào)用i2=rgb2grayi1，則得到了灰度圖像，如下圖：圖3 灰度圖像調(diào)用a=sizei1;b=sizei2;可得到：a=3，b=2 即三維圖像變成了二維灰度圖像3. 調(diào)用i3=i2=thresh;其中thresh為門限，介于圖4所示之間圖4 thresh門限值圖5 取得二值得到二值圖像，如下圖：圖6 二值圖像4. 把二值圖像放大觀察，可看到離散的黑點(diǎn) 對其采用腐蝕膨脹處理，得到處理后的圖像，如下圖圖7 腐蝕膨脹處理后的二值圖像可見，腐蝕膨脹處理后的圖像質(zhì)量有了很大的改觀。橫向、縱向分別的腐蝕膨脹運(yùn)算比橫向、縱向同時的

12、腐蝕膨脹運(yùn)算好上很多。5、對腐蝕膨脹后的圖像進(jìn)展Y方向上的區(qū)域選定，限定區(qū)域后的圖像如下圖： 掃描方法：中間往兩邊掃。6、對腐蝕膨脹后的圖像進(jìn)展*方向上的區(qū)域選定，限定區(qū)域后的圖像如圖11所示： 掃描方法：兩邊往中間掃，縱向掃描后的圖像與原圖像的對照。7. 調(diào)用i8=ii*Y=1，使背景為黑色0，字符為白色1，便于后期處理。8. 調(diào)用自定義函數(shù)字符獲取函數(shù)i9=getchari8。9、調(diào)用自定義的字符獲取函數(shù)對圖像進(jìn)展字符切割，并把切割的字符裝入一維陣列。 10.調(diào)用以下代碼，可將陣列word中的字符顯示出來。for j=1:um %um為統(tǒng)計的字符個數(shù)subplot5，8，j，imshoww

13、ordj，titleint2strj; %顯示字符 end11. 調(diào)用以下代碼，將字符規(guī)格化，便于識別： for j=1:um wordj=imresizewordj，40 40; %字符規(guī)格化成4040end 12. 調(diào)用以下代碼創(chuàng)立字符集：code=char由于作者水平有限書中難免存在缺點(diǎn)和疏漏之處懇請讀批評指正，。;將創(chuàng)立的字符集保存在一個文件夾里面，以供匹配時候調(diào)用。13. 字符匹配采用模板匹配算法：將現(xiàn)有字符逐個與模板字符相減，認(rèn)為相減誤差最小的現(xiàn)有字符與該模板字符匹配。圖8 字符匹配也就是說，字符A與模板字符T1更相似，我們可以認(rèn)為字符集中的字符T2就是字符A。經(jīng)模板匹配。 14、

14、調(diào)用以下代碼，將字符放入newt*t.t*t文本：new=newt*t，.t*t; c=fopennew，a+; fprintfc，%sn，Code1:um; fclosec; 4 課程設(shè)計分析1、算法具有局限性。對于左右構(gòu)造的字符如：川容易造成誤識別，川字將會被識別成三局部。當(dāng)圖片中文字有一定傾斜角度時，這將造成識別困難。2、模板匹配效率低。對于處理大小為m&TImes;m的字符，假設(shè)有n個模板字符，則識別一個字符至少需要m&TImes;mn2次運(yùn)算，由于漢字有近萬個，這將使得運(yùn)算量十分巨大！此次字符識 別一共花了2.838秒。3、伸縮圍比擬小。對于受污染的圖片，轉(zhuǎn)換成二值圖像將使字符與污染

15、源混合在一起。對于具體的圖片，需反復(fù)選擇適宜的thresh進(jìn)展二值化處理，甚至在處理之前必須進(jìn)展各種濾波。5 系統(tǒng)實(shí)現(xiàn)文字識別算法仿真代碼如下：function Stroke= StrDetect01(LeftD,Y1,Y2,ST,PT)% ST為構(gòu)造閾值，為了指定高度和寬度構(gòu)造變化的不同SL=0;SR=0;SV=0;Count=0;%PT=5; % 突變的閾值Str=T; % T表示構(gòu)造未定，Str用于保存當(dāng)前的根本構(gòu)造Stroke=T; % 用于保存根本構(gòu)造Range=Y2-Y1+1; % 字符的寬度或者高度for j=Y1:Y2 Count=Count+1; if (abs(LeftD(

16、j)PT) if (LeftD(j)0) SR=SR+1; else SV=SV+1; end end else % 檢測到突變的決策 if (Count=fi*(Range/4)+1) % 設(shè)定字符輪廓可能發(fā)生的突變圍 if (SL=3)&(SR=3) Str=C; else if (SV=2*(SL+SR)&(ma*(SL,SR)3)|(min(SL,SR)SR)&(SL=0.5*SV)&(SR(SR+SV) Str=L; else if (SRSL)&(SR=0.5*SV)&(SL(SR+SV) Str=R; else if (ma*(SL,SR)=3)&(min(SL,SR)=2) S

17、tr=C; end end end end end Stroke=Stroke Str; end if (j=2+Y1)&(j=fi*(Range/4)+1) % 發(fā)生突變后，剩余局部可能無法形成字符構(gòu)造if (SL=ST)&(SR=ST) Str=C;else if (SV=2*(SL+SR)&(ma*(SL,SR)3)|(min(SL,SR)SR)&(SL=0.5*SV)&(SR=(SR+SV) Str=L; else if (SRSL)&(SR=0.5*SV)&(SL=(SR+SV) Str=R; else if (ma*(SL,SR)=3)&(min(SL,SR)=2) Str=C;

18、end end end end endStroke=Stroke Str; function Numeral=Recognition(StrokeTop,StrokeLeft,StrokeRight,StrokeBottom,p)% 采用四邊的輪廓構(gòu)造特征和筆劃統(tǒng)計僅針對 0 和 8識別殘缺數(shù)字% p 是用于識別 0和8 的底部補(bǔ)充信息StrT=T;StrL=T;StrR=T;StrB=T;RStr=T; % 用于保存識別出的數(shù)字temp *T=size(StrokeTop);temp *L=size(StrokeLeft);temp *R=size(StrokeRight);%temp *B

19、=size(StrokeBottom);for Ti=2:*T if (StrokeTop(Ti)=C) if (*L=2)&(*R=2) if (p=3)|(StrokeBottom(2)=C)&(StrokeLeft(2)=C)&(StrokeRight(2)=C) RStr=8; else RStr=0; end else if (StrokeLeft(*L)=L)&(StrokeLeft(*L-1)=P)&(StrokeLeft(2)=C) RStr=2; else if (StrokeLeft(2)=C)&(*L=3)&(StrokeLeft(3)=P) RStr=9; else i

20、f (*L2) for Li=2:*L if (StrokeLeft(Li)=P) RStr=3; end end else if (*L=2) for Ri=2:*R-1 if (StrokeRight(Ri)=P) RStr=6; end end end end end end end else if (StrokeTop(Ti)=V) % Top if (*R=2)&(StrokeRight(2)=C) % 數(shù)字 3 右端只有一個構(gòu)造 RStr=3; else if (*R=2)&(StrokeLeft(2)=P)|(StrokeLeft(3)=P)|(StrokeLeft(*L)=V)

21、 RStr=7; else if (*R2) for Ri=2:*R if (StrokeRight(Ri)=P) RStr=5; end end end endI0=imread(8.jpg);% 必須為二值圖像I=im2bw(I0,0.4);y0 *0=size(I);Range=sum(I);Hy=0;for j=1:y0 if (Range(j)=1) Hy=Hy+1; endendRange*=sum(I);W*=0;for i=1:*0 if (Range*(i)=1) W*=W*+1; endendAmp=24/Hy; % 將文字圖像歸一化到24像素點(diǎn)的高度。I=imresize

22、(I,Amp);y *=size(I);%I=bwmorph(I,skel,Inf);%I=I;tic%= 根本構(gòu)造 =% 第一類：豎V；左斜L；右斜R；突變P% 第二類：左半圓弧C；右半圓弧Q% 的三類：構(gòu)造待定T；%=%Left=zeros(1,y); % 左端輪廓檢測for j=1:y i=1; while (i=*)&(I(j,i)=1) i=i+1; end if (i=*) Left(j)=i; end endfor j=1:y-1 LeftD(j)=Left(j+1)-Left(j);end%= 構(gòu)造特征提取 =%j=1;while (Left(j)1)&(jy) j=j+1;

23、end Y1=j;j=y;while (Left(j)1) j=j-1;end Y2=j-1; % 去掉急劇變化的兩端%= 右邊 =%Right=zeros(1,y); % 左端輪廓檢測for j=1:y i=*; while (i=1)&(I(j,i)=1) i=i-1; end if (i=1) Right(j)=i; end endfor j=1:y-1 RightD(j)=Right(j+1)-Right(j);end%=%Top=zeros(1,*); % 頂端輪廓檢測for i=1:* j=1; while (j=y)&(I(j,i)=1) j=j+1; end if (j=y)

24、Top(i)=j; end endfor i=1:*-1 TopD(i)=Top(i+1)-Top(i);end%=%i=1;while (Top(i)1)&(i*) i=i+1; end *1=i;i=*;while (Top(i)1) i=i-1;end *2=i-1; % 去掉急劇變化的兩端%=%Bottom=zeros(1,*); % 底部輪廓檢測for i=1:* j=y; while (j=1)&(I(j,i)=1) j=j-1; end if (j=1) Bottom(i)=j; end endfor i=1:*-1 BottomD(i)=Bottom(i+1)-Bottom(i

25、);end%= 數(shù)字 1 的寬度特征 =%Width=zeros(1,y);for j=1:y Width(j)=Right(j)-Left(j);end W=m6系統(tǒng)測試與分析6.1 文字識別算法仿真結(jié)果識別原圖如圖9a所示，仿真結(jié)果如圖9b所示。圖9a識別原圖圖9b仿真結(jié)果6.2 基于字符及單詞的識別6.2.1基于字符的識別Strokelets: A Learned Multi-scale Representation for Scene Te*t RecognitionCVPR 2014通過聚類圖像塊來學(xué)習(xí)中層筆畫特征，然后使用霍夫HOG投票算法檢測字符。在筆畫特征和HOG特征的根底上，

26、使用隨機(jī)森林分類器來進(jìn)展字符分類。End-to-end scene te*t recognition2011借鑒計算機(jī)視覺通用的目標(biāo)檢測方法，提出了一個新的文本識別系統(tǒng)。他們利用字符置信度以及字符之間的空間約束關(guān)系，給出最可能的檢測和識別結(jié)果。但是該算法只能用于水平方向排列的文本的檢測識別。End-to-End Te*t Recognition with Hybrid HMM Ma*out Models2013和PhotoOCR: Reading Te*t in Uncontrolled Conditions2013等人通過無監(jiān)視的二分類技術(shù)或有監(jiān)視的分類器，將單詞圖像分割為潛在的字符區(qū)域。E

27、nd-to-End Te*t Recognition with Hybrid HMM Ma*out Models2013使用一種復(fù)雜的，包含分割、矯正以及字符識別的N網(wǎng)絡(luò)，結(jié)合使用固定詞典的隱馬爾科夫模型HMM，生成最終的識別結(jié)果。PhotoOCR系統(tǒng)使用基于HOG特征的神經(jīng)網(wǎng)絡(luò)分類器，對分割得到的候選結(jié)果進(jìn)展打分，使用結(jié)合N元語言模型N-gram的Beam搜索算法，得到候選字符集合。最后，再進(jìn)一步使用語言模型和形狀模型對候選字符組合進(jìn)展重新排序。Deep Features for Te*t Spotting2014結(jié)合了文本一非文本分類器、字符分類器、二元語言模型分類器，對整圖進(jìn)展稠密的基于

28、滑動窗口的掃描。最后結(jié)合固定詞典，對圖片中的單詞進(jìn)展分析。基于字符的識別技術(shù)依賴于使用字符分類器對圖像進(jìn)展逐字符識別，最終將識別得到的字符進(jìn)展集成，得到圖像中的整個單詞。基于單詞的識別Scene Te*t Recognition using Higher Order Language Priors以及Large-Le*icon Attribute-Consistent Te*t Recognition in Natural Images的工作依舊依賴于顯式的字符分類器，但是通過構(gòu)建一個圖構(gòu)造來推導(dǎo)整個單詞。這會遇到和基于字符識別方法類似的困難。Whole is Greater than Sum

29、 of Parts: Recognizing Scene Te*t Words2013使用整文字圖片來識別單詞:他們使用基于梯度的特征圖與預(yù)先制作好的單詞圖像進(jìn)展比照，利用動態(tài)k近鄰來判斷當(dāng)前圖片所包含的單詞。該方法依賴于一個固定詞典以及預(yù)先生成的單詞圖片。Label embedding for te*t recognition2013使用集成的Fisher向量以及構(gòu)造化的支持向量機(jī)框架來建立圖片和整個單詞編碼的關(guān)系。Word Spotting and Recognition with Embedded Attributes2014進(jìn)一步探索了單詞編碼的概念，他們?yōu)閳D片和單詞字符串創(chuàng)立了一個編

30、碼空間。這其實(shí)是Supervised mid-level features for word image representation2014方法的擴(kuò)展:顯式利用字符級別的訓(xùn)練數(shù)據(jù)來學(xué)習(xí)中間特征。Multi-digit Number Recognition from Street View Imagery using Deep Convolutional Neural Networks2013等人使用深度N對整圖片進(jìn)展編碼，并使用多個位置敏感的字符級分類器來進(jìn)展文字識別。他們在街景門牌號識別任務(wù)中取得了極大的成功。他們還將該模型應(yīng)用到長達(dá)8位的驗(yàn)證碼識別任務(wù)上，并使用了合成的訓(xùn)練數(shù)據(jù)對模型進(jìn)展

31、訓(xùn)練。該方法在goggle街景門牌號識別任務(wù)中獲得了96%以上的識別率。同時還在對goggle驗(yàn)證碼識別任務(wù)中獲得了99%以上的識別率。Synthetic Data and Artificial Neural Networks for Natural Scene Te*t Recognition2014和Reading Te*t in the Wild with Convolutional Neural Networks2014對上述模型做了細(xì)微變動:取消了預(yù)測字符長度的分類器，并引入了完畢符表示文字結(jié)尾。他們隨后證明了，使用合成的訓(xùn)練數(shù)據(jù)訓(xùn)練出的模型，能夠成功應(yīng)用到現(xiàn)實(shí)世界的識別問題中。將單

32、詞編碼為向量是一種可行的詞典單詞識別方法，但是在無約束情況下，字符之間可以任意組合。當(dāng)字符數(shù)量足夠多時，基于固定長度向量編碼的方法性能會顯著下降。但是依然存在一些缺乏:一些研究將深度學(xué)習(xí)技術(shù)用于單個字符的識別步驟中，但整體框架依舊遵循傳統(tǒng)處理流程設(shè)計，因此在其它步驟中依舊會遇到緒論所述問題。Good fellow等人的研究使用純神經(jīng)網(wǎng)絡(luò)直接完成整個識別流程，取得了業(yè)界領(lǐng)先的成績。但是由于他們需要使用固定大小的圖像作為輸入，并且將輸入圖像編碼為固定長度的特征向量，在圖片中字符較多的情況下，模型的識別精度會顯著下降。另一方面，由于他們的模型沒有對圖片進(jìn)展顯式地字符定位和分割，因此無法得知每個字符在原圖中