摘要：?提出了一種基于機(jī)器視覺和深度學(xué)習(xí)的智能路牌識(shí)別系統(tǒng)。采用嵌入式的ARM9作為前端采集系統(tǒng)，在服務(wù)器上采用圖像處理算法先對(duì)前端采集的路牌圖像進(jìn)行文字區(qū)域的提取和分割，然后用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)對(duì)分割的文字進(jìn)行識(shí)別，最后將識(shí)別信息以語音的形式反饋給使用者。使用前端硬件在高速公路上采集路牌圖像并在服務(wù)器的CAFFE框架上進(jìn)行測(cè)試，結(jié)果表明該系統(tǒng)能實(shí)時(shí)準(zhǔn)確地將路牌信息以語音的方式播報(bào)給使用者。

0 引言

隨著社會(huì)的快速發(fā)展，現(xiàn)今的生活中，汽車已經(jīng)成為主要的交通工具，路牌也成為一種重要的導(dǎo)航工具。無論是高速公路還是國(guó)道、省道，到處都樹立著路牌。然而，由于路牌常常被豎立在路的兩邊，當(dāng)司機(jī)需要了解路旁路牌的信息時(shí)，注意力很容易被分散，當(dāng)駕駛者對(duì)自己所在道路不熟悉的時(shí)候，前方路況和各種標(biāo)志的路牌會(huì)讓駕駛者的心里壓力變大，駕駛者由于減速觀看路牌很容易發(fā)生交通堵塞和交通事故，使得交通狀況變得更加惡劣。對(duì)此，國(guó)內(nèi)外一些研究學(xué)者對(duì)路牌的識(shí)別進(jìn)行了研究[1]，但效果不是很理想，將路牌識(shí)別系統(tǒng)實(shí)現(xiàn)的更是少之又少。智能路牌識(shí)別系統(tǒng)能有效地提取路牌信息，幫助駕駛者理解路牌的信息，對(duì)于安全駕駛有著極其重要意義，對(duì)將來智能駕駛戰(zhàn)略也將做出突出的貢獻(xiàn)。

1 智能路牌識(shí)別控制系統(tǒng)的總體設(shè)計(jì)

本系統(tǒng)由基于嵌入式技術(shù)的前端采集、通信傳輸系統(tǒng)和遠(yuǎn)程云服務(wù)器識(shí)別系統(tǒng)組成。前端采集傳輸采用基于三星Cortex-A9架構(gòu)的核心板，配備一千萬像素?cái)z像頭、語音播報(bào)模塊和4G通信模塊構(gòu)建智能路牌識(shí)別系統(tǒng)的硬件平臺(tái)。攝像頭采集含有路牌的圖像，由主控芯片對(duì)圖像進(jìn)行壓縮，壓縮后的圖像在4G模塊下通過SOCKET程序傳送到云服務(wù)器上。采用云平臺(tái)服務(wù)器作為智能路牌識(shí)別器的數(shù)據(jù)處理中心，在服務(wù)器上通過深度學(xué)習(xí)算法訓(xùn)練文字識(shí)別網(wǎng)絡(luò)，將分割后的圖像在訓(xùn)練好的網(wǎng)絡(luò)上進(jìn)行識(shí)別，然后將得到的結(jié)果傳輸?shù)角岸?，通過語音模塊播報(bào)給使用者。智能路牌識(shí)別器的總體設(shè)計(jì)如圖1所示。

2 智能路牌識(shí)別控制系統(tǒng)的硬件設(shè)計(jì)

2.1 主控單元模塊

該模塊采用ARM9核心的處理器作為中央控制單元模塊，用它實(shí)現(xiàn)對(duì)前端采集系統(tǒng)各個(gè)單元模塊所采集的數(shù)據(jù)信息進(jìn)行匯總分析和處理，對(duì)各個(gè)功能模塊發(fā)出控制指令，協(xié)調(diào)整個(gè)系統(tǒng)穩(wěn)定運(yùn)行。中央控制單元完成圖像采集，根據(jù)預(yù)先板載的壓縮算法程序完成圖像壓縮，通?？蛇_(dá)到6：1的壓縮率，并發(fā)給云服務(wù)器，減小了傳輸時(shí)間，保證了信息傳輸?shù)膶?shí)時(shí)性。中央控制單元同時(shí)接收來自云服務(wù)器發(fā)送的識(shí)別結(jié)果，不銹鋼宣傳欄，并將結(jié)果通過語音模塊反饋給使用者。

2.2 前端采集模塊

前端采集采用的是一千萬像素的CMOS高清攝像頭，它能夠清晰地拍攝前方場(chǎng)景信息，用于智能路牌識(shí)別系統(tǒng)對(duì)路牌信息的采集。得到的高清圖片存儲(chǔ)在中央控制單元，并由中央控制單元對(duì)其進(jìn)行處理。

2.3 無線通信模塊

無線通信模塊由外圍電路和4G通信芯片構(gòu)成，使用SOCKET通信和4G通信技術(shù)，完成智能路牌識(shí)別系統(tǒng)和云端服務(wù)器的相互連接。在中央處理器模塊的控制下，前端采集壓縮的圖片在無線通信模塊的作用下發(fā)送給云端服務(wù)器，同時(shí)云端服務(wù)器將處理完成的信息通過無線傳輸模塊發(fā)送給中央控制單元，把結(jié)果實(shí)時(shí)反饋給使用者。

2.4 語音文字播報(bào)模塊

語音播報(bào)模塊主要作用是將云端服務(wù)器處理的路牌文字信息以語音播報(bào)的形式展現(xiàn)給駕駛者，使得駕駛者不用因環(huán)顧四周的路牌文字而分心。該模塊主要采用SYN6288中文語音合成芯片實(shí)現(xiàn)對(duì)語音文字的播報(bào)，把云端服務(wù)器發(fā)送的文本文字轉(zhuǎn)化為音頻信息。SYN6288語音芯片采用UART和SPI兩種通信方式，實(shí)現(xiàn)文本智能分析處理、多音字處理功能。該模塊的電路如圖2所示。

3 智能路牌識(shí)別控制系統(tǒng)的軟件設(shè)計(jì)

本系統(tǒng)軟件的設(shè)計(jì)由兩部分組成。一部分是前端ARM9加載Linux系統(tǒng)的設(shè)計(jì)，完成前端信息的采集壓縮、云端服務(wù)器通信和語音播報(bào)的功能。前端采集程序流程圖如圖3所示。

另一部分是在云端服務(wù)器上實(shí)現(xiàn)對(duì)采集圖像的預(yù)處理、檢測(cè)、分割和分類識(shí)別功能。云端服務(wù)器首先對(duì)前端發(fā)送的圖像解壓縮、預(yù)處理，利用支持向量機(jī)（SVM）算法檢測(cè)是否含有路牌。檢測(cè)到路牌之后對(duì)路牌區(qū)域進(jìn)行提取，對(duì)提取后的路牌進(jìn)行圖像處理，然后利用投影法對(duì)文字進(jìn)行分割，最后進(jìn)行文字識(shí)別。其中文字識(shí)別部分采用的是目前流行的深度學(xué)習(xí)框架——C++AFFE框架，主要采用C++/CUDA高級(jí)語言來實(shí)現(xiàn)對(duì)深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練和文字的識(shí)別。云端服務(wù)器程序流程圖如圖4所示。

4 基于卷積神經(jīng)網(wǎng)絡(luò)的文字識(shí)別算法