中國科學技術大學軟件學院工程實踐開題報告工程題目：指導老師：李春杰小組成員：彭海維王站立中國科學技術大學軟件學院填表日期：年月日一、工程摘要：根據調查數據顯示，疲勞駕駛，超速駕駛，危險駕駛均是交通事故發生的重要原因。而且隨著機動車輛的增多，物流行業的開展。這些問題成了危害人民生命財產平安的社會問題。所以，研制能夠檢測這些危險行為的系統。并且，給司機以提醒，防患于未然，具有重要的意義。本工程在學習了國內外相關研究的根底上。分析學習各種檢測危險行為的方法，實現了一種主要基于機器視覺的危險行為檢測系統。主要工作如下：利用圖像處理技術，檢測判斷司機是否處于疲勞狀態。譬如困倦、專注力下降。如果是，那么及時給司機以提醒。利用圖像處理技術，檢測判斷司機是否有譬如打、東張西望等等的危險行為。如果有，及時給司機提醒。利用GPS傳感器獲得車速，如果超速，提醒司機減速行駛。記錄司機的連續駕車時間，超出科學時間后給司機以提醒。根據時間長短，綜合整體疲勞狀態，加大提醒的力度。所有這些功能必須能夠在安卓智能上實現。到達一定的精確性與實用性要求。主題詞：圖像處理危險駕駛安卓設備選題依據當前社會，隨著經濟和科技的不斷開展，人們的生活方式發生了巨大的改變。僅僅在出行工具的選擇上，相對于數千年前的步行、騎馬、帆船、馬車，現代人的選擇變成了汽車、火車、輪船甚至飛機，不僅速度更加快捷，舒適程度上也不可同日而語。在這些交通工具中，汽車的使用又最為廣泛。近五十年來，世界政治局勢趨于穩定，大規模沖突減少，經濟、科技開展迅速，人類的生活水平得到進一步提升。改革開放三十年以來的中國，也發生了翻天覆地的變化。從建國初期長春第一汽車制造廠生產出第一輛中國自己的解放汽車，到如今包括公交車、長短途大巴、貨車、消防車救護車警車等特種汽車在內的各種汽車已經成為人們生活必不可少的一局部。尤其是近十年來，私家車的迅速普及，讓汽車走進了普通百姓的家中，成為一種重要的代步工具。然而，汽車在帶來便利的同時，也帶來了環境污染、交通擁堵、平安事故等等多種問題，其中又以平安事故頻發最為嚴重。相關數據說明，中國每5分鐘有一人因車禍死亡,每一分鐘有一人因車禍傷殘,每天死亡280多人,每年死亡10萬多人。2023年，全國共發生道路交通事故265204起，造成73484人死亡、304919人受傷，直接財產損失億元。2023年全國共發生道路交通事故萬起，造成67759人死亡、275125人受傷，直接財產損失億元。2023年，全國共接報道路交通事故3906164起。其中，涉及人員傷亡的道路交通事故219521起，造成65225人死亡、254075人受傷，直接財產損失億。自1899年發生第一起有記錄車禍以來，全球車禍累計死亡3000萬人，交通事故造成的損失相當沉重。〔數據來自網絡〕中國2023年因疲勞駕駛導致的道路交通事故共2568起,其中死亡1353人,受傷3129人,造成的直接財產損失約5738萬元。疲勞駕駛的事故率高,后果嚴重。由于很多交通事故的起因復雜，疲勞駕駛可能導致的超速、違規等出現，也可能間接引發嚴重的交通事故。目前對疲勞駕駛仍然沒有一個具體的認定標準，因此，實際上因為駕駛人員疲勞駕駛導致的交通事故比例可能要比統計數據高出很多。疲勞是一種主觀不適感覺，但客觀上會在同等條件下，失去其完成原來所從事的正常活動或工作能力。疲勞作為人們連續學習或工作以后效率下降的一種現象,可以分生理疲勞與心理疲勞。生理疲勞是疲勞在生理上的反響,心理疲勞是疲勞在心理上的反響。駕駛疲勞是腦力、體力同時參與的技術性疲勞。由于駕駛人動作反復、連續,且重復的次數太多,使其生理、心理上發生某種變化,出現駕駛機能低落的現象,主要表現為注意力分散,打瞌睡,視野變窄,信息漏看,反響判斷遲鈍,駕駛操作失誤或完全喪失駕駛能力,以至發生碰撞、沖出路面等交通事故。在全球范圍內,疲勞駕駛也已成為導致交通平安事故的重要原因之一。根據美國國家公路交通平安管理局的統計，在美國的公路上，每年由于駕駛人在駕駛過程中進入睡眠狀態而導致大約10萬起交通事故，其中約有1500起直接導致死亡，萬起導致人身傷害。在歐洲的情況也大致相同。據德國保險公司協會估計，在德國境內的高速公路上，大約25%的導致人員傷亡的交通事故都是因為疲勞駕駛而引發。法國國家警察總署事故統計報告說明，因疲勞瞌睡而產生的事故，占人身傷害事故的14.9%，占死亡事故的20.6%。日本的事故統計揭示,因疲勞駕駛產生的事故約占1.0%~1.5%。這些數據都說明，疲勞駕駛嚴重影響行車平安,是造成交通事故的重大隱患。〔數據來自《交通運輸工程學報》2023年4月《疲勞駕駛與交通事故關系》，李都厚等〕以上事實說明，危險檢測已經越來越成為一種現實需求。借助科技手段，開發出一種通過檢測駕駛人員的疲勞狀況，可以及時提醒駕駛人員注意平安或者及時休息的設備，以減少事故的發生率，保障駕駛平安，是一種迫切的現實需求。同時，這也是我們作為工程人員可以做出的奉獻。綜上所述，危險駕駛檢測工程，具有較強的實際意義，值得進行深入的研究與實踐。我們希望可以開發出一種車載嵌入式產品，該產品應當能夠智能的判斷出駕駛人員當前的駕駛狀態。如果駕駛人員疲勞，那么主要〔但不限于〕通過聲音等方式對駕駛人員進行提醒報警，敦促其集中注意力或盡快進行休息。通過該種產品實現對平安駕駛的保障，降低交通事故發生率，減少人民生命財產的損失。2.國內外技術應用現狀和開展趨勢從上世紀九十年代開始，我國已開始了疲勞駕駛的相關研究，期間所取得的主要研究成果如下：〔1〕1998年，深圳長途汽車公司的周鵬，運用人體生理學，現代神經學，電子工程學分析了駕駛員疲勞事故隱患的起因，突破了預防異常疲勞與神經麻痹難題，提出消除疲勞事故隱患必須消除司機開車時的異常疲勞和大腦麻痹，在國內外首創了“佩帶式疲勞事故預防器〞技術，并成功獲得技術專利。根據這一思想他研究了佩戴在小腿部的稱為駕駛員疲勞防止器，該系統能疏導人體經絡，可以消除項、背、腰、釋部、下肢以及后側的各種不適與疼痛。佩戴在手腕部的稱為駕駛員清醒器，該系統在駕駛員手腕部的駕駛員清醒器輸出的仿生電場，促進了人體上身及頭部的血液與體液循環，改善了駕駛員大腦的供載量，保障了感受器神經沖動的電脈沖傳入中樞神經后的傳出特性。該方法佩戴將改變駕駛員的開車習慣等，實現較為復雜。〔2〕車輛方向盤的操作狀況雖然與駕駛員的駕駛習慣有一定聯系，但是研究說明還與駕駛員的身體狀態直接關聯，當駕駛員處于疲勞狀態時，其方向盤操作的頻率也會明顯降低，如果通過在一定時間內該情況持續出現那么可以判定駕駛員大腦處于遲鈍的狀態，即駕駛員已出現疲勞狀態。根據這一關聯特性，上海交通大學的石堅等人于2000年通過采集和分析汽車方向盤與腳踏板操作信息來判定駕駛員的疲勞狀態，從而實現了預防疲勞駕駛目的。態，即駕駛員已出現疲勞狀態。根據這一關聯特性，上海交通大學的石堅等人于2000年通過采集和分析汽車方向盤與腳踏板操作信息來判定駕駛員的疲勞狀態，從而實現了預防疲勞駕駛目的。該方法主要判斷方向盤操作狀況來判斷疲勞。〔3〕來自吉林大學的王榮本等人提出通過采集駕駛員臉部信息來進行疲勞狀態判定的方法，該方法的核心思想是結合駕駛員的嘴部現狀變化和眼睛的睜閉頻率兩種信息來檢測駕駛員的疲勞狀態，除此以外，該系統融合了平安車距的檢測，從而提升了該檢測系統的準確性和全面性，一定程度上促進了疲勞駕駛檢測的研究。該方法主要判斷嘴部和眼睛閉合程度來判斷疲勞。〔4〕首都師范大學信息工程學院的韓相軍、關永等人提出了一種采用累積差分幀和Hough變換等實時圖像處理技術進行檢測和跟蹤眼睛的方法，這種方法通過分析眼睛的狀態和提取眼睛的特征參數，在一定時間內連續統計眼睛閉合時間，從而計算出PERCLOS值，判斷駕駛員的疲勞狀態。他們通過將這種眼睛檢測和跟蹤算法在專用的DSP上進行實驗，設計和開發了一種用于監測疲勞駕駛的嵌入式系統。該方法主要跟蹤和分析眼睛的狀態。〔5〕2006年，同濟大學道路與交通工程教育部重點試驗室杜志剛等人研究使用日本NAC公司生產的EMRSR型眼動儀，成功研發由MR主機、控制器、攝像機以及數據分析軟件等組成的疲勞檢測系統，該系統可實現通過記錄瞳孔直徑變化進行疲勞駕駛檢測。〔6〕2023年，浙江大學計算機科學與技術學院的吳群等人以人體在不同疲勞程度下心電信號數據和PERCLOS值作為檢測疲勞駕駛的綜合考量因素，實現疲勞駕駛檢測。〔7〕2023年，華南理工大學電子與信息學院的程旭東在Viola人臉檢測的特征分類器根底上，提出了一種新的特征分類器訓練方法，對搜集的睜眼圖像反芻樣本集進行增量迭代訓練，得到性能優秀的睜眼圖像檢測分類器，其睜眼圖像檢測準確率高達94.5%，作者將該算法應用在列車駕駛員輔助系統以檢測駕駛員狀態，預防疲勞駕駛。同樣來自華南理工的黃河那么采用基于EHMM的眼狀態檢測算法，在可重構平臺SoPC上加以實現，完成疲勞駕駛中的人眼狀態檢測。以上所列舉的事例展示了疲勞駕駛檢測在國內主要研究狀況，而國外早期的駕駛疲勞測評主要從醫學角度出發，借助醫療器械進行。最早的研究甚至可以追溯20世紀30年代，而疲勞駕駛真正進入實質性的研究側是從20世紀80年代由美國國會批準交通部實施的駕駛效勞時間〔HOS〕改革、研究商業機動車駕駛時間與交通平安的關系、健全卡車和公共汽車平安管理條例開始的。1993年，美國汽車聯合會(AAA)開始研究疲勞駕駛與交通平安之間的關系，但研究目的仍停留在利用交通事故的經驗對司機進行教育，研究的實施過程是讓司機作關于自身駕駛習慣和駕駛時間的評測。由于引發疲勞因素的多樣性以及個體體質存在差異，主觀的調查方法很難成為評測駕駛疲勞的科學標準。直到90年代中期，歐洲、日本、美國等國家陸續投入研究疲勞駕駛實時監測系統，并取得一系列進展，接下來將列舉其中幾個有代表性的方法：〔1〕1999年4月美國聯邦公路管理局發表了一篇名為“用于警示駕駛員的視覺測量方法〞的學術性文章，首次提出利用PERCLOS方法檢測駕駛員疲勞駕駛狀態，該方法得到美國華盛頓大學以及國際上其他知名大學教授的認可，PERCLOS方法也作為預測駕駛員疲勞狀態的有效方法得以快速推廣。日本先鋒公司于2004年開發出防止司機開車打瞌睡的系統，該系統可通過檢測駕駛員心跳速度的變化來監視司機是否打瞌睡，并可以在睡意來臨的15分鐘以前提醒司機注意，從而預防事故的發生。由于實驗證明人因疲勞打瞌睡時，心跳速度會下降，所以該系統的核心技術之一是利用貼在方向盤上的心跳感應器周期性檢測駕駛員的心跳速度，除此以外，該系統還集成用來檢測汽車速度的變化和方向盤操作頻率的設備，并利用車載導航設備監控汽車是否蛇行，經過綜合分析汽車和駕駛員的表現實現有效預防疲勞駕駛。〔3〕卡內基梅隆大學機器人研究所針對疲勞駕駛開發了Copilot系統，該系統同樣采用PERCLOS方法檢測疲勞。系統采用紅外照明，利用眼睛因對紅外光反射而在圖像中形成光點的特征，以及視網膜對不同波長紅外光的反射率不同的特點，分別用兩個CCD攝像機采集波長為850nm和900nm紅外光照明的圖像，對所獲得兩幅圖像作差，從而得到眼睛的位置，在此根底上進一步分析眼球的大小，從而得到駕駛員的眼睛睜開程度，再利用PERCLOS方法對疲勞進行判定，值得一提的是該方法因采用紅外光源，所以可消除眼鏡的影響，適用范圍更廣。〔4〕ELLison研究實驗室研制的DAS2000(TheDAS2000RoadAlertSystem)型路面警告系統是一種設置在公路上用計算機控制的紅外線監測裝置，它通過監測車輛的行駛方向是否正常來判斷駕駛員是否疲勞駕駛。當車輛偏離道路中線太遠、將要沖出路面時，該裝置會向駕駛員發出警告。〔5〕瑞典沃爾沃汽車公司最近推出的“駕駛員警示系統〞通過實時監測車輛的行駛過程，記錄并分析司機的駕駛行為，判斷車輛是否處于有效控制狀態，從而能夠主動地預防平安事故的發生。一旦系統發現車輛處于失效控制狀態時，就及時地予以警示。選題的先進性和實用性疲勞駕駛檢測技術的研究對平安駕駛有著極其重要的作用，綜上所述，其對道路交通平安提供保障，具有重要的社會意義。人們越來越重視汽車平安問題，解決平安問題已成為汽車企業引以為傲的競爭力。雖然近年來出現了各種針對疲勞檢測的方法和技術，但是各種技術均存在著明顯缺乏，需要在實用性、準確性、低本錢等等方面得到完善。選題順應時代進步潮流，會為該領域的的開展做出一份努力。這一系統只要能實現，能提供工程要求的疲勞檢測功能其實用性也不言而喻。技術難度和工作量汽車車平安駕駛疲勞檢測技術屬于當前熱門且前沿的技術，出現了很多疲勞檢測的方法，但是實現可靠的檢測仍存在的技術難度，主要有如下：〔1〕疲勞狀態的認定沒有十分精確的標準，可能每個人的疲勞特征會有些許的差異，會對疲勞的檢測造成一定的影響。〔2〕我們主要采用非接觸性的圖像識別技術來進行疲勞檢測，圖像識別算法本身就具有一定的難度，加之復雜的應用環境需要更深入的分析和最終的編程實現。〔3〕本次課題任務只有6個月左右的時間，結合多種模塊實現精確的疲勞檢測存在很大的工作量，這也將是難度挑戰。綜和上文中的國內外研究成果，可以將上述所有方法粗略的分為三類：1.對于人體醫學信號進行檢測，例如腦電，心跳等、雖然此類系統能保證一定的準確性，但是通常造價昂貴，一般是接觸性的檢測，不一定符合駕駛員的開車習慣，容易給駕駛員工作帶來影響。2.檢測總體行車環境，例如車子的行車方向是否正常，但是該方法具體實現的準確率和快速性往往比擬差。檢測駕駛員的面部特征，尤其是眼睛的閉合程度來判斷是否疲勞是應用最為廣泛的方法。隨著計算機視覺技術以及圖像處理技術越來越多地應用于現實生活，以機器視覺為根底的疲勞檢測系統憑借較低的研發、制造本錢和強大的圖像處理技術，得到了更多研究者的青睞，加上它是一種非接觸式系統，對駕駛員工作沒有不良影響，更容易被消費者接受。分析完已有研究成果，根據工程要求。我們小組決定主要采用檢測駕駛員面部特征的方法實現危險駕駛檢測。雖然危險駕駛檢測的研究工作已經取得一定的成果，但是由于圖像識別的復雜性及各種復雜因素的干擾，使得開發出具有很好精確性、實用性、方便性、低本錢特性的系統仍是一個值得繼續研究的課題。我們會綜合司機的頭部行為、車速、連續駕駛時間等，分析司機是否處于危險駕駛狀態。危險駕駛檢測系統的運行平臺是智能。因此很容易獲取，無需花費資金采購設備。同時對軟件推廣也帶來了便利。其中的前置攝像頭，GPS均很容易調用來實現檢測系統的功能。OpenCV函數庫應經提供了很多成熟的圖像處理函數，我們只需研究函數功能，通過合理的調用，靈活使用根本能夠實現工程的功能要求。6.主要參考文獻[1]周鵬.疲勞事故隱患消除技術與方法.汽車電器,1998(4):16-17[2]石堅,卓斌.汽車駕駛員主動平安性因素的辨識與分析.上海交通大學學報,2000，34(4):440-445[3]王榮本,郭克友．一種基于Gabor小波的駕駛員眼部狀態識別方法的研究[J].中國圖像圖形學報,2003,8A(9):1043-1047[4]杜志剛,蔣宏,潘曉東.眼動儀在道路交通平安與環境評價中的應用[A].第三屆全國公路科技創新高層論壇論文集[C].北京:人民交通出版社,2006.4:893~899[5]吳群.基于心電信號的駕駛疲勞檢測方法研究[D].浙江:浙江大學,2023[6]程東旭.駕駛環境中人眼睜閉狀態跟蹤[D].中國廣州:華南理工大學,2023[7]黃河.駕駛員眼狀態識別系統的SOC設計研究[D].中國廣州:華南理工大學,2023[8]FletcherA,DawsonD.Field-basedValidationofAWork-relatedFatigueModelBasedOnHoursofWork[J].TransportationResearch,2001,4(1):75-88[9]SherryP.Jobstressandfatigueinrailroaddispatchers[J].UnpublishedReport,1998:68-73[10]TaubJM,TanguayPE,ClarksonD.Effectsofdaytimenapsonperformanceandmoodinacollegestudentpopulation[J].JournalofAbnormalPsychology,1985:210-217[17]JohnStern,DuanePerrin,WaltWierwille,MelissaMallis.OcularMeasuresofDriverAlertness[J].ScienceDailyMagazine,1999,(8)：25-36[11]何德功.日本創造通過心速變化提醒司機不打瞌睡的新系統[J]．駕駛園世界博覽欄目，2004，l0(8)：46-47[12]EllenMAyoob.Copilot[EB/OL]．：//ri/projects/project-435.html,2003[13]LHartley.TheDAS2000RoadAlertSystemHighTechSolutiontoDriverFatigue.://,2006[14]劉靈，鄧小燕，徐穎.汽車駕駛員監測方法與裝置的研究現狀[J].醫療衛生裝備，2006，27(12):28-31課題內容與具體方案課題根本內容開發一套實時，可靠的汽車平安駕駛疲勞檢測系統，該系統用于非接觸性的對駕駛人員進行監控，在駕駛人員出現疲勞病癥的時候，能及時做出相應的處理，如輕微疲勞時，通過語音提醒駕駛人員注意休息，如到了深度疲勞駕駛的時候，那么自動采取應急操作，來減少平安事故發生的可能性。最終開發出一套能在安卓上運行的軟件系統，以安卓為硬件平臺實現工程要求的功能。系統需求分析經過初步的需求分析，得到系統的主要要求：=1\*GB3①利用圖像處理技術，檢測判斷司機是否處于疲勞狀態。譬如困倦、專注力下降。如果是，那么及時給司機以提醒。=2\*GB3②利用圖像處理技術，檢測判斷司機是否有譬如打、東張西望等等的危險行為。如果有，及時給司機提醒。=3\*GB3③利用GPS傳感器獲得車速，如果超速，提醒司機減速行駛。=4\*GB3④記錄司機的連續駕車時間，超出科學時間后給司機以提醒。根據時間長短，綜合整體疲勞狀態，加大提醒的力度。=5\*GB3⑤所有這些功能必須能夠在安卓智能上實現。到達一定的準確性、實時性、穩定性、實用性要求。數據流圖：硬件及軟件平臺方案=1\*GB3①硬件平臺：使用容易獲取的安卓智能，需要用到前置攝像頭、GPS傳感器模塊。=2\*GB3②軟件平臺：基于Linux的Android操作系統。軟件開發工具：eclipse集成開發環境，需要安裝OpenCV庫。開發語言：Java/C++軟件設計方案整個工程采用自頂向下以及模塊化的設計方法。〔1)搭建硬件平臺安卓智能〔2)搭建軟件開發環境eclipse集成開發環境〔3)調用攝像頭(4)圖像采集模塊(5)人臉識別模塊該模塊的功能就是要在各種復雜的情況下，如光線強弱問題、駕駛員偏頭動作等，準確的識別出人臉范圍，為下一步的眼睛定位打下根底。(6)眼睛狀態識別模塊眼睛狀態主要分為睜開和閉合兩種狀態，這里通過對相關文獻的分析，采用P80標準，即眼瞼遮住瞳孔面積超過80%就計為眼睛閉合。該模塊要實現的功能就是在精確定位眼睛位置的前提下，準確的識別出眼睛處于何種狀態。(7)獲取正常駕駛狀態模塊我們可以認為司機駕車的前幾分鐘是處在精神高度集中，平安駕駛的狀態的。對這段時間司機的眼睛閉合程度的記錄，可以作為以后判斷司機是否處于疲勞狀態的參考值。因為不同的司機眼睛大小、身材都不同。因此攝像頭獲取的信息也會不同，使用同一標準做出判斷肯定是不合理的。(8)綜合分析判斷模塊對疲勞與危險行為做出判斷。對疲勞的檢測：綜合駕車時間，主要采用PERCLOS判別方法，這是比擬公認且有效的疲勞判別方法,計算公式如下。根據PERCLOS