BP神經網絡及深度學習研究[8]是機器學習研究中的一個新的領域，其動機在于建立、模擬人腦進行分析學習的神經網絡，是神經網絡的發展。深度學習通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發現數據的分布式特征表示。深度學習是關于自動學習要建模的數據的潛在（隱含）分布的多層（復雜）表達的算法。換句話來說，深度學習算法自動的提取分類需要的低層次或者高層次特征。高層次特征，一是指該特征可以分級（層次）地依賴其他特征，例如：對于機器視覺，深度學習算法從原始圖像去學習得到它的一個低層次表達，例如邊緣檢測器，小波濾波器等，然后在這些低層次表達的基礎上再建立表達，例如這些低層次表達的線性或者非線性組合，然后重復這個過程，最后得到一個高層次的表達。DeepLearning訓練過程具體如下：使用自下上升非監督學習采用無標定數據（有標定數據也可）分層訓練各層參數，這一步可以看作是一個無監督訓練過程，是和傳統神經網絡區別最大的部分（這個過程可以看作是featurelearning過程）：具體的，先用無標定數據訓練第一層，訓練時先學習第一層的參數（這一層可以看作是得到一個使得輸出和輸入差別最小的三層神經網絡的隱層），由于模型capacity的限制以及稀疏性約束，使得得到的模型能夠學習到數據本身的結構，從而得到比輸入更具有表示能力的特征；在學習得到第n-1層后，將n-1層的輸出作為第n層的輸入，訓練第n層，由此分別得到各層的參數；自頂向下的監督學習基于第一步得到的各層參數進一步fine-tune整個多層模型的參數，這一步是一個有監督訓練過程；第一步類似神經網絡的隨機初始化初值過程，由于DL的第一步不是隨機初始化，而是通過學習輸入數據的結構得到的，因而這個初值更接近全局最優，從而能夠取得更好的效果；所以DeepLearning效果好很大程度上歸功于第一步的featurelearning過程Deeplearning存在待解決的問題：對于一個特定的框架，對于多少維的輸入它可以表現得較優（如果是圖像，可能是上百萬維）？對捕捉短時或者長時間的時間依賴，哪種架構才是有效的？如何對于一個給定的深度學習架構，融合多種感知的信息？有什么正確的機理可以去增強一個給定的深度學習架構，以改進其魯棒性和對扭曲和數據丟失的不變性？模型方面是否有其他更為有效且有理論依據的深度模型學習算法？總結本文主要介紹神經網絡的起源，神經元模型與神經網絡模型，根據神經網絡結構的不同進行分類，將神經網絡分為前饋神經網絡(FeedForwardNNs，FFNNs)，有反饋網絡為遞歸神經網絡和(RecurrentNNs，RNNs)。隨后重點研究BP神經網絡，包括BP神經網絡的原理、BP算法分析及改進。最后研究神經網絡的一種發展應用即深度學習的研究，包括深度學習的過程，優勢，缺陷，未來的研究方向。參考文獻D.R.Baughman,Y.A.Liu.Neuralnetworksinbioprocessingandchemicalengineering.Academicpress,2014.A.J.Maren,C.T.Harston,R.M.Pap.Handbookofneuralcomputingapplications[M].AcademicPress,2014.A.Karpathy,G.Toderici,S.Shetty,etal.Large-scalevideoclassificationwithconvolutionalneuralnetworks//ComputerVisionandPatternRecognition(CVPR),2014IEEEConferenceon.IEEE,2014:1725-1732.D.E.Rumelhart,G.E.HintonandR.J.Williams·LearningrepresentationsByback-Propagationerrors.Nature.1986.Vol.323.533-536.D.B.Parker.Learning=logic:Castingthecortexofthehumanbraininsilicon.TechnicalReportTr-47,CenterforComputationalResearchinEconomicsandManagementScience.MIT,Cambridge,MA·1985Y.LeCun.Uneprocedured'apprentissagepourreseauaseuilassymetrique.Cognitiva.1985,vol.85.599-604.H.T.Su,N.Bhat,P.A.Minderman,etal.Integratingneuralnetworkswithfirstprinciplesmodelsfordynamicmodeling[C]//DynamicsandControlofChemicalReactors,DistillationColumnsandBatchProcesses(DYCORD+'92):SelectedPapersfromthe3rdIFACSymposium,Maryland,USA,26-29April