1、項目可行性及經費預算報告（國際科技合作版）一、項目可行性報告（一）項目合作背景及合作的必要性。腦機接口不依賴于常規的脊髓 /外周神經肌肉系統，在腦與外部設備之間建立一種新型 的信息交流與控制通道，實現了腦與外界的直接交互。腦機接口的研究對腦與認知、智能 信息處理、仿腦工程和人工智能等有重要的科學意義，有利于推動新型信息感知、復雜數 據處理、模式識別、認知計算和人機交互等技術的研究與發展，在挖掘人類認知潛能、殘 障人康復、神經疾病治療，以及航天、國家安全等問題上都具有重要的社會意義和廣泛的 應用前景，因此引起了國際學術界的極大關注，成為信息科學與神經科學交叉研究領域的 前沿熱點問題。腦機接口主要

2、有非植入式和植入式兩大類1。其中，植入式腦機接口盡管有手術創傷風險，但該技術能直接獲取大腦皮層的神經集群信號，信息量大、時空分辨率高，對鋒電 位（Spike）信號的解碼率目前已達 6.5 bps,延遲短至0.1秒2,能夠實現對外部設備多自 由度的實時、精確控制。在這些研究新進展的激勵下，借助電子信息科學的微電極制造、 并行數據采集系統和神經信息處理等技術的推動，植入式腦機接口正在形成國際研究熱潮。自本世紀以來，Nature和Science等報道了一系列基于運動神經信號的植入式腦機接口的 重大成果，進一步促進了人們對運動神經系統的認識，相關成果建立了大量復雜信息處理、人機交互技術以及模式識別的新

3、方法，極大地推動了信息、認知等科學的發展。為了在新一輪的國際科技競爭中取得技術領先和主動，美國通過國家科學基金（NSF）、國立衛生研究院（NIH）和國防先進研究計劃署 （DARPA）向該領域投入大量人力和財力， 支持嚙齒類（大鼠）和非人靈長類動物（猴）的植入式腦機接口研究。在過去的十多年里， 該技術得到了快速發展并取得重大突破，初步實現了大腦信號對外部設備（如計算機、假 肢等）的直接控制。相關的研究成果和進展不斷被Nature和Science等國際頂級期刊所報道。當前該研究領域的工作國際化和全球合作趨勢愈發明顯，其中美國的“革命性假肢” 項目聯合了美國眾多的頂尖高校和歐洲的著名假肢廠商來合作研

4、究和進行開發。美國的“REPAIR”項目，歐洲的“ Neuro-IT”項目都是針對腦機接口技術的科學和技術問題，整 合多個國家和不同學科背景的科研團隊的資源優勢，以項目合作的方式來推動相關基礎研 究和開發應用的不斷深入。近年來，在國家科技部的支持下，國內的腦機接口研究取得顯著進展，在腦機接口技 術的某些方面實現了與國際水平相接軌，但在整體水平上我們和歐美等發達國家還存在著 一定的差距，為了實現我國在該領域的研究能實現快速的跨越式發展，有必要積極發揮和利用“走出去，引進來”的國際合作策略，與國際上該領域的頂尖實驗室建立起長期的合作關系 在前沿問題上同步展開研究，進而實現與國際水平的接軌 ，獲得國

5、際高水平的研究成果。針對腦機接口中神經信號特征和處理過程中面臨的挑戰，本課題擬利用已有的國際合 作研究平臺，在已建立的非人靈長類動物（猴）腦機接口實驗平臺上，與外方合作，發揮 各自學術特征，并重點解決以下兩個關鍵科學問題：（1）運動皮層神經集群信息的特性分析；（2）高通量、非線、動態和協同的神經解碼。兩者互為依托，準確、實時的信息分析 有助于了解神經信號的特性，而解碼方法的實現將利于解釋生物體神經信息的自然表征。 以上關鍵問題的解決不僅取決于多通道神經集群信息的約簡等高通量神經信息預處理的關 鍵技術，還取決于實時、動態的神經集群信息解析的關鍵技術，需要在神經集群信息處理、模式識別等技術上有所創

6、新和突破。綜上所述，如何實現運動型腦機接口中神經信號的分析和解碼是極具挑戰的科學前沿 問題，相關研究涉及的基礎理論和關鍵科學問題是目前國際上該領域內最新的研究熱點之 一，同時也是國家自然科學基金委擬重點支持的方向，在國家中長期科學和技術發展規 劃綱要（2006 2020） 在基礎研究的重要科學前沿問題和前沿技術中給予重點安排的研 究內容。本項目擬通過國際合作，借助和發揮各自的學術和技術優勢，通過對以上科學問 題和關鍵技術的研究，爭取在高通量神經信息的高效約簡，實時、協同的神經集群信息解 析上有所創新和突破，使我國腦機接口技術的研究躋身國際前列。（二）國內外研究現狀和發展趨勢。腦機接口的研究可以

7、追溯到上世紀90年代末，1999年Chapin等人用人工神經網絡算法將大鼠運動皮層神經集群電信號轉換為水泵控制指令，首次實現了大腦對外部設備的直 接控制3。該研究表明植入式腦機接口在腦神經信息加工處理機制探索、神經功能修復與 疾病治療等方面具有重大的科學研究和應用價值。近年來，各國政府紛紛投入大量人力和 財力，支持植入式腦機接口及相關的神經信息處理和植入式器件等方面的研究，以期在新 一輪的國際科技競爭中取得技術領先和主動。美國的一些大學和研究機構在國家科學基金（NSF）、國立衛生研究院（NIH）和國防先進研究計劃署（DARPA）的支持下，率先開展 了嚙齒類（大鼠）3和非人靈長類動物（猴）4的植

8、入式腦機接口研究，推動了該技術的 快速發展并取得重大突破，初步實現了運動皮層神經集群信號對外部設備（如計算機、假 肢等）的直接控制。相關的研究成果和進展不斷被Nature和Science等國際頂級期刊所報道2, 5, 6。2006年美國Cyberkinetics公司開發的BrainGateTM獲得了 FDA的認證，并先后 成功地在6名高位癱瘓的病人身上進行了臨床實驗。該系統可將從患者運動皮層神經元電 信號通過實時信號處理分析，轉換成控制外部設備的指令，患者幾乎無需訓練就可以用意 念移動屏幕上的光標或簡單地控制假肢6。由于腦機接口技術在臨床康復、心理認知和國家安全等領域所展示出的巨大應用前景，相

9、關研究在全球范圍內方興未艾。伴隨著材料科學和微電子技術的發展，高密度的微電極 陣列、高精度運算放大器以及高速采樣率的模數轉換器已經使得對大腦神經集群活動的高 通量信號采集成為可能，但如何從海量的數據中獲取準確而有效的信息，實現對神經信息 的精確解碼，從而更深層次地解析思維活動傳遞的信息，已成為目前植入式腦機接口研究 亟待解決的主要問題之一。神經科學研究表明，神經元電活動和神經集群構成的網絡是神經信息加工和處理的物 質基礎。為了準確地解析神經集群活動所蘊含的信息，需要在時間上對每個神經元的電活 動進行高速而準確的記錄，在空間上盡可能多地收集相關腦區神經集群的活動，因此信息 解析中需要處理的數據規

10、模非常龐大，且記錄到的海量數據中存在與解析目標無關的冗余 信息，會產生額外輸入維度，增加信息解析模型參數和信息處理模型的學習復雜度，影響 信息解析的實時性。此外，高計算量對于腦機接口硬件的低功耗和便攜式的實現帶來困難。因此，如何通過信息約簡方法解決神經信息規模大、冗余信息多的問題，是實時神經信息 解析的關鍵問題之一。目前針對神經信息約簡問題已經有一些具體的研究。Chapin等人用主成分分析將神經信息維度降低至僅剩一維，用于預測大鼠前肢壓機械桿的軌跡3 ; Wessberg等人用Neuron-Dropping Analysis方法進行約簡，某個特定神經元的取舍由解碼結果與解碼目標之 間的相關性來

11、決定7; Sanchez等人使用線性維納濾波器，通過連接權值的大小來定量判 斷神經元與解碼目標的相關性8。現有信息約簡方法在一定程度上解決了神經信息高通量性引起的實時性問題，但仍有部分問題有待解決。如主成分分析在約簡過程中沒有定量評 估神經元對于解析目標的重要性，只考慮輸入信息各維度之間的相關性而忽略了與解析目 標的相關性，可能會丟失有用的信息。因此雖然能夠建立兩者的映射模型，卻無法在神經 元層次選擇輸入。這種模型難以從生理角度進行解釋，不利于神經科學的研究及解析模型 的優化；Neuron-Dropping Analysis方法計算復雜度高，也缺乏對神經元重要程度的定量評 估；線性維納濾波器的

12、權值分析法依賴于解碼模型本身，無法獨立從神經元發放數據自身 衡量神經元的重要性。實現腦機交互最核心的技術就是神經集群解碼，其面臨的挑戰源于神經系統的復雜性，表現為以下三個方面：1)神經系統是一個非線性系統，傳統線性分析方法難以準確評定神經信號的動力學結構，也無法揭示大腦活動的本質特征。如何在建模中有效引入在神經科 學上關于神經元發放與運動之間已存在的證據和相關生物學上的結論，同樣也是一個挑戰；2)由于大腦具有可塑性等原因，神經信息具有時變性，神經電活動與解析目標的映射模式以及相關性均隨時間自適應的變遷，傳統的靜態信息處理方法難以保持長期的高精度解析；3)反映宏觀腦功能的神經信息在空域、頻域上都

13、有分布性，單個腦區、單個頻段的神經信號不能完整體現宏觀意義上的腦功能。空域上的協同性表現為不同腦區的神經元活動在腦 功能實現中的分工不同，同一腦區內也存在神經元活動相似的協同集群；頻域上的協同性 主要體現在，低頻的局部場電位信號包含較大范圍內的神經元電活動，但信息精度不足； 高頻的鋒電位發放序列則包含較高精度的神經元群體放電信息，但范圍較狹窄。因此，如 何有效解決神經系統的非線性、時變性和協同性等問題，建立高效的解碼模型，是神經信 息解析的另一個關鍵問題。目前神經集群信息解碼的研究主要包括以下幾個方面：Georgopoulos等人于上世紀 80年代發現運動皮層神經元發放具有明顯的方向選擇偏 好

14、9, 10,基于該研究結果 Taylor等人提出了群矢量及其改進算法，并成功用于猴子開環 控制假臂實驗11。但群矢量方法受限于偏好方向均一性及線性解析模式假設。Wessberg等人提出了基于維納濾波的神經信息解析算法，突破了群矢量對神經元發放偏好方向的均 一性假設6, 7, 12-14。此外，Fisher線性判別、最大似然性估計和投票方法等線性、單輸 出、靜態算法也相繼用于運動控制，但以上線性解碼方法難以實現信息的精確解碼。進一步的研究發現非線性方法具有更合理的生理基礎，更符合神經信息處理的特性。近年來，有人嘗試用非線性方法進行神經解碼，Kim等人提出用不同的線性模型組合成非線性模型進行解碼1

15、5, Sanchez等、Wang等人分別使用遞歸神經網絡( Recurrent Neural Network )和時滯神經網絡(Time-Delay Neural Network )來引入非線性進行建模 16,17。 此類方法直接使用非線性函數逼近的概念，而無法引入在神經科學中關于神經元發放與運 動之間已存在的證據和相關的生物學結論，給解碼結果的分析帶來困難。此外，這些方法 對解碼模型的調整過程具有較高的時間復雜度，無法有效地實現模型的動態更新，難以對 動態變化的神經信息進行長期穩定的解碼。針對神經系統的時變性，近年來一些學者開始將狀態觀測法（State ObservationApproach

16、 ）等基于概率的方法用于神經信息解析。Wu等人使用基于概率的卡爾曼濾波器進行解碼18-20,卡爾曼濾波器在行為解析中認為行為參數不僅與當前神經元電活動信息 有關，并且為運動參數建立了動態模型。但卡爾曼濾波器仍然受限于線性映射假設及高斯 分布的后驗概率。Li等人提出基于 Unscented卡爾曼濾波器的方法21,將卡爾曼的線性 假設擴展到2階多項式逼近，對非線性的近似能力有限。Brockwell、Shoham和Srinivasan等人先后提出基于后驗概率的信息解碼算法22,在觀測模型上引入的神經電活動與解析目標的映射模式假設為指數模型，該方法有待數據的進一步檢驗。總體上說，與上文提及的非線性、時

17、變性和協同性要求相比，現有方法還存在很大差 距。1）線性解碼方法與神經系統的非線性相悖，非線性的指數模型與數據吻合有限，導致神經解碼的精確性不足；2）靜態假設與時變性不符，神經解碼的精度不能保持長期平穩，現有動態解碼方法的解析效果也不理想；3）現有的解碼主要針對單一腦區的鋒電位發放，忽略了反映宏觀腦功能的神經信息在空域和頻域上的協同性，單個腦區、單個頻段的神經 信號不能完整體現宏觀意義上的腦功能。故此，探索新的基于生理意義的信息解析模型和 高效率的解碼算法是當前迫切需要解決的問題。構建面向腦機相互適應的腦機接口技術是最近幾年腦機接口研究的又一個熱點問題。 互適應的好處利用無監督或半監督學習的在

18、線學習算法結合大腦的學習能力的方法，達到 提高腦機接口性能的目的。傳統的腦機接口解碼算法都是基于監督學習的放法，這使得腦 機接口系統的性能極度依賴于輸出數據，而且在實際應用中，輸出部分在很多情況下無法 獲取，比如一個截肢的病人無法提供斷肢運動的數據。因此，近年來已研究者嘗試互適應 的研究策略。Taylor等人在恒河猴的三維光標控制中使用互適應算法，通過迭代更新每個 神經元活動與光標運動角度的映射追蹤神經元發放在學習過程中的變化23。Gage等人設計了更系統化的互適應腦機接口范式24。DiGiovanna等人則提出一種基于強化學習的腦機接口互適應范式25。在該系統中，有兩個智能系統，即機器和大腦

19、。大腦可利用內在 的強化學習機制來調節相關神經元，而機器則需要編入相應的強化學習算法，比如值函數 估計網絡算法。Mahmoudi等人在此基礎上進一步提出了共生腦機接口（S-BMI）的概念，直接從大鼠腦部獲取獎賞信息，作為算法的反饋26。他們認為應該利用模仿生物系統中的感知-行動-獎賞周期來構建更具適應能力的腦機接口。在 S-BMI中，大腦和外部設備要相 互適應以共同完成目標。在該系統中機器動作正確性的評估是大腦對獎賞的期望，可以從 紋狀體（striatum）的NAcc中提取。這些技術的發展使得腦機接口越來越趨于腦機之間的整 合以及雙向的交互。但總體來說，互適應腦機接口的研究還處于探索階段，相比

20、腦機接口 中其它技術，出現的時間較晚，因此，還有很多方面需要擴展，比如對大腦的獎賞方式綜上所述，雙向-閉環侵入式腦機接口研究是當前神經信息工程這一交叉領域中極具挑 戰的科學前沿，值得深入研究。因此，本項目擬通過對運動型腦機接口中皮層神經元集群 信號分析和解碼的研究，力爭在相關的基礎理論與關鍵技術上有所創新和突破，使我國腦 機接口技術的研究躋身國際前列。/、 y 、 f f-參考文獻Tonet O., Marinelli M., Citi L., Rossini P. M., Rossini L., Megali G., and Dario P., Defining brain-machine

21、interface applications by matching interface performance with device requirements. Journal of Neuroscience Methods, 2008. 167 (1): p. 91-104.Santhanam G., Ryu S. I., Yu B. M., Afshar A., and Shenoy K. V., A high-performance brain-computer interface. Nature, 2006. 442(7099): p. 195-198.Chapin J. K.,

22、Moxon K. A., Markowitz R. S., and Nicolelis M. A., Real-time control of a robot arm using simultaneously recorded neurons in the motor cortex. Nature Neuroscience, 1999. 2(7): p. 664-670.Carmena J. M., Lebedev M. A., Crist R. E., ODoherty J. E., Santucci D. M., Dimitrov D. F., PatilP. G., Henriquez

23、C. S., and Nicolelis M. A. L., Learning to control a brain-machine interface for reaching and grasping by primates. Plos Biology, 2003. 1(2): p. 193-208.Velliste M., Perel S., Spalding M. C., Whitford A. S., and Schwartz A. B., Cortical control of a prosthetic arm for self-feeding. Nature, 2008. 453

24、(7198): p. 1098-1101.Hochberg L. R., Serruya M. D., Friehs G. M., Mukand J. A., Saleh M., Caplan A. H., Branner A., Chen D., Penn R. D., and Donoghue J. P., Neuronal ensemble control of prosthetic devices by a human with tetraplegia. Nature, 2006. 442(7099): p. 164-171.Wessberg J., Stambaugh C. R.,

25、Kralik J. D., Beck P. D., Laubach M., Chapin J. K., Kim J., BiggsJ., Srinivasan M. A., and Nicolelis M. A., Real-time prediction of hand trajectory by ensembles of cortical neurons in primates. Nature, 2000. 408(6810): p. 361-365.Sanchez J. C., Carmena J. M., Lebedev M. A., Nicolelis M. A. L., Harri

26、s J. G ., and Principe J. C., Ascertaining the importance of neurons to develop better brain-machine interfaces. IEEE Transactions on Biomedical Engineering, 2004. 51(6): p. 943-953.Georgopoulos A., Schwartz A., and Kettner R., Neuronal population coding of movement direction. Science, 1986. 233(477

27、1): p. 1416.Georgopoulos A., Kettner R., and Schwartz A., Primate motor cortex and free arm movements to visual targets in three-dimensional space. II. Coding of the direction of movement by a neuronal population. Journal of Neuroscience, 1988. 8(8): p. 2928.Taylor D. M., Tillery S. I. H., and Schwa

28、rtz A. B., Direct cortical control of 3D neuroprosthetic devices. Science, 2002. 296 (5574): p. 1829-1832.Gage G., Ludwig K., Otto K., Ionides E., and Kipke D., Naive coadaptive cortical control. Journal of Neural Engineering, 2005. 2: p. 52-63.Serruya M., Hatsopoulos N., Paninski L., Fellows M., an

29、d Donoghue J., Brain-machine interface: Instant neural control of a movement signal. Nature, 2002. 416(6877): p. 141-142.Hatsopoulos N., Joshi J., and OLeary J., Decoding continuous and discrete motor behaviors using motor and premotor cortical ensembles. Journal of Neurophysiology, 2004. 92(2): p.

30、1165.Kim S. P., Sanchez J. C., Erdogmus D., Rao Y . N., Wessberg J., Principe J. C., and Nicolelis M., Divide-and-conquer approach for brain machine interfaces: nonlinear mixture of competitive linear models. Neural Networks, 2003. 16(5-6): p. 865-871.Sanchez J. C., Erdogmus D., Nicolelis M. A., Wes

31、sberg J., and Principe J. C., Interpreting spatial and temporal neural activity through a recurrent neural network brain-machine interface. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2005.13(2): p. 213-219.Wang Y. W., Kim S. P., and Principe J. C., Comparison of TDNN trainin

32、g algorithms in brain machine interfaces. Proceedings of the International Joint Conference on Neural Networks (IJCNN), V ols 1-5, 2005: p. 2459-2462.Wu W., Gao Y., Bienenstock E., Donoghue J., and Black M., Bayesian population decoding of motor cortical activity using a Kalman filter. Neural Comput

33、ation, 2006. 18 (1): p. 80-118.Wu W., Black M., Mumford D., Gao Y., Bienenstock E., and Donoghue J., Modeling and decoding motor cortical activity using a switching Kalman filter. IEEE Transactions on Biomedical Engineering, 2004. 51 (6): p. 933-942.Wu W., Black M., Gao Y ., Bienenstock E., Serruya

34、M., Shaikhouni A., and Donoghue J., Neural decoding of cursor motion using a Kalman filter. Advances in Neural Information Processing Systems, 2003: p. 133-140.Li Z., ODoherty J., Hanson T., Lebedev M., Henriquez C., and Nicolelis M., Unscented Kalman Filter for Brain-Machine Interfaces. PloS One, 2

35、009. 4:p.1-18.Brockwell A., Rojas A., and Kass R., Recursive Bayesian decoding of motor cortical signals by particle filtering. Journal of neurophysiology, 2004. 91(4): p. 1899.D.M. Taylor, S.I.H. Tillery, and A.B. Schwartz,Direct cortical control of 3D neuroprostheticdevices, Science, vol. 296, (no

36、. 5574), pp. 1829-1832, Jun 7 2002.G.J. Gage, K.J, Otto, K.A, Ludwig, and D.R. Kipke, -adaptive KaIhCOji filtering in a naive rat cortical control task, Conf PrOc IEEE Eng Med Biol Soc , vol. 6, pp. 4367-70, 2004.J. DiGiovanna, B. Mahmoudi, J. Fortes, J.C. Principe, and J.C. Sanchez,“ Coadaptivebrai

37、n-machine interface via reinforcement learning, IEEE Trans Biomed Eng , vol. 56, (no. 1), pp. 54-64, Jan 2009.B. Mahmoudi and J.C. Sanchez, Symbiotic Brain -Machine Interface through Value-Based Decision Making,Pl os One, vol. 6, (no. 3), pp. -, Mar 14 2011.（三）項目主要研究開發內容、技術關鍵及主要創新點。主要研究內容本項目圍繞大腦運動皮層

38、神經集群信號分析”和 解碼”中的科學問題和關鍵技術，擬以非人靈長類（猴）動物為實驗對象，針對大腦皮層神經元集群在上肢運動過程中表現出 的復雜活動模式，重點在神經集群信息解析的高通量、非線性、時變性和協同性問題等方 面開展研究。根據神經元重要性度量模型和信息約簡策略，高效去除冗余信息，減少計算 規模；建立基于非線性和概率統計模型的神經解碼算法，提高信息解析的維度和精度；根 據神經元集群分布式編碼的特性，研究利用多腦區多類型的神經信號的聯合協同解碼模型， 提高神經解碼的精度和穩定性，探索基于腦機互適應的新方法，最終利用大腦神經集群信 號實現對外部設備的直接神經控制。具體研究內容包括1）研究高通量神

39、經信息約簡理論與方法高通量信息約簡是處理大規模、高冗余神經信息的有效手段，約簡能壓縮數據規模， 降低后續信息解析的時間空間復雜度。神經信息約簡的核心是神經元重要性度量標準的選 擇和約簡策略的確定。其中，神經元重要性的度量是信息約簡的基礎，有助于建立具有生 理意義的信息解析模型。本項目擬研究高通量神經信息約簡的理論與方法，主要內容包括：研究神經元電活動 與解析目標的互信息評價方法，構建基于條件嫡、最小描述長度、屬性依賴度的神經元重 要性度量方法，利用分層貪婪策略進行神經信息約簡；研究對多種度量標準進行集成的策 略，聯合評價神經元重要性，構建基于集成學習的神經信息約簡模型。2）研究神經信息的動態非

40、線性解碼模型和方法神經信息表達的動力學過程非常復雜，主要表現為神經信號的非線性和非穩性。為了 提高解析的精確性和穩定性，項目擬研究具有生理意義的非線性模型，分析和評價運動皮 層神經元在運動參數編碼過程中的非穩性，在引入動態非線性方法，建立高效神經信息解 碼模型。本項目擬研究動態、非線性的神經集群信息解碼，主要內容包括：研究運動皮層神經 信息解碼的非線性方法，包括模型的建立及其關鍵參數的獲取，引入已證實的關于神經元 發放偏好性的證據，生成符合神經生理特征的、泛化能力強的神經信息解碼模型；基于數 據的概率統計法，分析與神經元發放相關的不同運動學特征變量（位置、速度、加速度、 方向等），建立二者之間

41、的優化映射模型；研究離散鋒電位信號的直接處理算法，將鋒電位中豐富的時間信息融入以上討論的建模、解碼以及優化；研究不同神經元組群隨時間變化、以及空間的分布規律，在解碼過程中允許動態觀測模型；引入增量式建模方法，降低模型 更新的時間復雜度，構建動態的神經信息解碼模型；研究不同神經元對解析目標的時間調 制模式，構建基于精細時間調制的解碼模型。3）研究多腦區、多頻段神經信息協同解碼方法與結構和功能規整的感覺皮層相比，運動皮層區別呈現出一種松散式的分布式編碼， 多個腦區和不同類型的神經信號共同參與了主動運動中運動參數的編碼過程。為了提高信 息的完備性和提高以往基于單一腦區的鋒電位信號的解碼模型，需要研究

42、多個腦區于不同類型信號在運動編碼過程中的作用和相互間的關系，在此基礎上進一步研究聯合協同解碼 模型，綜合利用神經信號在時 -空-頻域上的協同性。本項目擬研究神經信息的聯合解碼方法，主要內容包括：研究實驗動物不同腦區神經元之間信息通訊與協同編碼過程，如：初級運動皮層手部區M1、背側運動前區 PMD、后頂葉皮層PPC、腹側前運動區前部 F5等，構建基于多腦區的空域神經信息融合解碼模型； 研究高頻段鋒電位信號與低頻段局部場電位協同編碼過程，建立基于鋒電位和局部場電位 的頻域神經信息融合解碼模型，并評價聯合解碼方法在精度和穩定性上的表現。4)探索基于學習的腦機互適應性解碼模型生物大腦在細胞、核團和整體

43、等多個水平上，均表現出功能和結構的可塑性。而腦機 接口的實際應用中，使用者往往無法提供運動參數，而需要直接神經控制來學習使用腦機 接口系統，而互適應和共生系統為腦機接口提供了一種新的學習范式。本項目擬探索機器對大腦信號的自適應功能，包括建立雙向腦機接口中的強化學習算 法模型，并研究如何優化強化學習中的算法參數。建立互適應系統和實驗范式，根據互適 應系統的訓練效果評價不同策略的優劣。研究不同獎賞策略的效果，尤其是比較刺激大腦 獎賞相關區域與提供外部獎賞的區別；研究直接提取大腦獎賞評估區域信號，以及如何將 其轉化為機器的動作評估信號；以及研究先驗知識機器學習中的作用。擬解決的關鍵技術(1)基于神經

44、元重要性的神經信息約簡。在神經信息傳遞中，各個神經元活動攜帶的 信息對于信息編碼的重要程度不同。擬通過評估不同神經元在信息傳遞中的重要性，針對 性地對神經集群信息進行約簡，可減少后續的計算代價，進一步提高信息解析的實時性(2)非線性、動態神經解碼。神經集群解碼旨在準確地獲取大腦所傳遞的信息與指令， 是神經信息解析的關鍵。項目擬通過引入泛化能力強的、動態的解碼模型，建立符合生物 依據的神經電信號與運動解析目標的映射模型，增強模型的表達能力和魯棒性，提高解碼 的效果。(3)多腦區多信號源的聯合解碼。大腦神經信息傳遞綜合了多腦區各類神經信號在空域、頻域的協同作用，而現有神經解碼大多基于單一腦區的鋒電

45、位信號，限制了解碼的精 確性。因此，項目擬根據神經信息的協同性，建立空域、頻域協同解碼模型，綜合利用各 類神經信息，提高解碼模型的完備性和穩定性。(4)基于互適應的神經解碼。 為了解決實際應用中因缺少輸出信號，缺少實驗訓練集的問題，比如一個截肢的病人無法提供斷肢運動的數據。擬建立基于雙向腦機接口的的互 適應系統，將互適應研究擴展至二維運動以及靈長類動物，該技術符合腦一機接口條件下 大腦皮層可塑性機理、神經生物反饋機理，同時具有較強的應用背景。主要創新點本項目充分體現了信息科學和神經科學等多學科的交叉和綜合，通過在神經信號分析 和解碼的理論與方法上的創新，在腦機接口關鍵技術上有所突破。項目的創新

46、點具體表現 在：針對神經信號的高通量問題，提出了基于神經元重要性的約簡方法，有利于提高模型的生理可解釋性；利用集成策略對多種重要性評價標準進行綜合，減少了單一評價造成的信息損失，可用于實現高效的神經信息約簡。針對神經信號的時變性，提出用增量式方法建立動態神經解碼模型，通過對模型參數的動態調整，達到適應性的目標；針對神經信號的協同編碼特性，提出多腦區、多信號協同解碼的新思路，從時空-頻等多方面綜合生理上的神經信息整合機制，提高解碼信息的完備性， 局部場電位的引入還將進一步提高系統的穩定性。針對大腦可塑性的特性，提出了基于互適應的雙向學習腦機接口框架，通過結合 生物腦和機器腦的學習能力，解決實際應

47、用中輸出數據無法獲得的問題。（四）項目預期目標（主要技術經濟指標、社會效益、技術應用和產業化前景以及獲 取自主知識產權的情況）。通過本項目的開展，將在以下關鍵技術上取得突破性進展，產生若干具有自主知識產 權的核心方法和技術，相關技術和系統原型可在今后的腦機接口系統的實際應用中得到進 一步的實踐.建立神經元重要性的定量化評價的指標，在此基礎上提出基于神經信息約簡的新方法，通過可視化手段使神經信號以及解碼模型的可讀性加強，減少解碼運算量的同時增加 解碼模型的準確性，計算效率的優化將有助于提高腦機接口系統的便攜性，推進器產業化。.通過對神經信號非穩性的分析，將有助于建立具有先驗知識的動態更新模型，使

48、得神經解碼模型的可以動態跟蹤和適應神經元的變化。另一方面，基于增強學習的腦機互適 應方法的建立，將極大的提高腦機接口的實用性。以上關鍵技術的突破將極大的提高腦機 接口從實驗室的學術研究向產業化的方向進行轉化。.多腦區多種神經信號的聯合分析，有助于了解神經信號的相互關系，揭示不同腦區和信號之間的功能和結構聯系，為神經信號處理機制的解釋提供新的實驗數據，為神經性 運動疾病的產生和治療提供新的評價手段。同時，該技術的突破可能減少植入的創傷，提 高解碼的穩定性，進一步提升運動型腦機接口系統的整體性能。由于以上研究內容和工作目標也是當前國際上腦機接口的研究重點和熱點，通過本項 目將能進一步加強研究團隊與

49、國外合作研究伙伴的學術聯系，提高自身的學術影響力。作 為第六次科技革命的重要潛在承載體之一的腦機接口技術的發展，將有力利的推動相關信 息處理技術和健康醫療產業的發展。10（五）項目實施方案、技術路線、組織方式與課題分解。實施萬案神經集群信號的高效、協同解析研究方案的框架如圖1所示，各部分研究方案如下:不同腦區神經元不同頻段神經元信號高通量神經集群信息的高效、協同解析模塊初級運動皮層手部區（M1）背側運動前區（PMd）鋒電位后頂葉皮層（PPC）局部場電位腹側前運動區前部（F5）菲穩定神經元信息濾除模型高通量神經信息約簡模型基于點過程的解碼 模型腦，頻神信協解模 多區多段經息同碼圖1神經集群解析框

50、架圖（1）多通道神經信號獲取本項目擬非人靈長類動物（猴）為研究對象，應用腦立體定位技術和微電極埋植技術，將微電極陣列植入實驗動物的多個腦區，記錄實驗動物在執行特定上臂運動任務時的腦內 神經元鋒電位和局部場電位信號；通過多種運動實驗范式，訓練實驗動物完成特定的任務。針對猴的一維和二維的Center-Out任務和目標追蹤任務，利用微電極陣列（96-chMicroelectrodes Array , Blackrock , US）記錄實驗猴大腦中多個與運動及運動計劃相關的核 團（M1 , PMd , PPC）的神經電信號。同時利用運動捕獲設備記錄實驗猴前肢多個關節的 運動學參數（方向、速度、加速度和

51、位置等）。針對猴的“抓-握”任務，將微電極陣列分別植入實驗動物大腦中多個與運動及運動計 劃相關的核團（M1 , PMd, PPC, F5）。利用具有壓力傳感器的手柄和肢體運動捕獲系統, 同步記錄實驗動物在抓握不同形狀、大小和重量的抓握目標和特定的任務時相關的神經集 群活動和手的運動學參數（主要包括：手握的形狀，手指的屈伸狀態，握力的大小，手指 關節的彎曲度，拇指與食指間距等）（2）針對非穩定神經元發放信息濾除技術的研究神經元不穩定發放帶來的信息分量與執行的任務無關，是噪聲的一部分，自動濾除 非穩定神經信息分量是這部分研究要解決的問題。基本思路是建立一個基于稀疏表征的神 經信息重構模型，給定量化

52、后的神經元鋒電位信號X和神經元信號字典 D ,該模型擬求解以下優化問題： ?,? =argmin （| x - D a e |2 +臼| 刈 +- |e |i）e（1）其中U1表示l1 -norm , a表示稀疏表征系數，e表示非穩定神經信息分量。該模型包含兩部分，第一部分是神經信息的稀疏重構，對稀疏表征的理論和實踐研究表明，盡管信號本身維度通常很高，同類信號卻往往分布在低維的子空間或子流形中，如果構建的字典11可以較好地表達數據的這種分布，則稀疏表征可以自然地挖掘出信號的內在信息，實現精 確的重構。在神經信號解碼中，相似任務或動作對應的神經信號完全滿足低維子空間或子 流形分布的條件，因此，公

53、式 （1）表達的神經信息稀疏模型完全可以支持信號的準確重構； 另一方面，公式（1）將不穩定信息分量g的分解融合在優化目標中，由于非穩定信息分量通 常是稀疏的，優化目標函數要求最小化e的i范數完全符合問題的要求，從而可以有效地濾除不穩定分量。綜合上述兩點，神經信息的稀疏重構模型可以同時實現信號的準確表征 和噪聲的濾除。（3）針對高通量神經信息約簡的研究實驗中記錄的神經集群信號數據量大、時空關系復雜，信息處理的難度大。為了實現 實時、精確地神經信息解析，首先需要解決信息規模大，冗余度高的問題。擬采用神經信 息約簡的方法降低數據規模，去除冗余信息。該方法的思路是首先利用條件嫡等手段對神 經元重要性進

54、行度量，然后利用該重要性進行信息約簡，并建立約簡的神經集群解碼模型；同時研究多種重要性度量標準，利用集成學習的策略將多種標準進行集成，聯合評價神經 元重要性，構建基于集成學習的神經信息約簡模型。建立基于條件嫡的神經元重要性度量方法，主要思路是通過解碼目標的混亂程度衡量 神經元子集包含的解碼信息。當解碼目標為離散量時條件嫡容易計算。但在解碼連續目標 時，不能直接獲得條件嫡，擬根據解碼所需的精細程度，對連續的目標值進行等間隔離散 化，然后計算解碼目標關于某神經元子集的條件概率分布，利用該條件概率分布計算出條 件嫡，作為相應神經元子集的重要性度量。在約簡過程中，采用貪婪搜索的策略，在每一次循環中，計

55、算每個神經元的加入帶來 神經元子集重要性的增量，選取增量最大的神經元加入約簡集。當神經元子集的重要性不 再提高時，約簡過程結束，最終建立約簡的神經元子集。其中，當多個神經元重要性相等 時采用分層貪婪的搜索策略選取神經元。針對神經系統的復雜性，擬對多種重要性評價標準進行集成，利用條件嫡、屬性依賴度、最小描述長度及基尼系數進行聯合評價，集成策略有以下兩種：（1）對每一種評價標準，利用前述的貪婪策略分別進行信息約簡，獲得多個約簡的神經元子集，對每個約簡子 集分別建立神經解碼模型，然后利用投票和加權投票的方法，對多個模型的解碼結果進行 集成。（2）通過多種評價標準的加權和，建立復合的重要性評價標準。擬

56、采用窮舉搜索和 進化計算兩種方法對每種評價標準的權值進行優化。窮舉搜索用以應對評價標準的個數較 少的情況，首先確定權值的搜索粒度，然后對權值空間進行遍歷。進化計算用以處理評價 標準個數很多的情況，在進化計算中，適應度函數正比于所選權值下建立的解碼模型的精 度。權值確定后，基于所得的復合重要性評價標準，利用前述的貪婪策略進行神經信息約簡。（4）針神經信息編碼的非線性研究神經系統是典型的非線性系統，項目擬采用廣義回歸神經網絡、支持向量回歸機、等 非線性的方法進行建模。廣義回歸神經網絡應用于神經解碼時，對于模型參數的選取，擬 采用啟發式方法，對模型性能進行近似，以逼近最優的參數值。對于訓練樣本過多時

57、造成 的解析實時性問題，擬對訓練樣本進行聚類，從大量的訓練樣本中產生少量的代表性樣本，12 用作網絡的隱層神經元，從而降低解碼階段的計算消耗。對于支持向量回歸機，首先要解 決的問題是核函數的選擇以及回歸機參數的確定，擬采用類似于廣義回歸神經網絡的參數 選取方法，采用啟發式方法搜索不同核函數下的最優的參數設定。另一個要解決的問題是 根據解碼目標的重要程度對風險函數進行調整。擬采用線性加權的方法，給予重要程度高 的樣本在風險函數中更多的關注度。針對神經元信號的特殊性，為保留蘊含于記錄時間中的神經動力學特性，擬直接從記 錄的鋒電位信號對運動信號進行估計，并采用序列蒙特卡羅點過程估計（ Sequent

58、ial Monte Carlo Point Process Estimation ）進行解碼。首先對運動信號進行建模，使模型包含運動本身的動態性質；然后對運動學的不同特征變量（位移、速度、加速度或其組合）進行分析， 用線性投影方法降維，并與鋒電位信號相關聯，采用基于數據的概率統計法得到其非線性 特征，建立運動學參數與神經元鋒電位信號的優化非線性映射模型。在上述已建立的兩個 模型基礎上，對鋒電位信號（即點過程序列）直接進行解碼。由于運動模型與神經發放偏 好函數模型均可為非線性，運動狀態的后驗概率可以不受高斯分布的限制而呈任何分布， 因而能夠提高解碼的準確性。（5）針神經信息編碼時變性的研究神經信

59、息解碼的目的在于建立神經信息-行為之間的映射模型， 通常同一行為所對應的神經信號會隨時間變化而變化，利用機器學習算法在固定訓練集上學習得到的映射模型性 能會逐漸下降。針對神經系統的時變性，擬采用增量式和雙模型解碼方法進行處理為建立 具有穩定泛化能力的映射模型。增量式神經解碼主要考慮如何保留歷史經驗知識和降低模 型更新代價。擬利用廣義回歸神經網絡等方法建立動態的神經解碼模型。該方法不需要學 習過程，模型的動態更新可以通過訓練樣本的添加和替換來實現，該操作計算復雜度為線 性，并可以通過設計合適的添加和替換策略來保留以往的經驗。同時，擬對每個隱藏層神 經元根據時間先后進行加權，使得訓練樣本的重要性隨

60、時間逐漸衰退。雙模型解碼充分考 慮大腦的可塑性與自適應性，可對神經發放偏好模型（即概率解碼中的觀測模型）進行動 態更新。采用概率統計方法對不同時間段或運動任務的不同階段（如自我喂食任務中的肢 體伸出、抓和握）建立參數不同的神經發放偏好映射。構建時變參數模型，允許觀測模型 在解碼的同時動態更新。在解碼過程中對神經發放偏好映射和運動軌跡同時進行實時估計。 另一方面，擬采用半監督學習技術動態更新解碼模型，半監督學習解決的典型問題是：已 有大量訓練樣本，但僅有少量樣本具有對應動作參數，在采用這小部分樣本學習解碼模型 的基礎上，充分利用大量無對應動作參數的樣本建立更準確的分類或回歸模型。由于神經 系統的