1、擁擠空間中的上下文感知軌跡預(yù)測(cè)摘要擁擠空間的人類運(yùn)動(dòng)和行為受到幾個(gè)因素的影響作為場(chǎng)景中其他移動(dòng)代理的動(dòng)態(tài)，以及靜態(tài)元素可能被認(rèn)為是吸引力點(diǎn)或障礙物。在這項(xiàng)工作中，我們提出了人類軌跡預(yù)測(cè)的新模型， 能夠利用人類和人類空間的相互作用。人類的未來軌跡是通過觀察他們過去的位置和與周圍環(huán)境的交互而產(chǎn)生的。為此，我們提出了一種上下文感知”循環(huán)神經(jīng)網(wǎng)絡(luò)LSTM模型，可以在人行道，博物館或商場(chǎng)等擁擠空間中學(xué)習(xí)和預(yù)測(cè)人體運(yùn)動(dòng)。我們?cè)诠残腥藬?shù)據(jù)集上評(píng)估我們的模型，并且提供一個(gè)新的具有挑戰(zhàn)性的數(shù)據(jù)集，收集在一個(gè)（真實(shí)的）擁擠空間（如 大型博物館）中導(dǎo)航的人類視頻。結(jié)果表明，與先前最先進(jìn)的預(yù)測(cè)模型相比，我們的方法可

2、以更好地預(yù)測(cè)人類軌跡。1介紹人們通常在擁擠的空間中移動(dòng)，注意目標(biāo)，例如朝著在場(chǎng)景中活躍的另一個(gè)主體或到達(dá)特定的目的地。這些可能是例如博物館的購物展示廳，公共建筑或特定藝術(shù)品。在這樣做的時(shí)候，他們能夠考慮幾個(gè)因素，并相應(yīng)調(diào)整其路徑。一個(gè)人可以根據(jù)正在移動(dòng)的空間以及在他周圍 散步的其他人來適應(yīng)她/他的路徑。以同樣的方式，障礙物可以稍微修改行人的軌跡，而一 些其他元素可能會(huì)限制他的路徑。雖然人類行為理解和人跟蹤在計(jì)算機(jī)視覺文獻(xiàn)上有著悠久的傳統(tǒng)9,10,15,17,22,25,近年來，我們也注意到預(yù)測(cè)模型的興趣越來越大 2,3,7,8,20,21。觀察人們?nèi)绾务{駛擁擠的場(chǎng)景， 并且 能夠預(yù)測(cè)他們的未來

3、步驟， 這是一個(gè)非常具有挑戰(zhàn)性的任務(wù)， 可以在機(jī)器人，智能空間和汽 車領(lǐng)域有關(guān)鍵應(yīng)用1,6,14,14,18。圖1:我們的目標(biāo)是在擁擠的空間中學(xué)習(xí)和預(yù)測(cè)人類的行為。為此，我們?cè)诖笮筒┪镳^收集了多臺(tái)攝像機(jī)的新數(shù)據(jù)。與之前的相比，我們的數(shù)據(jù)集允許在真正擁擠的場(chǎng)景中進(jìn)行實(shí)驗(yàn)，人們不僅與彼此交互，而且還具有以豐富語義為特征的空間。預(yù)測(cè)人類目標(biāo)的行動(dòng)， 如行人或通用代理人， 例如汽車或機(jī)器人， 是一個(gè)非常具有挑戰(zhàn)性和 開放性的問題。這一領(lǐng)域的大部分現(xiàn)有工作都是通過推斷現(xiàn)場(chǎng)的某些屬性或者試圖對(duì)所觀察到的代理之間的交互動(dòng)態(tài)進(jìn)行編碼來處理預(yù)測(cè)目標(biāo)軌跡的任務(wù)。然后通過建模和學(xué)習(xí)人類空間3,5,7或人類的相互作用

4、2,13,16,19,24來實(shí)現(xiàn)軌跡預(yù)測(cè)。開創(chuàng)性的作品已經(jīng)嘗試用諸如社 會(huì)力量的手工模型來參數(shù)化人類行為4,15,23,而最近的方法已經(jīng)嘗試以數(shù)據(jù)驅(qū)動(dòng)的方式推斷出這些行為2。這一想法已被證明對(duì)于提高多目標(biāo)跟蹤應(yīng)用的性能以及短期軌跡預(yù)測(cè)是 非常成功的。事實(shí)上，能夠考慮附近代理人的互動(dòng)，在擁擠的場(chǎng)景中避免碰撞是非常重要的2,15,16 o同時(shí)，關(guān)于特定目標(biāo)與場(chǎng)景的靜態(tài)要素（例如人行道，建筑物，樹木等的位置） 之間的相互作用的先前知識(shí)對(duì)于獲得可靠的預(yù)測(cè)模型是至關(guān)重要的3,7。然而，這些模型的主要限制是，它們都只嘗試模擬人與人或人-空間的相互作用。在本文中，我們介紹一種人類軌跡預(yù)測(cè)的新方法基于“上下文

5、感知”循環(huán)神經(jīng)網(wǎng)絡(luò)模型。每個(gè)人的軌跡都通過長(zhǎng)短期內(nèi)存（LSTM）網(wǎng)絡(luò)進(jìn)行建模。為了考慮與其他人類和/或空間的相互作用，我們擴(kuò)展了 Alahi等人最近提出的Social-LSTM模型。2,通過定義一個(gè)“上下文感知”池，允許我們的模型也考慮一個(gè)人附 近的靜態(tài)對(duì)象。提出的模型觀察人類的過去位置和他與周圍環(huán)境的相互作用，以便預(yù)測(cè)他近期的軌跡。結(jié)果表明，考慮人與人與空間的相互作用是獲得準(zhǔn)確預(yù)測(cè)人的軌跡的基礎(chǔ)。本文的主要貢獻(xiàn)有兩方面：i）我們引入了一種基于 LSTM架構(gòu)的軌跡預(yù)測(cè)模型和一種能夠?qū)W 習(xí)和編碼人與人與空間相互作用的新型“上下文感知"池；ii）與以前的最新技術(shù)方法相比，我們展示了所提出

6、的模型的有效性，例如最近的社會(huì)LSTM 2, UCY數(shù)據(jù)集11和一個(gè)新的具有挑戰(zhàn)性的數(shù)據(jù)集，稱為博物館館，我們將公開發(fā)布。2途徑在本節(jié)中，我們描述了我們的“上下文感知”軌跡預(yù)測(cè)模型。我們的關(guān)鍵假設(shè)是，每個(gè)人的行為都受到他與上下文的互動(dòng)的強(qiáng)烈影響，無論是在場(chǎng)景的靜態(tài)元素和在同一場(chǎng)景中活動(dòng)的動(dòng)態(tài)代理（如其他行人）方面。 為此，我們用LSTM網(wǎng)絡(luò)對(duì)每個(gè)人的軌跡進(jìn)行建模。我們的工作建立在最近的社會(huì)LSTM模型之上2,但是我們引入了一個(gè)更為一般的方法，其中可以包含人與人之間的相互作用。2.1 上下文感知LSTM給定視頻序列，每個(gè)軌跡以空間坐標(biāo)的形式表示，使得 =代表第t個(gè)人在時(shí)刻Hil2j(3>M

7、ft的位置。我們使用LSTM網(wǎng)絡(luò)來表示第i個(gè)人的軌跡，如下所示：¥二加總咐.h； = o； - (ajihfc!), 其中X； E IR”表示輸入數(shù)據(jù)，h： w R"是輸出狀態(tài)，Cf w 是隱藏的 在時(shí)間t的LSTM的狀態(tài)。輸入S通過應(yīng)用ReLU函數(shù)弧）獲得空間坐標(biāo)X/和權(quán)重矩陣M WlR川二。O在訓(xùn)練時(shí)間1,當(dāng)前輸入和前一時(shí)刻的輸出被更新，根據(jù)重量H長(zhǎng)股，加卜”和偏差項(xiàng)'"貶"，然后，更新的向量通過S形函數(shù)進(jìn)行規(guī)則化以獲得%.5乏貶門，分別 表示輸入門向量（其對(duì)新信息的貢獻(xiàn)加權(quán)），忘記門矢量（維持舊信息）和輸出門。對(duì)于tanh 功能來說，相反，

8、在新的候選值上創(chuàng)建一個(gè)向量，勒仁應(yīng)力，可以添加到狀態(tài)。第i個(gè)軌跡位置（> ）1 ,在時(shí)間t考慮輸出狀態(tài)卜；和雙變量高斯分布時(shí)估計(jì)：（+<T.p）；+1 -卬%（?）;+| 人（口3I）,其中H+i,巧是高斯分布的第一和第二階矩，而 p!.表示相關(guān)系數(shù)。這些參數(shù)是通過線性轉(zhuǎn)換的輸出狀態(tài)耳與矩陣W W期>"。給定第i個(gè)軌跡，通過最小化負(fù)對(duì)數(shù)似然損失來學(xué)習(xí)參數(shù)：= - £7歲（叫7）；K"dp）/）即使這些網(wǎng)絡(luò)是用于建模時(shí)間依賴現(xiàn)象的真正強(qiáng)大的工具，但是它們不能考慮可影響人的路徑的其他因素，例如與其他人的交互以及與場(chǎng)景的靜態(tài)元素的交互。編碼人與人之間的

9、相互作用。2最近引入了一種用于建模在同一空間內(nèi)移動(dòng)的人之間的交互建模的解決方案。在這里，為了模擬人與人的交互，在每個(gè)時(shí)間步長(zhǎng)中，通過大小為£ "詞帆"的單元格的占用網(wǎng)格匯集第i個(gè)軌跡的所有鄰居的位置。占用矩陣,泰川用計(jì)算如下：兇也"）二 £ 1皿兇一金，¥-九的m ji其中1m是指標(biāo)函數(shù)，用于為每個(gè)單元格帆."1分配的網(wǎng)格相應(yīng)的I"”;軌跡。該矩陣允許 建模每個(gè)人的鄰居的存在或不存在。這兩個(gè)模型不考慮一個(gè)人移動(dòng)的上下文，這可能會(huì)限制他們?cè)谡嬲龘頂D的空間中的應(yīng)用。此，我們引入了一個(gè)上下文感知池，其中明確地考慮了人與人

10、之間的空間交互。編碼人與人與空間的相互作用。考慮到人們移動(dòng)的空間是獲得更準(zhǔn)確預(yù)測(cè)的基礎(chǔ)。為此,我們首先確定場(chǎng)景中可以影響人類行為的一組靜態(tài)對(duì)象。這些要點(diǎn)是手動(dòng)定義的，可以只包含一些入口點(diǎn)或出口點(diǎn)，也可以包含更復(fù)雜的元素， 可以以不同的方式影響人的行為（如博物館的藝術(shù)作品）。我們的方法的概述如圖 2所示。一種用于建模人類空間相互作用的天真的方法，可以通過修改方程式（8）來獲得，以便將每個(gè)人附近的靜態(tài)元素包括在內(nèi)，如下所示：圖2:我們的上下文感知軌跡預(yù)測(cè)概述。LSTM的輸入由被分析者（綠色），人與人之間的人與人之間的互動(dòng)網(wǎng)格（紅色）和上下文感知池（藍(lán)色）的軌跡表示。其中（上“少）*表示場(chǎng)景中第k個(gè)

11、靜態(tài)對(duì)象的坐標(biāo)。然而，這個(gè)模型的一個(gè)缺點(diǎn)是空間中的 每一個(gè)元素對(duì)于預(yù)測(cè)是一致的。同樣重要的是在鄰域中存在的人可以理解軌跡是否接近碰撞。然而，應(yīng)用于場(chǎng)景中的靜態(tài)對(duì)象的相同原理有一定的限制。事實(shí)上，人類的軌跡受到人類或靜態(tài)物體的不同影響。為此，我們引入一種解決方案來為后一種情況建立模型，為每個(gè)人定義一個(gè)包含相對(duì)于空間中的每個(gè)元素的距離的向量：C二而一出一城產(chǎn)（H）與等式的原始解不同的（10）方程以這種方式，我們可以模擬每個(gè)靜態(tài)元素可以影響一個(gè)人的路徑。通過簡(jiǎn)單地修改公式（2）中定義的輸入，可以獲得在我們的基本 LSTM模型中包含這種相互作用的直接方法，以便包括該表示公式（11）中方程式的定義，像這

12、樣的：貨= "（*/）如以畋（12）最后，根據(jù)我們想要利用哪種方法對(duì)人與人之間的相互作用進(jìn)行建模，我們可以通過連接等式（8）和（9）中的定義的表示來進(jìn)一步將輸入擴(kuò)展到我們的模型中，分別如下：$=M閭,叼）網(wǎng)口收）如況心）（13）X；=限區(qū)此）（14）方程式（7）中定義的損失函數(shù)也被相應(yīng)地修改，在LSTM優(yōu)化中引入了一組參數(shù)2.2 軌跡預(yù)測(cè)在測(cè)試時(shí)間，我們考慮不同的軌跡集，訓(xùn)練時(shí)沒有觀察到。特別是，我們給我們的模型提供了在區(qū)間111帥力中觀察到的所有人的位置集合"dr。然后，我們估計(jì)每個(gè)人的近期軌跡有如下考慮：1）他們的路徑，直到時(shí)間,而；2）在同一時(shí)期內(nèi)觀察到的其他人的路徑

13、；3）在空間中的每個(gè)靜態(tài)對(duì)象的距離w.r.to表1: MuseumVisits數(shù)據(jù)集和ZARA序列的統(tǒng)計(jì)博物館參觀ZARA序列總?cè)藬?shù)57204平均軌跡長(zhǎng)度42272最小軌跡長(zhǎng)度267取大軌跡長(zhǎng)度1019617每幀的平均人數(shù)1714與場(chǎng)景的互動(dòng)兀素有沒有3實(shí)驗(yàn)在本節(jié)中，我們報(bào)告一組實(shí)驗(yàn)來評(píng)估我們的上下文環(huán)境軌跡預(yù)測(cè)的性能。我們首先描述用于評(píng)估我們的模型的數(shù)據(jù)集和用于訓(xùn)練我們的模型的設(shè)置。然后，我們報(bào)告我們的模型的最新和不同配置之間的比較。3.1 數(shù)據(jù)集和評(píng)估協(xié)議UCY.我們的初步實(shí)驗(yàn)是在標(biāo)準(zhǔn)的UCY 11儆據(jù)集上進(jìn)行的。該數(shù)據(jù)集包含三個(gè)序列，即ZARA-01, ZARA-02和大學(xué)，它們從鳥瞰圖

14、在兩個(gè)不同的場(chǎng)景中獲得。第一種情況，ZARA呈現(xiàn)適度的人群狀況。另一方面，大學(xué)的情景真的是人群眾多，人們走在不同的方向，一群人陷入現(xiàn)場(chǎng)。由于該數(shù)據(jù)集不提供關(guān)于人-空間交互的任何注釋，我們通過手動(dòng)識(shí)別場(chǎng)景中的11個(gè)點(diǎn)來注釋兩個(gè)ZARA序列。這些點(diǎn)主要位于進(jìn)入和離開位置附近。MuseumVisits.我們的新數(shù)據(jù)集已經(jīng)在一個(gè)大型藝術(shù)博物館的大廳中被采用，使用四個(gè)相機(jī)，小或不重疊。安裝相機(jī)以觀察大廳內(nèi)的藝術(shù)作品，并且在訪問期間捕捉人群。圖1顯示了博物館大廳的三種不同觀點(diǎn)。與現(xiàn)有的數(shù)據(jù)集不同，我們可以觀察到豐富的人與人與空間的相 互作用。例如，人們一起走在一起，停留在藝術(shù)品前面一段時(shí)間。針對(duì) 57個(gè)不

15、同人物的手 勢(shì)已經(jīng)被手動(dòng)注釋以及一些元數(shù)據(jù)，例如一個(gè)人所屬的組，一個(gè)人正在觀察的藝術(shù)品等等 元數(shù)據(jù)在這項(xiàng)工作中沒有被利用。比較我們實(shí)驗(yàn)中使用的數(shù)據(jù)集的一些統(tǒng)計(jì)數(shù)據(jù)在表1中給出。在ZARA序列中觀察到的人數(shù)相對(duì)于我們的數(shù)據(jù)集更高，但是它們的軌跡的平均長(zhǎng)度真的很小。這主要是因?yàn)檫@個(gè)數(shù)據(jù)集的性質(zhì)，因?yàn)槿藗儾粩噙M(jìn)入和離開現(xiàn)場(chǎng)。此外，我們的數(shù)據(jù)集稍微更多的人群，每幀的平均人數(shù)為17,而不是14,最重要的是，它包括與場(chǎng)景中的靜態(tài)對(duì)象的更豐富的交互。評(píng)估方案。實(shí)驗(yàn)如下進(jìn)行：觀察人的軌跡 3.2秒，然后使用訓(xùn)練模型預(yù)測(cè)4.8秒。軌跡被采樣，以便每十個(gè)保持一幀；幀率為0.4,這對(duì)應(yīng)于觀察8幀并預(yù)測(cè)12幀，如2,

16、15,16。結(jié)果以平均位移誤差報(bào)告，其計(jì)算為由模型和地面真值4就預(yù)測(cè)的點(diǎn)之間的以米為單 位的均方誤差（MSE）:A爛 （«一+出一 小產(chǎn) 一 A其中N是要評(píng)估的軌跡的總數(shù)。表2:博物館訪問和 LUCY（ZARA序列）的預(yù)測(cè)錯(cuò)誤。結(jié)果以米為單位。MuseumVisitsUCY (ZARA sequences)TechniqueSeq1Seq2Seq3Seq4Seq5AvgSeq1Seq2AvgLSTM0.991.220.990.781.031.001.321.491.40O-LSTM1.601.430.950.761.021.151.651.401.52S-LSTM1.681.260.

17、940.750.881.101.301.371.34Context-aware LSTM1.361.141.210.490.821.001.211.371.29Context-aware O-LSTM1.531.080.90P 0.57P 0.80P 0.981.181.341.26Context-aware S-LSTM1.481.270.940.541.07P 1.061.191.251.22表3:使用不同的匯編編碼人-空間交互的博物館訪問和 LUCY （ZARA序列）的預(yù)測(cè)錯(cuò)誤。結(jié)果以米為單位。MuseumVisitsUCY (ZARA sequences)TechniqueSeq1Se

18、q2Seq3Seq4Seq5AvgSeq1Seq2AvgContext-aware LSTM (O)1.661.551.260.811.201.301.301.401.35Context-aware O-LSTM (O)1.931.441.320.711.151.311.371.401.39Context-aware S-LSTM (O)1.661.551.260.581.201.251.311.291.303.2 實(shí)施細(xì)則在我們白社會(huì)LSTM實(shí)現(xiàn)2中，我們使用與原始文件相同的參數(shù)配置。特別地，對(duì)于所有的LSTM模型，空間坐標(biāo)的嵌入維度被設(shè)置為64,而隱藏狀態(tài)維度等于128。 一個(gè)人的社區(qū)的合

19、并大小設(shè)置為 32,用于池的窗口的大小為 8*8。每個(gè)模型經(jīng)過訓(xùn)練考慮了0.005的學(xué)習(xí)率，RMSProp優(yōu)化器的衰減率為 0.95,總共有1,600個(gè)時(shí)期。所有的解決方案已經(jīng)使用TensorFlow框架實(shí)現(xiàn)，并且在單個(gè) GPU上執(zhí)行了訓(xùn)練/測(cè)試。 對(duì)于我們的上下文感知池， 不需要進(jìn)一步的參數(shù)，因?yàn)槲覀兛紤]了一個(gè)人和場(chǎng)景中所有對(duì)象之間的距離（這顯然只取決于被分析的數(shù)據(jù)集）。3.3 實(shí)驗(yàn)結(jié)果在本節(jié)中，我們將討論與我們的解決方案相比的結(jié)果。我們重新實(shí)現(xiàn)了2中描述的三種方法，即LSTM, O-LSTM和社會(huì)LSTM （S-LSTM 。特別地，僅基于 LSTM的解決方案不考慮 任何類型的互動(dòng)，同時(shí)預(yù)測(cè)

20、人的軌跡。另一方面，O-LSTM和S-LSTM能夠在其預(yù)測(cè)中考慮人與人之間的相互作用。然后我們使用上下文感知池來擴(kuò)展這三個(gè)模型。在我們的實(shí)驗(yàn)中，我們沒有使用模擬軌跡進(jìn)行微調(diào)，盡管根據(jù)2這可能在減少每個(gè)序列的總體預(yù)測(cè)誤差約50%有幫助。我們將五個(gè)序列中的MuseumVisits數(shù)據(jù)集進(jìn)行了分割，并進(jìn)行了五次交叉。雖然對(duì)于3證UCY數(shù)據(jù)集，我們僅考慮ZARA序列并執(zhí)行雙重交叉驗(yàn)證。表2顯示了每個(gè)序列的實(shí)驗(yàn)結(jié)果，以及所有序列的平均值。對(duì)于大部分 MuseumVisits序列，組合的O-LSTM與我們的上下文感知表示可以獲得最少的錯(cuò)誤。這個(gè)動(dòng)機(jī)的因素在于博物館里的人通常從藝術(shù)作品移動(dòng)到另一個(gè)藝術(shù)品。此

21、外，在這種情況下，碰撞也非常有限，因?yàn)樵谶@種場(chǎng)景中，人通常在團(tuán)體行動(dòng)。相反，在 ZARA序列上，上下文感知的 S-LSTM表現(xiàn)更好，即使與 O-LSTM的結(jié) 合達(dá)到了第二好的效果。 這在某種程度上是預(yù)期的，因?yàn)樵谶@種情況下， 一個(gè)人通常從一個(gè)條目單獨(dú)走，指向出口點(diǎn)，并根據(jù)其他人員調(diào)整其路徑。最后，在表 3中，我們展示了使用 上下文感知池的不同實(shí)現(xiàn)獲得的一些結(jié)果，與O-LSTM類似，考慮人與空間的相互作用。通過匯集鄰居靜態(tài)對(duì)象的坐標(biāo)，如等式（10）預(yù)測(cè)。在這種情況下，錯(cuò)誤較高。這證實(shí)了我們假設(shè)每個(gè)靜態(tài)對(duì)象都會(huì)以不同的方式影響，一個(gè)人的軌跡，所以他們平均加權(quán)，如在 O-LSTM情況下，在某種程度上

22、是有限的。3.4 定性結(jié)果圖3顯示了我們的模型與以前的工作相比的一些定性結(jié)果。我們顯示四種軌跡（不同的顏 色），使用不同的方法獲得。在黑色中，我們報(bào)告了地面真相軌跡。綠色的香草LSTM不使用有關(guān)空間的信息和在場(chǎng)景中活躍的其他人。在紅色白社會(huì)LSTM的輸出2,而我們的上下文感知模型顯示為藍(lán)色。我們強(qiáng)調(diào)四個(gè)示例，其中描繪了場(chǎng)景的一些靜態(tài)元素，例如特定的藝術(shù)品， 以及可能影響我們的目標(biāo)路徑的其他主題的軌跡（灰色）。在第一個(gè)例子中，上下文感知O-LSTM能夠在不受藝術(shù)作品影響的情況下估計(jì)實(shí)際軌跡。LSTM和社會(huì)LSTM都受到一個(gè)接近的軌跡的錯(cuò)誤影響，并且無法預(yù)測(cè)正確的軌跡。更有趣的是第二個(gè)示例，它顯示了上下文