計算機體系結構 蘭州大學 chapt6課件_第1頁
計算機體系結構 蘭州大學 chapt6課件_第2頁
計算機體系結構 蘭州大學 chapt6課件_第3頁
計算機體系結構 蘭州大學 chapt6課件_第4頁
計算機體系結構 蘭州大學 chapt6課件_第5頁
已閱讀5頁,還剩92頁未讀 繼續免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

第6章計算機輸入/輸出系統1.引言2.輸入/輸出設備類型3.I/O子系統的控制方式4.總線

5.I/O子系統性能測量

6.總結

本章要點:介紹輸入/輸出設備類型、輸入/輸出子系統的控制方法、總線、輸入/輸出子系統性能測量冗余磁盤陣列(RAID)技術。1.

引言計算機輸入/輸出系統(通稱I/O系統),擔負著計算機與外界交換信息的任務。早在馮·諾依曼時代就被作為計算機體系結構的一個重要組成部分。然而許多年以來,I/O系統沒有得到足夠的重視,它只是被作為“外圍”設備看待。計算機體系結構設計者們重視的是用戶程序運行的CPU時間,而I/O系統在程序執行所化的時間無論是多是少,都作為一種額外的開銷而被忽略了。實際上,I/O系統的速度也是重要的。對用戶而言,他們感受的不是單純的CPU時間,而是程序的執行時間(executiontime)。I/O系統的速度對整個程序的執行時間有重要影響。假設某計算機CPU處理的時間占總處理時間的90%,而I/O處理時間僅占總處理時間的10%,根據Amdahl定理,即使CPU的處理速度提高10倍,而I/O系統的速度沒有提高,則程序總的處理速度(執行時間的倒數)只能提高:

1/(0.1+0.9/10)=1/(0.1+0.09)=1/0.19≈5倍也就是說,此時有一半的CPU速度提高被浪費了。即使CPU處理速度提高了100倍,在同樣的情況下,總的性能也僅能提高:

1/(0.1+0.1/100)=1/(0.1+0.009)≈10倍可見,I/O系統的速度的重要性。

1.

引言在單進程操作系統中是這樣,同樣在多進程的操作系統中,I/O也同樣重要。在多進程的操作系統中,雖然可以通過合適的進程調度可使CPU不是空下來等待I/O系統工作的結束,而是繼續執行其它進程,這樣I/O速度的快慢就無關輕重了。然而事實并非如此。

首先,這種方法雖能維持整個操作系統中吞吐量不變,提高CPU的利用率,但對于用戶來說,仍然存在沒有解決執行時間延長的問題,他仍然必須等待I/O操作結束;由于進程切換帶來的開銷,他的進程運行時間甚至會更長。

其次,在大多數桌面操作系統的PC機和工作站上,并沒有很多的進程可以進行這種共享,從而使CPU的空閑成為不可避免。

另外,多進程操作系統中,一般都使用盤交換區和虛擬內存技術已容納好幾個進程,而這兩項技術的性能都依賴于I/O系統,依賴于外部存儲系統的速度。由此可知,I/O系統在計算機體系結構中的重要性。1.

引言2.

輸入輸出設備類型

數據表示設備

網絡通訊設備

存儲設備

廉價磁盤冗余陣列輸入/輸出(簡稱I/O)設備可分為三大類:數據表示設備、網絡通訊設備、存儲設備。這類I/O設備的主要功能是在計算機處理器和用戶之間傳遞信息。主要包括顯示器、鍵盤等人-機交互設備,也包括一些用于控制其它電子設備的信號輸出輸入設備。這些設備通常為計算機提供其運行時所需的大部分輸入信息,同時輸出計算機運行的最后結果,并反饋給用戶。2.1數據表示設備表6-1常見數據表I/O設備及其數據庫隨著計算機多媒體技術的發展,出現了許多新的數據表示方法,這些新的表示技術包括高速圖形顯示、視頻顯示,聲音輸入/輸出。為了減輕對設備的壓力,通常采用數據壓縮的方法,使數據量下降,但也產生了解壓縮的問題。這些新的數據表示方法不僅對I/O系統提出了很高的要求,對處理器的速度也提出了新的要求。同時,這些新的技術也擴展了計算機輸入/輸出設備的范疇,促進了I/O系統技術的發展。表6-2多媒體數據表示設備的參數一覽表2.1數據表示設備

網絡通訊設備的功能是在處理器間傳遞數據。網絡通訊設備的種類繁多。⑴按連接處理器的距離分,有:

MPP網、局域網、廣域網等;⑵按采用的通訊介質分,有:銅線電信號設備和光纖設備;⑶按所采用的控制技術分,有:以太網、ATM網、令牌環網等。隨著計算機向網絡化發展和網絡并行計算技術的產生,這類設備的地位正在變得日益重要。

2.2網絡通訊設備

存儲設備是指外存儲器。它的功能是作為計算機存儲器層次結構的一部分,存儲計算機處理時所需信息。這類設備由于經常與處理器協同工作而顯得地位格外重要,作為海量的非易失外存設備,這類I/O設備一方面擔負存儲計算機后備數據的任務,一方面還往往作為虛存或操作系統交換區的一部分,直接參與計算機的處理。計算機外存儲器一般有磁盤、光盤、磁帶。2.3存儲設備磁盤分為軟盤和硬盤。磁道(track):磁盤的表面沿直線方向劃分為不同的同心圓。柱面(cylinder):在硬盤機中,磁盤片連在一起,把各面的同一磁道連起來。每條磁道按切線方向劃分為幾十個扇區,扇區是磁盤存儲信息的最小單位,一般有扇區號、分隔用的空白區、扇區數據信息組成。通常,所有的磁道扇區數是一樣的,外圈的磁道扇區密度小,數據存放可靠,而內圈磁道短,故數據容易出差錯。所以,可采用“常位密度”的存儲方式:在外圈長磁道上放更多的扇區,這樣就使整個磁盤上扇區的密度也就是數據的密度一致,增加了可靠性。在對磁道進行數據讀寫是,首先磁頭臂要移到指定的位置,這個操作稱為尋道,該操作所需時間稱為尋道時間,尋道時間與磁頭時間有關。在磁頭移動到指定磁道后,讀寫數據還需等待磁盤旋轉到指定的扇區,這個操作所需時間稱為旋轉時間,大多數的磁盤旋轉時間為3600r/s,平均旋轉延遲是指磁盤旋轉半圈的時間,為0.5*60/(3600)=8.3(ms)。2.3存儲設備數據傳輸所需時間稱為傳輸時間。磁盤從收到讀盤命令到啟動磁盤臂移動之間的時間稱為控制時間,它包括了等待上一次讀寫磁盤結束的時間,稱做排隊時間(queuingdelay)。將控制時間、尋道時間、轉旋延遲和傳輸時間加起來,才是一次讀寫磁盤所需的總時間——存取時間(accesstime)。在磁盤和計算機之間,有一個叫磁盤控制器(diskcontroller)的部件負責控制磁盤的數據傳輸。磁盤發展追求提高存儲密度,降低成本和提高速度。存儲密度的度量指標是盤片的面密度(areadensity),單位為每平方英寸的位數,于是有面密度=每英寸磁道數*每英寸道數,其中,每英寸半徑上磁道數又稱道密度,單位為TPI(trackperinch);每英寸磁道上存儲的位數又稱位密度,單位為BPI(bitperinch)。磁盤的存取時間比DRAM慢100000倍,從而在現今計算機的主存和次級存儲器間造成了巨大的存取時間缺口。2.3存儲設備光盤光盤存儲容量大,成本低,存放期限長,存儲密度高。光盤分為只讀型(CD-ROM)、WORM(一次寫多次讀)型和可擦寫型。只讀型用于軟件開發,可擦寫型只能用于數據備份,不能作為次級存儲器。磁帶磁帶與磁盤很相似,不同之處是磁盤在一個有限大小的面積上進行讀寫,存取速度快;而磁帶存儲面積是個“無限”的帶,只能串行存取,速度慢,容量大,常作為磁盤的后備介質使用。磁帶容易纏斷和斷裂,可采用螺旋掃描帶(helicalscantapes)技術解決:讓磁帶以一固定速度旋轉,而沿著磁道的對斜線,用一個轉的比磁帶快的多的讀寫頭記錄數據。2.3存儲設備廉價磁盤冗余陣列(RedundantArray

ofInexpensiveDisk)的基本思想是使用多個磁盤存儲數據,并行的讀寫,提高數據傳輸帶寬。為了提高數據的可靠性,數據是冗余存儲的。具有容量大,數據傳輸快,功耗低,體積小,成本低。RAID中的數據并行存儲造作對CPU是透明的。多個磁盤驅動器在邏輯上構成一個磁盤,系統的數據分布在各磁盤上的操作有磁盤控制器完成。見圖6-2。

在圖6-2中,控制處理器是RAID的控制中心,接收和分析主機操作命令,調度和管理磁盤陣列數據通道,組織和執行設備命令等。控制處理器運行一個控制軟件,執行初始化、接口規范處理、命令序列優化處理、地址轉換、數據通道管理等功能。數據通道在控制處理器控制下,實現數據的分配與集中、緩沖、奇偶校驗等。控制接口是陣列與主機接口,實現主機和磁盤陣列的通信、數據傳送和控制信號的傳遞;設備接口是直接連磁盤驅動器的接口。

2.4廉價磁盤冗余陣列(RAID)圖6-2RAID結構圖2.4廉價磁盤冗余陣列(RAID)控制接口控制處理器設備接口設備接口數據通路設備接口主機總線表6-3RAID的分級實現的可靠性RAID有幾種實現功能,分成六個級別,分別稱RAID1-RAID6,表6-3列出了非冗余磁盤陣列(RAID0)和各RAID級別的實現特性。2.4廉價磁盤冗余陣列(RAID)

程序控制

I/O處理器3.

I/O子系統的控制方式CPUMI/O圖6-4(a)I/O系統的三種管理方式數據3.1程序控制

程序控制

在早期,計算機I/O子系統的控制直接由CPU來完成,如圖6-4(a),由CPU執行啟動,測試I/O設備,進行數據傳輸。這種方式不需專門的硬件,簡單的計算機系統都用這種方式。但I/O設備的工作速度比CPU慢的多,CPU多數時間是在等待,效率較低。3.1程序控制中斷驅動的I/O控制在程序控制方式(又稱輪詢方式)中,計算機CPU周期性的進入I/O控制操作處理外設的I/O事務,而不管該外設此時是否需要進行I/O處理。而CPU一旦進入I/O控制操作就不能作其它工作,從而大大降低了CPU效率。為此,采用中斷驅動的I/O控制,如圖6-4(b),只有在I/O設備需要CPU的控制操作時,才向CPU發出中斷請求,使其轉向為I/O系統服務,而平時CPU可以處理其它工作。中斷處理時CPU與I/O間傳遞數據速度還不夠快。CPUMI/O圖6-4(b)I/O系統的三種管理方式數據中斷信號中斷方式不僅提高了CPU的效率,而且使CPU可同時控制多個I/O設備,但中斷方式仍然需要CPU的干預,并且中斷方式是作為程序控制方式的“改進”出現的,但如果I/O設備的速度足夠快,采用中斷方式時I/O設備就會不停地向CPU發出中斷,此時,中斷引起的保存現場等開銷就會很嚴重,反而不如有程序控制CPU輪詢操作好,因此,采用中斷還是程序輪詢方式控制CPU與I/O設備的速度有關。3.1程序控制CPUMDMA控制器I/O直接存儲器訪問”(directmemoryaccess,DMA)

中斷方式和程序方式必須借助CPU完成I/O設備的控制方式。為了減輕CPU的負擔,采用一個名為“直接存儲器訪問”的部件協助CPU進行數據傳輸方面的操作,如圖6-4(c)。在CPU完成必要的I/O控制之后,不是由CPU來傳遞I/O數據,而由DMA根據CPU傳遞的參數(起始地址、長度等),直接在I/O設備與存儲器之間快速傳遞大量數據,傳完之后再通過中段通知CPU。圖6-4(c)I/O系統的三種管理方式3.1程序控制DMA管理的I/O系統的主要問題是在傳送時仍占用總線,會與CPU產生爭用,此外仍需CPU完成一些控制工作。為此,使用一個叫I/O處理器(I/Oprocessor)或稱I/O通道(I/Ochannel)的設備來代替CPU來控制I/O設備。這樣的I/O子系統有更強的功能,它執行自己的程序,除了完成數據傳送外還可以進行數據的變換、裝配校驗等工作,使CPU進一步擺脫輸入輸出操作的負擔。I/O通道管理I/O總線,這是將I/O設備與I/O處理器連起來的總線,而計算機內部總線則是另一條在一個總線控制器控制下的高速同步總線。當I/O處理器要傳數據到內存時,它的總線控制器發送使用內部總線請求,由其統一安排對計算機內部總線的使用。I/O處理器一般就是一個通用處理器,與計算機的通用處理器CPU協同工作,但也可以是專門為I/O設備設計的專用處理器。有時,把多進程操作系統里的I/O管理進程也成為軟件意義上的I/O處理器。為適應兼容性方面的要求,這樣的軟件處理器通常分為幾個層次如用戶界面層、設備無關層、設備驅動器中斷處理等。3.2I/O處理器PMI/O通道I/OI/O總線主控控制I/O總線圖6-5I/O通道結構圖在這里我們看一下硬件通道的情況,圖6-5是典型的具有通道的計算機系統結構圖,這種結構圖正如我們前面所講的有兩種總線:存儲總線(內部總線)和通道總線(I/O總線)。一條通道總線可以連幾個設備控制器,一個設備控制器也可一連幾個設備。從邏輯結構講,有了I/O通道后,I/O設備連接可以分為四層:

CPU—通道處理器—設備控制器—設備3.2I/O處理器

對于同一系列的機器,通道與設備控制器間有統一標準接口,設備控制器與具體設備間有專用接口,大中型計算機系統一般都接有多個通道,對不同類型的I/O設備可進行分類管理。存儲管理部件(對應圖6-5中的總線適配器)是存儲總線的控制部件,它的主要任務是根據事先確定的優先次序(由硬件設定或軟件決定)決定下個周期由哪個部件使用存儲總線。由于大多數I/O設備讀寫信號有實時性,不及時處理將丟失數據,所以通道的優先權較高,而高速設備通道的優先權高于一般設備的通道優先權。

通道的基本功能是執行通道命令,組織外圍設備和內存進行數據傳輸,按I/O指令要求啟動I/O設備,向CPU報告中斷等,具體是:接收CPU的I/O指令,按指令要求與指定的I/O設備進行通訊。從內存選取屬于通道程序的通道指令,經譯碼后向設備控制器和設備發送各種命令,組織外圍設備和內存進行數據傳遞并根據需要給數據提供中間緩存的空間,以及提供數據存入內存的地址和傳送的數據量,并從外圍設備得到設備的狀態信息,形成并保存通道本身的狀態信息,根據要求將這些狀態信息送到內存指定單元供CPU使用,將外圍設備的中斷請求和通道本身的中斷請求按次序報告給CPU。3.2I/O處理器CPU對通道的管理通過I/O指令和處理來自通道的中斷來實現。一般把CPU運行操作系統的核心,管理程序的狀態稱管態,而把CPU執行目標程序的狀態稱目態。一般多用戶操作系統只允許在管態下對通道進行操作,以使I/O資源能為各用戶共享,并保證操作系統安全。通道通過指令使用設備控制器進行數據傳送操作,并以通道狀態字(channelstateword,CSW)接收設備狀態器反映的I/O設備狀態,因此設備控制器是通道對I/O設備實現傳輸控制的執行機構。它的任務是接收通道指令,控制I/O設備完成要求的操作,向通道反映I/O設備的狀態;將各種I/O設備的不同信號轉為通道能識別的標準信號等。根據通道工作的方式,通道分為選擇通道,數組多路通道,字節多路通道和通道適配器四種。3.2I/O處理器選擇通道又稱高速通道,它的特點是可連接多個設備,但這些設備不能同時工作,選擇通道一次只能選擇一個設備進行工作,這種通道主要連接高速設備,如磁盤、磁帶等,信息以成組方式高速傳輸。數組多路通道:在設備進行數據傳送時設備只為該設備服務;當設備進行尋址等控制性機械動作時,通道暫時斷開與該設備的連接,為其它設備去服務。它既保留了選擇通道高速傳輸數據的特點,有充分利用了機械輔助操作的時間間隔為其它設備服務,使通道的效率充分得到發揮,在實際系統中得到較多應用。

字節多路通道用于連接低速設備,如紙帶輸入機、打印機等,這些低速設備的傳輸速率低,例如紙帶輸入機的數據傳輸率是1000字節/s,字節間的傳輸間隔是1ms,而通道從設備接收或者發送一個字節只有不到1ms,因此通道在字節間有很多空閑時間,字節多路通道可以用這段空閑時間為其它設備服務。3.2I/O處理器字節多路通和數組多路通道都是分時復用通道。在一段時間內能交替執行多個設備的通道程序,使這些設備同時工作。但它們的不同之處:第一,數組多路通道雖然允許多個設備同時工作,但只允許一個設備進行傳輸型操作,而其它設備只能進行控制型操作;字節多路通道不僅允許多個設備同時工作,而且允許它們同時傳輸數據。其二,數組多路通道與設備間的數據傳送的基本單位是數據塊,而字節多路通道與設備間的數據傳送的基本單位是字節,通道為一個設備傳送一個字節以后,又可以為另一個設備傳送一個字節,因此各設備與通道間的數據傳送以字節為單位交替進行。在某些系統中,除配置上述三類型的通道外,還配置通道適配器,這是一種將通道與某些設備控制器結合在一起的專用性質的通道,它與某些特定類型設備連接,它的邏輯設計是針對專用設備的,適配器與設備間有專用接口線。3.2I/O處理器4.總線

總線分類與選擇

總線標準總線(bus)是計算機各部分之間聯系通訊的紐帶,它把計算機各子系統連接在一起,總線可以容易地接納計算機的新部件,并且成本較低。總線的主要問題是它有通訊瓶頸,當幾個部件爭用時,總線會使計算機子系統的性能下降,所以,總線的設計是很重要的。4.1總線分類與選擇總線的分類總線可以有幾種分類方式,按允許的數據傳送方向分:單向傳輸總線和雙向傳輸總線。雙向傳輸總線又可以分為半雙工和全雙工的。按用途分:專用總線和共享總線。按數據線的寬度分:8位、16位、32位和64位總線等。傳統上最常見的分類:存儲器總線和I/O總線。與存儲器總線相比,I/O總線相對更長,可連接更多設備,適應更多的數據寬度,通常還有一定的標準。而存儲器總線所連接的設備一般在設計時確定,可以進行專用的優化設計。總線傳輸周期一個總線周期可分為兩個階段:地址傳送階段和數據傳送階段。總線傳輸一般可分為兩種類型:“讀”操作,這時數據從內存流向I/O設備或CPU;“寫”操作,這時數據從CPU及I/O設備流向內存

。在“讀”操作時,I/O設備或CPU先送出地址信號和控制信號,內存根據這些相應的數據送到總線;

“寫”操作類似,只是CPU或I/O外設必須在送出地址、控制信號的同時把數據送出。為了解決總線上各設備(CPU,內存與I/O設備)的速率匹配,一般還得引入一個“等待”信號。總線傳輸周期示意圖詳見圖6-6。4.1總線分類與選擇時鐘地址數據讀信號等待信號圖6-6典型的總線讀周期圖示4.1總線分類與選擇4.1總線分類與選擇總線存在的問題總線仲裁:對于復雜的一些總線,可能有幾個總線主設備存在,它們都可以啟動總線操作。由于同一時間只能有一個主設備使用總線,就產生了總線仲裁問題。為了實現仲裁,可以用集中式控制(仲裁部件是一個專門部件)或者分布式控制(各總線設備自行控制決定使用總線)的方法,一般都有一個固定的優先級順序,保證總線使用的公平和高效率。總線傳輸方式:一般有兩種方法,單數據傳遞和塊傳遞。在單數據傳遞技術中,一個總線主設備向總線仲裁器發一個請求,然后在整個傳輸操作期間獨占總線。塊傳遞又稱作連接/解除連接技術或流水線總線或分組交換總線。圖6-7是采用分離操作技術后總線操作示意圖。同步問題:即總線信號和總線時鐘的關系。有三種方式:同步、半同步和異步。同步總線表示各信號必須按一個固定的時刻發出,異步總線表示信號的發出時刻是任意的,半同步是以上兩種方式的混合,它的信號必須和時鐘有一定的關系。三種方式各有優劣。地址數據等待采用分離傳輸技術,讀操作被分為一個輸出地址的讀請求操作和一個傳遞數據的存儲器應答操作,這些操作都加上標識,以便通訊雙方能知道誰是誰,當內存正在執行前一個讀操作時,總線上就能為下一個讀操作準備好地址,從而使得數據讀出與地址輸入能交叉進行,提高了總線帶寬。但與簡單的單數據讀出比較,分離操作總線的時延較大。4.1總線分類與選擇圖6-7分離操作總線的操作周期示意圖4.1總線分類與選擇

同步方式,數據的傳輸在一個共同的時鐘控制下進行,總線的操作有固定的時序,設備不需判斷下一步應采取什么動作,實現簡單,成本低,速度也較快。主要有兩個缺點:一是所有的設備只能按一個速度工作,即所有設備都按最慢設備速度工作;二是同步總線長度受到限制,太長容易發生時鐘變形。

異步方式下,總線操作時序不是固定的,每個操作步驟由一個信號來標識,根據控制信號間的時序關系,異步方式又可以分為互鎖的和非互鎖的。互鎖方式采用握手協議來協調動作。缺點是控制比較復雜,對噪聲較敏感。異步方式可以連接更多種類的設備,可使用任意長度總線而無時鐘變形或同步問題。它在每次傳輸前都要有控制信號,增加了開銷,所以選擇同步方式還是異步方式的關鍵就在于:連接距離、設備數和所需帶寬。

半同步方式是上述兩種方式的折衷方案。系統也有一個集中的時鐘,控制信號的出現受時鐘信號的支配,各信號間的間隔是時鐘周期的整數倍,相當于在同步總線中增加了等待協議,從而避免了同步總線中在操作速度不確定時的性能下降。半同步方式實際上是將時間量規范化的異步方式,也是實際常用的一種異步方式,且半同步方式具有同步方式受信號噪音影響小的優點。長時鐘變形短同步方式更好異步方式更好相近I/O設備速度相差大圖6-9異步和同步方式比較4.1總線分類與選擇

4.2總線標準I/O系統中,I/O設備的數量和種類是不斷變化的,為了適應這種變化,I/O設備接口和總線設計者必須遵循一定的標準進行總線和I/O設備接口設計。標準是一些指導互聯的規范,可以讓兩方面的設計者分別工作,而又能設計出互相兼容的裝置。4.2總線標準總線標準形成的三種途徑:1.由某些計算機廠家首先提出,隨后逐漸被其它計算機廠商使用而形成的所謂事實標準的(factostandards),如IBMPC-AT總線、DEC、PDP-11Unibus和Qbus等。2.如果總線足夠成功,由總線專利創始人提出建議,將其總線規范由專家給予技術評價和修改,進而被標準化組織如CNSI或IEEE采用而納入國家或國際標準,如Intel的Multibus5100總線。3.由專家小組在標準化組織的主持下從事開發和制定總線標準的工作,標準以一種自上而下的方式普及,如FutmeBus,FootBus及著名的PCI等。4.2總線標準EISA總線

EISA總線是在IBM-PC上的ISA總線基礎上發展起來的32位總線(時鐘頻率33MHz)。ISA總線也稱AT總線,是IBM為PC/XT設計的總線標準,原先寬度16位,時鐘頻率8.33MHz。EISA在ISA的基礎上擴展了DMA通道、多處理器方式的裁決、共享中斷和配置管理功能。增加了塊DMA方式,允許8個DMA控制器按指定優先級占用DMA設備,從而可允許多用戶操作。EISA還提供了中斷共享功能,允許用戶配置各個設備共享一個中斷。4.2總線標準SCSI

總線

SCSI(smallcomputersysteminterface小型計算機接口)是一種來源于數組多種通道的I/O總線,它最初是用于大中型計算機系統的,后來才一直到小型微型計算機系統上。

SCSI是磁盤存儲設備的接口,具有靈活性、設備獨立性等特點,在磁帶設備、打印設備、光盤設備等I/O設備接口中得到普遍應用,并發展到許多新的I/O設備和計算機網絡、計算機工業控制等領域。采用SCSI總線,主機通過適配器以SCSI總線連接。SCSI可連接多個適配器和多個外設控制器,每個外設控制器可控制一個或多個外設,控制器與外設之間的通訊接口是設備級的局部輸入輸出接口(圖6-10)。4.2總線標準主機1SCSI

總線適配器主機2外設控制器外設控制器外設控制器外設1外設2外設3外設i外設j

外設n適配器圖6-10SCSI系統結構SCSI

總線SCSI總線可以連接多種設備級局部輸入輸出接口,具備與設備無關的高級命令系統,SCSI通過一種分層管理來實現這種獨立與具體外設的特性(圖6-11)。SCSI總線有異步和同步數據傳輸方式,SCSI-1的8位數據線可使通常使用的異部傳輸方式能實現最大1.5MB/s的傳輸速率,在同步方式下的傳輸速率可達4MB/s。SCSI設備之間通常采用消息系統,“消息”是主設備和從設備見的“會話語言”,SCSI將每個設備都賦一個標示號,從0~7共8個,標識號大的設備享有高的優先權,并采用菊花鏈方式互連。4.2總線標準主機適配器控制器外設(系統總線)MultiBus-I,IIVMEBusSTDBusIBM-PCBus(I/O總線)SCSIIPI-3QIC-2(設備級總線)ST506/412ESDISMDIPI-2QIC-36圖6-11SCSI系統層次圖4.2總線標準4.2總線標準PCI

總線PCI(peripheralcomponentinterconnect,外圍部件互連總線)是1992年以Inter公司為首的一個聯合體設計的總線,這是一種同步I/O總線,數據線32位,可擴充到64位,傳送最高速度為133M/s,適于圖形顯示等要求高速數據傳輸的應用場合。該總線支持自動配置,不需設置開關及跳線,有即插即用(plus&play)特性。4.2總線標準在PCI總線系統中,總線分為外部總線,PCI總線和I/O總線三層次。在PCI總線上可連接顯示器、存儲器和網格控制器等,PCI總線通過PCI橋與計算機存儲總線相連接,因此擴展能力很強,可支持需要對主存或相互之間進行快速訪問的多種適配器,并允許CPU以全速訪問。在PCI總線中,將主設備和從設備統稱中介(Agents),所有總線上的數據傳輸都采用突發方式傳輸(或稱高速傳輸)。突發的長度可以任意,由主從設備自行商定。每次突發方式的傳送由以下兩個階段組成:1.地址階段,輸出地址和傳輸類型。2.數據階段,如果從設備和當前主設備都能進行零等待傳輸,則進入數據階段在每個后續的數據階段都將傳輸一個數據(32/64位)。于是一個PCI總線操作就由一個地址階段和其后的一個或幾個數據階段組成,一個地址階段的持續期是一個PCI時鐘信號周期,數據階段的數量則取決與突發傳輸中的數據傳輸量,每個數據階段傳輸一個數據,一個數據階段至少由一個時鐘周期組成,在一個數據階段中可插入等待狀態。在地址階段中,主設備制定了從設備和傳輸操作類型,這些信息分別通過發放PCI地址碼和命令類型字來表示。各設備在收到這些信息后,先判斷自身是否是被呼叫的從設備,如果是,對命令進行譯碼,并發出一個PCI信號作為對該操作的應答,然后開始數據階段,如果主設備收不到這樣一個信號,在過了一個預定時間后就終止操作。4.2總線標準在數據階段中,主設備和從設備間相互傳遞數據,數據階段長度由“命令/字節”使總線信號決定,這些信號由主設備在數據階段發出并使之有效(即所謂激活),PCI總線為主設備和從設備都定義了表示就緒的信號線,如果未就緒,還能在該數據階段擴展一個時鐘周期,主設備通過一個成幀信號——FRAME來標識整個突發方式傳輸的持續期。這個PCI信號在地址階段開始時發出,保持有效到最后一個數據階段,當它復位后,就表示突發傳輸的最后一次數據傳輸正在進行之中,緊接著驅動就緒信號表示以準備好最后一次數據傳輸,當最后一次數據傳輸完成后,主設備通過取消就緒信號使PCI總線恢復空閑。4.2總線標準4.2總線標準

PCI總線信號線由地址和數據線、接口控制線、仲裁線、系統線,還有中斷請求線、邊界掃描線信號、高速緩存支持、出錯報告、接口控制等可選信號線組成。系統信號是時鐘信號CLK和復位線RST,CLK信號是總線上所有設備的一個輸入信號,為系統提供定時,RST信號使其它信號線處于三態。4.2總線標準IPI總線

IPI(intelligentperipheralinterface智能外圍接口)是一種智能化的I/O接口總線,它的層次結構使得它的智能化程序可以按需要選擇。根據現有ANSI協議,它被定義成4層,但實際上還可擴充,其層次結構如圖6-12。IPI有三個特點:一是具有高級命令結構,一個主機可以配置最多8個外設,按需要可以選擇0~3級不同的智能。二是傳輸速率高,它是一種并行接口,數據總線寬度為16位,定義最高傳輸速率達10MB/s,總線寬度和數據速度還在不斷的提高。三是有設備獨立性,可以同時控制多種輸入輸出設備,而且設備的更新不用更換硬件結構和系統軟件。圖6-12IPI層次圖4.2總線標準4.2總線標準

IPI體系結構可以分為三級:主級-從級-設備級,其關系是主級控制著從級,從級按主級的要求用邏輯地址和設備命令來管理設備。在IPI體系結構中,主機是主級,IPI子系統是從級,在IPI子系統內部,IPI的從級還可以再用IPI構成多級IPI結構,IPI采用6根控制信號線和兩組9位數據線,控制信號線中5根用于主級到從級的命令,可表示25~32種總線狀態,一根用于從級到主級的響應。兩組數據線分別叫A總線和B總線,各由8位數據加1位奇偶校驗組成,它們有兩種工作方式:半雙工、全雙工。半雙工工作方式中A總線傳送主級到從級的控制信息,B總線進行從級到主級的傳送,全雙工工作方式中A,B兩總線共同并行進行16位數據傳輸,傳送的具體方向有控制信號決定。表6-3一些I/O總線性能一覽表4.2總線標準5.

I/O子系統性能測量

引言

I/O性能預測

I/O系統性能測量I/O的性能和CPU的性能是不一樣的,這主要有兩個原因:一是I/O設備的多樣性,有許多相互間完全不同的I/O設備;二是數量的不確定性,一臺計算機可以同時連接多個I/O設備。5.1引言I/O性能的兩種測量方法:⑴用CPU性能標志響應時間(responsetime,也稱時延(latency))和吞吐量(throughput,也稱I/O帶寬(I/Oband-width))來測量。⑵I/O處理使用CPU的時間,進行I/O控制和傳輸都要占用CPU時間,處理I/O中斷也要占用CPU時間,從而將影響CPU處理其它事物。生產者服務者圖6-13生產者—服務者模型隊列I/O系統可看作為一個生產—服務模型,如圖6-13所示。生產者產生待處理的任務放入任務隊列中,而服務器從任務隊列中取出任務并處理之。但在I/O系統中,這兩個性能指標對系統的要求是很不一致的,響應時間是任務放入任務隊列到服務器完成處理的時間,所以任務隊列越短,任務在任務隊列中停留時間就越短,相應地響應時間也越短。而吞吐量是單位時間內服務者所處理的平均任務數,故而要求任務隊列盡量不能空。顯然這兩個要求是互相矛盾的。5.1引言圖6-14時間與吞吐量的關系圖5.1引言占總吞吐量的百分比響應時間(ms)圖6-14畫出了響應時間與吞吐量之間的關系。從圖中可以看到,響應時間短一點,對吞吐量的影響就很大,故而同時提高兩個指標是很困難的一件事。圖6-15人機交互情況下一個系統運行情況分析051015時間(s)輸入時間系統響應時間思考時間圖形負載,系統響應時間1.0秒傳統交互負載,系統響應時間1.0秒5.1引言由圖6-15中可以看出,減少系統響應時間不僅減少了作業時間中的系統響應時間部分,同時將提高系統的產出量,將系統時間減少9.7s后,傳統交互負載的作業時間下降了4.9s,即下降了34%,圖形處理的作業時間下降了2s,下降10%,這樣的結果是由人的一個特點引起的:人在響應快時,本身的思考也快。5.1引言無論怎樣解釋這種現象,系統響應時間對產出量的影響很大是一個事實。實際上,當計算機系統響應時間降至1s以下時,產出量呈現非線性的飛速增長,圖6-16比較了新手、一般工程人員和計算機專業人員在圖形顯示器上進行物理設計時的產出量隨系統響應時間的變化曲線。在圖中可以看到,在響應速度快的系統上工作的初學者和一般工程人員的產出量比在響應時間慢的系統上工作的專家的產出量要高,隨著響應時間的縮短,所有人的產出量都會大幅提高,所以響應時間的縮短,在與吞吐量的比較中應占有更重要的地位,畢竟人是計算機的主宰。人的特性更為重要。圖6-16新手、一般工程人員和計算機專業人員在圖形顯示器上進行物理設計時的產出量隨系統響應時間的變化曲線05001000150020002500300035004000450050000.260.310.370.50.7711.5系統響應時間(秒)用戶工作效率(每小時完成的操作)新手工程師專家5.1引言5.2I/O性能預測這一節中,我們將討論如何從理論上預測和計算I/O的性能,在設計I/O系統時,I/O系統的系統是無法用測量得到的,于是理論預測就成為設計I/O系統時的一個重要步驟。我們先從一個黑箱模型開始,在這個模型中,一個I/O系統被看作是一個黑箱,如圖6-17所示,CPU向這個黑箱發出I/O任務請求,由黑箱處理后,任務再離開黑箱。圖6-17I/O系統的黑箱模型離開到來5.2I/O性能預測這里我們只研究系統的穩定狀態,即系統運行足夠長的時間后,達到一種狀態,此時的到達速率和離去速率應該相等,這時可用Little定律描述這一狀態,其表達形式為:系統中的平均任務數=到達速率×平均響應時間圖6-18I/O系統的真實模型到來服務排隊I/O控制器及設備5.2I/O性能預測Little定律

這里我們只研究系統的穩定狀態,即系統運行足夠長時間后,達到的一種狀態。此時任務的到達速率和離去速率應該相等,這時可用Little定律描述這一狀態:

系統中的平均任務數=達到速率×平均響應時間

Lsys=R×Tsys5.2I/O性能預測系統利用率

為了評估一個I/O系統忙閑程度,我們引入一個叫系統利用率(systemutilization,以U表示)的概念,它的計算公式為

U=R/服務速率系統利用率的值域在0到1之間,否則就意味著到達I/O系統的任務比I/O系統所處理的要多,違反了前面說的平衡狀態條件,系統利用率有時也稱為通訊密度。5.2I/O性能預測[例6-1]設一個單磁盤的I/O系統每秒接收到10個I/O請求,而磁盤處理每個任務平均約需50ms。I/O系統的利用率是多少?解:服務速度=1/服務時間=20I/O任務/s(簡稱IOPS)則 系統利用率=到達速率/服務速率=0.5由Little定律得: 隊列長度=到達速率×等待(排隊)時間 服務長度=到達速率×服務時間[例6-2]設完成一個磁盤I/O請求的平均時間為50ms,磁盤收到的I/O請求為200IOPS,在服務器磁盤中的平均I/O請求個數是多少?解:服務長度=到達速率×服務時間=105.2I/O性能預測

如何從隊列中取出任務稱為隊列規則(queueprinciple),最簡單常用的規則為先進先出規則(first-in-first-out,FIFO),如果用先進先出方法,我們可以得到下式

系統時間=隊列長度×服務時間+新任務到達后完成目前任務的平均時間上式中最后一項計算起來并不像想象中那么簡單,新任務可以在任一時刻到達,也沒有辦法估計一個特定的任務要在系統中停留多少時間,為此,先介紹一些概率論的基礎知識。描述隨機變量概率分布的一種方法是直方圖(histogram)。它將一定范圍內的取值劃為一個桶(bucket),將每個桶中取值概率相加,然后將其用不同長度的柱(column)表示,但它只適用于離散型的隨機變量,對于連續隨機變量的概率分布,必須用等值線上的連續曲線才能精確表示。5.2I/O性能預測平均服務時間=(f1×T1+f2×T2+…+fn×Tn)/∑fi這里Ti————任務i的服務時間,

fi————其概率。為表示實際值與平均值的偏離程度,可以用標準差或方差,后者是前者的平方。這里我們用方差,計算公式為

方差=∑(fi×(Ti-平均服務時間)2)/∑fi方差的缺點是其所使用的單位所造成的,由于它的單位是原單位的二次方,給使用和換算帶來一定困難,為了防止這個問題,常用一個叫協方差的量來計算。常簡寫為C表示

協方差(C)=方差/平均服務時間25.2I/O性能預測平均停留服務時間=1/2×平均服務時間×(1+C)[例6-3]以平均服務時間,服務器利用率,協方差計算新任務在隊列中的平均等待時間。解:Tq=Lq×

Tsvr+服務器利用率×平均停留服務時間Tq=服務器利用率×(1/2×Tsvr×(1+C))+(R×Tsvr)×TqTq=服務器利用率×(1/2×Tsvr×(1+C))+服務器利用率×TqTq-服務器利用率×Tq=服務器利用率×(1/2×Tsvr×(1+C))Tq=(服務器利用率×Tsvr×(1+C))/(2×(1-服務器利用率))設各任務為指數分布,則C=1,上式可簡化成

Tq=服務器利用率/(1-服務器利用率)5.2I/O性能預測上面的公式都是基于應用數學的一個領域叫排隊論(queuingtheory),排隊論推導的結果一般只能逼近所需的結果,而不能得到真實的預測,因為實際系統要比理論模型復雜得多。和計算機科學中常用到的一些方法不同,它認為事件間是彼此獨立的,過去事件和現在事件之間沒有聯系,而計算機中常用的一些理論則以過去和現在有關為基礎,比如Cache或虛存中內容更新的一些算法(LRU),都是如此。排隊論的應用通常以模型和實驗為基礎,先建立模型,再進行試驗。如果結果是對的,就用這個模型來進行計算和預測。5.2I/O性能預測我們總結一直所用的排隊模型,并有以下假設:⑴系統是穩定的;⑵兩個相繼請求到來之間的時間稱間隔時間(intervaltimes)服從指數分布;⑶請求的個數是無限的(在排隊論中叫無限人口模型infinitepopulationmodel);⑷服務器在為前一個請求服務后能立即為下一個請求服務;⑸隊列的長度是無限的,遵守先入先出原則;⑹隊列中所有任務都必須完成。

這樣的隊列在排隊論中稱M/G/1模型,各字母含義為

M:為無記憶,任務請求服從指數分布;

G:普通服務分布,非指數分布;

1:服務器只有一個。5.2I/O性能預測

如果時間間隔服從指數分布,模型就成為M/M/1,這個模型就是上例中簡化后的最后結果,它是一個最簡單的模型,使用廣泛。指數分布假設在排隊論中使用很廣,理由有兩個:

⑴一是許多計算機中的隨機事件服從指數分布,從而使用它是較準確的;

⑵另外一個原因則是計算簡單。下面給出幾個例子:5.2I/O性能預測[例6-4]設一個處理器以10IOPS速率發請求,它們都服從指數分布,平均磁盤服務時間為20ms,問:1.磁盤平均利用率為多少?2.平均用在排隊上的時間為多少?3.90%的排隊時間小于多少?4.包括排隊時間和磁盤服務時間在內,磁盤的平均響應時間是多少?解:1.服務器利用率=到達速率/服務速率=10/(1/0.02)=0.22.平均排隊時間=平均服務時間×服務器利用率/(1-服務器利用率)=20×0.2/(1-0.2)=5(ms)3.從表6-4中查到,90%的排隊時間小于平均排隊時間的2.3倍,即2.3×5=11.5(ms)4.平均排隊時間+平均服務時間=5+20=25(ms)5.2I/O性能預測5.3I/O系統性能測量在上一節中,我們討論了對I/O系統性能的預測,但僅有預測是不夠的,實際測量能為我們提供I/O系統性能的實驗值,并為預測模型提供檢驗,幫助建立預測模型的和選擇參數進行性能測量的方法一般是采用基準測試程序(benchmark)。這是一些專門為檢驗性能編寫的小程序,可以測量I/O的基本性能,下面介紹用于測量磁盤系統性能的三種基準測試程序。5.3I/O系統性能測量事務處理基準測試程序

事務處理或在線事務處理(transactionprocessingTP;on_linetransactionprocessingOLip)用來測量數據庫的I/O性能。由于要處理的工作通常包括對一些共享數據的存取和保護,所以它更注重的是I/O速率,也就是單位時間內磁盤存取的次數,而不是數據速率。此外,TP系統還必須有在系統出錯時保持數據一致性的功能。此外,TP系統還必須有在系統出錯時保持數據一致性的功能。比如,一個銀行的計算機在客戶提錢時崩潰了,TP系統就必須保證客戶拿走的錢與銀行帳戶上的錢是一致的。5.3I/O系統性能測量由幾十個成員組成的TP協會(TPcommunity,TPC)推出了一種事務處理基準程序DebitCredit,這個軟件模擬銀行柜員的工作,測量系統的事務處理能力。模擬銀行客戶的存取操作,并以一個叫做每秒執行事務數(transactionspersecond,TPS)的單位進行計量。TPC共同推出四種基準測試程序,TPC-A和TPC-B,在它們的基礎之上發展出模擬復雜查詢處理的基準測試程序TPC-C和模擬決策支持的TPC-D。根據TP系統設計的靈巧程度,每次事務進行2~10次磁盤存取,花掉5000~20000條CPU指令執行的時間,這主要取決于TP系統軟件的效率,另外還取決于有多少磁盤存取能轉換為對主存的存取。所以TPC軟機不僅測量了計算機的I/O性能,也測量了用到的數據庫TP軟件。TPC主要測的是在90%事務的響應時間不超過兩秒的情況下的峰值TPS指標,基準測試程序還要求當TPS增加時,模擬的柜員數和記帳文件大小也應增加,如表6-5所示。這樣做的目的是保證基準測試程序確定測量I/O指標,否則在柜員很少或記帳文件很小的情況下,數據會直接在內存的磁盤緩沖區內讀寫,從而得到很高的虛假TPS值。5.3I/O系統性能測量TPC-A和TPC-B的另一個引人注目的優點是它能比較兩臺不同配置的計算機的性能,除了報告TPS之外,基準測試程序也報告每個TPS的成本。5.3I/O系統性能測量表6-5模擬的柜員數和記帳文件大小關系5.3I/O系統性能測量系統文件服務器(system-levelfileserver,SFS)基準測試程序

SPEC基準測試程序是以測量處理器性能而聞名的,但是它也測試其它方面的指標。1990年,七家公司聯合推出一種綜合基準測試程序叫SFS,用來測量運行SUNMicrosystems

網絡文件系統NFS的計算機性能。這種基準測試軟件提供由比例適當的讀寫操作及其它(如文件檢查)操作組合而成的測量程序來測量NFS系統。SFS提供適合于進行性能比較的缺省參數,如所有寫操作的一半在一個8KB的塊中完成,其余的一半在一些1,2或4KB大小的快中完成;或者讀85%的整塊和15%的零星碎塊等缺省參數。像TPC-B一樣,SFS按吞吐量大小對文件系統大小提出要求,如對一個能進行每秒100次NFS操作的系統,要求其大小必須增加1GB。SFS也像TPC一樣限制了平均相應時間,上限為50ms,SFS但不像TPC,提供了標準化的統一指標以便比較不同配置的計算機的性能。5.3I/O系統性能測量5.3I/O系統性能測量自擴展(self-scaling)的I/O基準測試程序

自擴展的I/O性能分析程序是由Chen和Patterson在1994年提出的,這種自擴展基準測試程序可以根據所測系統的性能自行改變測量尺度。在前面的TPC-B的SPEC中我們已經看到改變測量參數以適應不同尺度的例子,但這種基準測試程序可以測量參數變化范圍更廣的系統,因而具有更大的適應性。它通過五個參數,從不同方面衡量和測試一個系統,這五個參數是:5.3I/O系統性能測量自擴展(self-scaling)的I/O基準測試程序1.存取的獨立字節數:工作負載所讀寫的獨立字節數(不重復的),實際上,這就是工作負載存取的數據集合大小。2.讀操作占總操作的百分比。3.平均I/O請求大小。從一個指數分布是選擇的。4.順序請求所占百分比。如一個請求與前一個請求是順序相連的,則稱他們是順序請求。比如在磁盤請求中,有一半的請求與它的前一個請求在磁盤位置上是相鄰的,就可認為順序請求所占百分比是50%。5.進程數。負載的并行程度,即可同時執行I/O操作的進程數目。5.3I/O系統性能測量基準測試程序先對這五個參數取一個對系統性能來說沒有影響的額定值(nominal),然后依次固定4個值,改變一個值,進行測量,但第一個值不能改變,因為這牽涉到是真的在磁盤上讀寫還是在內存文件緩沖區讀寫的問題,對系統性能影響很大。故一般由基準測試程序自動選擇兩個測試值,進行測試。5.3I/O系統性能測量

測試的結果指標分別按五個參數畫出性能曲線圖,由此就可以了解I/O系統的性能狀況,但這樣的測試也帶來了一個問題,即難以對不同I/O系統的性能進行公正的比較,因為各I/O系統的性能指標都是由自擴展基準測試程序在不同的負載下測出的,沒有可比性。所以,在進行了測試之后,還必須作第二步工作,即估計I/O系統在自擴展基準測試程序所未測的負載之下的性能,估計的原則是假設一個參數的性能曲線形狀與其他參數無關,寫成公式如下:

Perf(X,Y,Z)=Perf(X額定,Y額定,Z額定,…)×fx(X)×fy(Y)×fz(Z)…其中:Perf(X,Y,Z)為I/O系統在參數為X,Y,Z時的性能,X額定,Y額定,Z額定為參數的一個初始額定值,

fx(X)為其它參數不變時,X參數的變化影響系統性能的比率,fy(Y),fz(Z)同理。Chen和Patterson聲稱,用這樣的方法估計,對大多數負載情況誤差不超過10%。引言設計一個I/O系統的中心問題是怎樣在防止造成I/O瓶頸的情況下設計一個符合預定性能和成本的系統,此外,一個良好的I/O系統還必須有可擴充性,根據性能要求的不同,設計時應側重不同的方面,下面列出設計I/O系統的六步方案:6.

總結6.

總結

1.列出計算機將連接的各種I/O設備,或計算機支持的總線標準。2.列出各I/O設備的物理要求,如體積,功率,接插件,總線槽,擴展機箱等。3.列出各種I/O設備的成本,包括控制這些I/O設備的成本。4.記下各種I/O設備對CP資源的要求,包括啟動,支持到終止一個I/O設備的時間,CPU等待I/O操作所需的時間,比如等待I/O完成對內存,總線,Cache的使用和從I/O操作中恢復過來的時間(比如等待I/O后高速緩沖的刷新(flush))。5.列出I/O設備對存儲器和總線資源的需求,即使在CPU不使用存儲器時,存儲器的容量和帶寬也是有限的。6.最后對各種組織I/O設備的方法進行綜合分析和測評,選擇一種合理方案。6.

總結

性能價格比是影響I/O系統實現的重要因素,衡量性能的參數可以是每秒傳送的兆字節數或每秒I/O操作數IOPS,可以按具體要求選擇。對于要求高性能的系統,主要是設法提高I/O設備的速度和數據傳送的速度等;對于低成本系統,則著重考慮降低成本。下面舉例說明I/O設計的過程。如,按下列條件設計一個I/O系統:6.

總結一個500MIPSCPU價格為$30000。一個16位寬存儲器,讀出周期100ns。一條20MB/S的I/O總線,可以為20條SCSI-2總線和控制器所用。SCSI-2總線可以具有20MB/s的傳輸率,最多支持15個磁盤。每個SCSI-2控制器價值1500美圓,會使磁盤I/O增加1ms時延。操作系統進行一次磁盤I/O需要10000條CPU指令。可選用8GB的大硬盤或2GB的小硬盤,每MB價格$.25。6.

總結8.磁盤轉速7200RB,平均尋道時間為8ms,傳輸速率為6MB/s。9.要求總外存為200GB。10.I/O傳送平均大小為16KB。評估在用大磁盤(2GB)和大磁盤(8GB)時的IOPS,設每次磁盤I/O開銷包括平均尋道時間和平均旋轉時延,設所有的設備可用到100%的容量,且各磁盤機上負載平衡。答:I/O性能由其性能最差的一部分決定,所有我們應逐個檢查I/O性能的各個方面,再得出最終結果。6.

總結讓我們從計算CPU,主存,I/O總線的IOPS開始

CPU可達到的最大IPOS=CPU速度(以MIPS計)/每次I/O操作所需指令數=500MIPS/

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論