云計算技術

單元6網絡文件系統、對象存儲服務單元概述

本單元將介紹亞馬遜云科技的兩個存儲服務的使用：網絡文件系統服務AmazonEFSAmazonElasticFileSystem提供簡單、可擴展、完全托管的彈性NFS（Liunx系統之間常用的文件共享方式）文件系統可以讓亞馬遜云科技上的云主機（實例）、甚至本地的主機進行掛載對象存儲服務AmazonS3AmazonSimpleStorageService是一種對象存儲服務（OBS，ObjectStorageService）具有高可擴展性、數據可用性、安全性和性能各種應用可以使用AmazonS3來存儲數據，容量幾乎不限學習目標知識點：什么是AmazonEFSAmazonEFS的特點什么是對象存儲（OBS）存儲桶、對象的概念對象存儲的架構對象的版本控制概念存儲桶的生命周期概念、存儲的類型存儲桶的控制列表(ACL)對象的控制列表(ACL)存儲桶策略技能點：創建AmazonEFS在Linux上手動掛載AmazonEFS在Linux上自動掛載AmazonEFS創建存儲桶、在存儲桶創建文件夾和上傳對象訪問對象的前版本，使用對象的版本恢復刪除的對象管理存儲桶的生命周期使用對象的控制列表(ACL)控制對象的訪問使用存儲桶策略控制對象的訪問利用S3托管靜態網站

項目1使用關系型數據庫服務項目描述本項目將在AmazonWebServices中創建一個文件系統，該文件系統有兩個子目錄，分別針對兩個子目錄創建接入點；把文件系統根目錄及接入點掛載到Linux實例Linux系統之間的文件共享經常是使用NFS（NetworkFileSystem）服務AmazonWebServices提供了云上的NFS，稱為AmazonElasticFileSystem任務1知識預備與方案設計項目1使用關系型數據庫服務1.什么是AmazonEFS服務AmazonEFS提供彈性NFS文件系統，可與云服務和本地資源結合使用可不中斷應用程序的情況下按需擴展至PB級提供對數千個EC2實例的大規模并行共享訪問，能夠以低延遲實現高水平的聚合吞吐量和IOPS2.AmazonEFS服務特點AmazonEFS服務使用簡單、可擴展、完全托管AmazonEFS支持身份驗證、授權和加密功能AmazonEFS支持兩種形式的加密：傳輸中加密和靜態加密AmazonEFS提供兩種存儲類別：Standard和InfrequentAccessAmazonEFS支持NFSv4.1和NFSv4.0協議項目1使用關系型數據庫服務3.方案設計本項目在中國（北京）區域（cn-north-1）創建VPC，名稱為MyVPCLinux實例位于Public-net-2子網，用于測試連接到EFS創建EFS文件系統，名為EFS-SZ，啟用靜態加密，性能模式為：一般用途在Linux實例上掛載該文件系統，并創建兩個子目錄dir-1、dir-2在Linux實例上實現開機自動掛載接入點任務2創建彈性文件系統項目1使用關系型數據庫服務1.創建VPC參見學習單元3的步驟創建MyVPC注意：在該VPC務必要啟用“DNS主機名”和“DNS解析”2.創建EC2參見學習單元2的步驟創建Linux實例，并且能從管理員計算機登錄到該實例Linux實例的AMI為“AmazonLinux2AMI(HVM),SSDVolumeType”實例類型為t2.micro，連接在Public-net-2網絡上自動分配公有IP，安全組允許TCP22流量（即SSH流量）通過項目1使用關系型數據庫服務3.創建安全組參見單元3的步驟，在MyVPC上創建安全組SecGRPPermitNFS該安全組將允許/16網絡（即MyVPC）主機訪問EFSEFS使用的是NFS協議項目1使用關系型數據庫服務4.創建文件系統（1）準備好VPC和安全組后，可以開始創建文件系統了。在AmazonWebServices控制臺，單擊“服務”→“存儲和內容分發”→“EFS”→“文件系統”鏈接，單擊“創建文件系統”按鈕，在彈出窗口單擊“自定義”按鈕展開窗口設置：名稱；啟用自動備份生命周期管理；性能模式吞吐量模式；啟用靜態數據的加密單擊“下一步”按鈕項目1使用關系型數據庫服務（2）在VPC列表選中之前創建好的“MyVPC”系統會自動每個可用區“cn-north-1a”、“cn-north-1b”添加掛載目標強烈建議在VPC的每個可用區都添加一個掛載點，避免客戶端跨可用區掛載EFS可用區“cn-north-1a”的子網選擇“Private-net-1”、“Private-net-2”安全組選擇“SecGRPPermitNFS”。單擊“下一步”按鈕項目1使用關系型數據庫服務（3）文件系統策略用來控制EFS客戶端的訪問權限，單擊“下一步”按鈕在下一窗口，確認以上設置的參數無誤后，單擊“創建”按鈕，注意文件系統的ID，稍后需要用到“阻止根訪問”：阻止根用戶（root）訪問EFS“強制執行只讀訪問”：只能讀取EFS“對所有客戶端強制執行傳輸中加密”：EFS客戶和EFS之間加密傳輸可以手工在策略編輯器{JSON}窗口里創建策略：elasticfilesystem:ClientMount提供對文件系統的只讀訪問權限elasticfilesystem:ClientMount提供對文件系統的只讀訪問權限elasticfilesystem:ClientRootAccess提供對文件系統的根的訪問權限elasticfilesystem:ClientWrite提供對文件系統的寫入權限項目1使用關系型數據庫服務（4）單擊列表中的文件系統，可以看到文件系統的詳細信息單擊“連接”按鈕，可以看到如何在Linux掛載文件系統的方法項目1使用關系型數據庫服務任務3在Linux上掛載彈性文件系統1.在Linux上使用EFS掛載幫助程序掛載文件系統（1）遠程登錄到Linux實例（2）安裝掛載幫助程序amazon-efs-utils軟件包在Linux上執行以下命令：sudoyuminstall-yamazon-efs-utils（3）創建掛載點執行以下命令：sudomkdir/efs（4）掛載EFS執行以下命令，其中以“fs-7eda6fe3”是文件系統的IDsudomount-tefs-otlsfs-7eda6fe3://efs項目1使用關系型數據庫服務（5）測試執行以下命令，往/efs目錄寫入文件，并創建兩個子目錄供后續步驟使用cd/efssudotouchtest.txtsudomkdirdir-1sudomkdirdir-2（6）卸載目錄執行以下命令可以卸載cd/sudoumount/efs項目1使用關系型數據庫服務2.使用接入點掛載文件系統（1）單擊“接入點”→“創建接入點”，根目錄路徑為EFS上的/dir-1其他選項保持默認值，單擊“創建接入點”按鈕為創建好的接入點，注意接入點的ID以同樣方式，創建accesspoint-2，根目錄為/dir-2項目1使用關系型數據庫服務（2）使用接入點掛載如下命令，其中“fsap-04d1be279f5fa1a0f”是接入點的ID

sudomount-tefs-otls,accesspoint=fsap-04d1be279f5fa1a0ffs-7eda6fe3:/efs（3）Linux開機自動掛載要實現自動掛載，需要在/etc/fstab配置文件加如以下行：fs-7eda6fe3/efsefs_netdev,noresvport,tls,accesspoint=fsap-04d1be279f5fa1a0f00重新啟動系統測試項目2使用對象存儲服務項目描述本項目將創建兩個存儲桶，分別用以存放不能公開訪問的文件和托管企業的靜態網站AmazonS3(AmazonSimpleStorageService)，是一種對象存儲服務，提供行業領先的可擴展性、數據可用性、安全性和性能規模和行業的客戶都可以使用AmazonS3來存儲并保護各種用例（如數據湖、網站、移動應用程序、備份和還原、存檔、企業應用程序、IoT設備和大數據分析）的數據，容量不限任務1知識預備與方案設計項目2使用對象存儲服務1.對象存儲對象存儲服務是一個基于對象的海量存儲服務，為客戶提供海量、安全、高可靠、低成本的數據存儲能力對象存儲系統和單個桶（Bucket）都沒有總數據容量和對象/文件數量的限制對象存儲是一項面向Internet訪問的服務，用戶可以接到Internet的電腦，通過控制臺或各種工具訪問和管理存儲在對象存儲中的數據對象存儲支持SDK和對象存儲API接口，可使用戶方便管理自己存儲在對象存儲上的數據，以及開發多種類型的上層業務應用項目2使用對象存儲服務1.對象存儲對象（Object）是AmazonS3中存儲的基礎實體。對象由對象數據（Data）和元數據（Metadata）組成。數據部分對AmazonS3是不透明的元數據是一組描述對象的名稱--值對，其中包括一些默認元數據（如上次修改日期）和標準HTTP元數據（如Content-Type），用戶還可以在存儲對象時指定自定義元數據項目2使用對象存儲服務2.對象存儲架構與FAT32、NTFS之類的文件系統相比，對象存儲將元數據（Metadata）獨立了出來，元數據里寫明了數據的所有屬性，包括打散后的每個塊所存儲的位置。對象存儲將元數據和數據進行了分開存儲，這樣只要讀取到了元數據，就能找到所有的數據塊，并可以同時對數據塊進行讀取，大大提高了數據處理的效率項目2使用對象存儲服務2.對象存儲架構MDS控制Client與OSD對象的交互，主要提供以下幾個功能：（1）對象存儲訪問（2）文件和目錄訪問管理（3）ClientCache一致性OSD提供三個主要功能：（1）數據存儲（2）優化的數據分布（3）每個對象元數據的管理項目2使用對象存儲服務3.方案設計本項目在區域（cn-north-1）創建兩個存儲桶，szpt20210403和szptweb存儲桶szpt20210403存放不能公開訪問的文件，啟用版本控制、服務器端加密創建生命周期規則，把180天以上的非當前版本的對象轉儲到“智能分層”配置存儲桶訪問控制列表(ACL)，阻止所有公開訪問創建存儲桶策略，授權新建用戶zhang_ning可以從存儲桶下載對象szptweb用以托管靜態的網站，需公開訪問對象存儲的優點：（1）容量無限大。對象存儲的容量是EB級以上（1EB=1048576TB）（2）數據安全可靠。數據持久性可以達到99.999999999%（一共11個9）（3）使用方便。對象存儲是一個非常方便的存儲方式任務2使用存儲桶項目2使用對象存儲服務1.創建存儲桶（1）以管理員身份登錄AmazonWebServices控制臺，單擊“服務”→“存儲和內容分發”→“S3”→“存儲桶”鏈接→“創建存儲桶”按鈕。輸入存儲桶的名稱，須保證名稱全球唯一；選擇存儲桶的區域，區域一旦選定不可更改項目2使用對象存儲服務（2）保持“阻止所有公開訪問”，則阻止對此存儲桶及其對象的公開訪問。版本控制是將某一對象的多個版本保留在同一存儲桶中的一種方法，用戶可以使用版本控制來保留、檢索以及還原存儲在AmazonS3存儲桶中每個對象的每個版本。默認時存儲桶的版本控制是禁用的，本例選擇“啟用”項目2使用對象存儲服務（3）單擊“添加標簽”按鈕，可以為存儲桶添加標簽來跟蹤存儲成本或其他標準。如果選擇“啟用”服務器端加密，并選擇“加密密鑰類型”，則存儲桶中存儲對象時將加密對象（4）單擊“創建存儲桶”按鈕，完成創建。則在存儲桶列表中可以看到新創建的存儲桶項目2使用對象存儲服務2.存儲桶的基本使用（1）創建文件夾。單擊新創建的存儲桶szpt20210403鏈接，單擊“創建文件夾”按鈕。輸入文件夾的名稱；以及選擇該文件夾是否啟用“服務器端加密”，該選項僅應用于新文件夾對象，但不應用于其中包含的對象。單擊“創建文件夾”按鈕完成創建。完成后，可以單擊該文件的鏈接進入文件夾項目2使用對象存儲服務（2）上傳對象。先切換到“photos”文件夾。再單擊“對象”選項卡→“上傳”按鈕，單擊“添加文件”按鈕，可以把要上傳的文件添加到列表中；單擊“添加文件夾”按鈕，則可以把整個文件夾的文件添加到列表中；單擊“刪除”按鈕，可以把文件從上傳的列表中刪除項目2使用對象存儲服務（3）單擊“其他上傳選項”旁的三角形按鈕。可以指明對象上傳后使用的存儲類。（4）因為存儲桶已經設置了服務器端加密，則上傳的對象必須指定加密密鑰項目2使用對象存儲服務（5）設置訪問控制列表(ACL)，向其他AmazonWebServices賬戶授予讀/寫權限（6）單擊“添加標簽”按鈕，添加標簽來跟蹤對象的存儲成本或其他標準；單擊“添加元數據”按鈕，可以添加對象的元數據項目2使用對象存儲服務（7）單擊“上傳”→“關閉”，完成文件上傳，根據文件大小和網速，等待時間不一（8）在對象列表中選中對象，在“操作”下拉列表中可以選擇對象的操作，有復制、移動、下載、編輯等操作項目2使用對象存儲服務3.對象的版本控制（1）參見前面的步驟，重新在szpt20210403存儲桶的photos文件夾下，上傳puppy.jpg文件，圖片內容需要更新，但是文件名不能改變。當存儲桶啟用版本控制后，覆蓋原對象時會出現新的版本（2）單擊puppy.jpg對象，單擊“版本”選項卡，可以看到對象的不同版本。單擊對象的不同版本，則可以下載之前版本的對象或者編輯元數據項目2使用對象存儲服務（3）刪除對象、測試恢復對象。選中“puppy.jpg”對象，單擊“刪除”按鈕。輸入“刪除”字樣，單擊“刪除對象”按鈕，刪除對象；再單擊“關閉”按鈕；則對象被刪除，但這并不是永久刪除對象，可以恢復（4）永久刪除對象。如果要永久刪除對象，就需要刪除對象的全部版本。選擇對象的全部版本，如有類型為“刪除標記”的版本，也需要選中。單擊“刪除按鈕”，再次確認。永久刪除的對象無法恢復項目2使用對象存儲服務4.管理生命周期可以管理存儲桶的生命周期，以經濟高效地存儲對象，S3生命周期配置是一組規則，用于定義AmazonS3對一組對象應用的操作。有兩種類型的操作：轉換操作：定義對象轉換為另一個使用AmazonS3存儲類的時間。例如，可以選擇在對象創建30天后將其轉換為S3標準–IA存儲類，或在對象創建1年后將其存檔到S3Glacier存儲類II.過期操作：定義對象的過期時間。AmazonS3將自動刪除過期的對象項目2使用對象存儲服務（1）在存儲桶列表中，單擊szpt20210403存儲桶→單擊“管理”選項卡→“創建生命周期規則”。輸入規則名稱。可以選擇規則作用的范圍，根據對象的前綴或者對象的標簽篩選對象。本例選擇“此規則將應用于存儲桶中的所有對象”選項。同時要勾選“我了解，此規則將應用于存儲桶中的所有對象”選項，需要額外注意的是，該操作可能會產生費用項目2使用對象存儲服務（2）可以設置各種生命周期規則操作。本例將在對象變為非當前對象（即被覆蓋）后180天，對象的先前版本的存儲類型轉為“智能分層”。單擊“保存”按鈕（3）為新創建的生命周期規則，單擊該規則，可以刪除、編輯或者禁用項目2使用對象存儲服務5.管理訪問保證數據安全是用戶的基本需求AmazonS3支持使用基于資源的策略和用戶策略來管理對AmazonS3資源的訪問基于資源的策略包括存儲桶策略、存儲桶訪問控制列表(ACL)和對象ACL（1）存儲桶訪問控制列表(ACL)AmazonWebServices已經不建議使用存儲桶ACL了，存儲桶ACL的唯一建議的使用案例是授予AmazonS3日志傳輸組寫入權限，以便將訪問日志對象寫入存儲桶和存儲桶ACL相關的還有一個“阻止所有公開訪問”選項項目2使用對象存儲服務在存儲桶列表中，單擊存儲szpt20210403→“權限”選項卡→“阻止公有訪問(存儲桶設置)”選項區→“編輯”按鈕，可以設置存儲桶是否可以被公有訪問。如果阻止所有公開的訪問，則即使使用對象ACL或者存儲桶策略授權公有訪問項目2使用對象存儲服務要編輯存儲桶的ACL，則在存儲桶列表中單擊存儲桶szpt20210403→“權限”選項卡，默認時存儲桶擁有者有全部權限項目2使用對象存儲服務（2）對象訪問控制列表(ACL)存儲桶和對象的權限是相互獨立的，對象不繼承其存儲桶的權限。要編輯對象的ACL，首先在存儲桶中的文件夾找到對象，再單擊對象→“權限”選項卡→“編輯”按鈕。對象的各ACL權限含義項目2使用對象存儲服務（3）存儲桶策略可以創建和配置存儲桶策略，來授予用戶對AmazonS3資源的權限存儲桶策略使用基于JSON的訪問策略語言，一個存儲桶只能有一個策略以下以授予新建用戶zhang_ning可以從存儲桶szpt20210403下載對象為例（A）參見單元4，以管理員用戶登錄AmazonWebServices控制臺，在IAM里創建一個新的用戶zhang_ning項目2使用對象存儲服務（B）使用用戶策略授予zhang_ning瀏覽存儲桶權限。參見單元4，為zhang_ning添加內聯，名為S3_ListAllMyBuckets以zhang_ning用戶，訪問S3資源，可以瀏覽存儲桶列表，但是仍然無法訪問存儲桶szpt20210403，更無法下載存儲桶中的對象{"Version":"2012-10-17","Statement":[{"Sid":"VisualEditor0","Effect":"Allow","Action":"s3:ListAllMyBuckets","Resource":"*"}]}項目2使用對象存儲服務（C）編輯存儲桶策略，允許zhang_ning用戶從存儲桶szpt20210403下載對象在存儲桶的“權限”選項卡中找到存儲桶策略區域，單擊“編輯”在策略編輯區輸入策略并保存項目2使用對象存儲服務（E）以zhang_ning用戶，重新訪問S3資源，可以訪問存儲桶szpt20210403，也下載存儲桶中的對象（D）鑒于策略編寫是