云計算原理課程

期末實踐報告題目：Linux集群、MapReduce和CloudSim實踐成績：學號：姓名： 羅滔登錄郵箱：任課老師： 許娟2016年11月12日目錄實驗一：AWS身份與訪問管理(P2~P11)實驗二：Hadoop實驗報告(P21)實驗二：AmazonRelationalDatabaseService實驗二：AmazonRelationalDatabaseService(P11~P20)AWS管理控制臺

使用qwikLABS登錄AWS管理控制臺6?在AWS管理控制臺中，單擊【服務/Services】，然后單擊【IAM或身份與訪問管理/IAMorIdentity&AccessManagement】。7?在IAM控制臺的左側面板中，單擊【用戶/Users】。8?找到“userone”，然后單擊其名稱以顯示有關該用戶的詳細信息。在用戶詳細信息中，找到有關該用戶的以下三方面的信息：已向該用戶分配了一個密碼該用戶不屬于任何組目前沒有任何策略與該用戶關聯（“附加到”該用戶）

9?現在，單擊左側導航窗格中的【組/Groups】。本實驗的CloudFormation模板還創建了三個組。在IAM控制臺中的【用戶/Users】儀表板中可以看到,自動化CloudFormation腳本在創建這些組時為其提供了唯一的名稱。這些唯一名稱包含以下字符串:EC2support”EC2admin”S3admin”完整組名的格式如下所示:EC2support--GA9LGREA7X4S從現在開始，我們在本實驗中將使用上面這些簡寫名稱來指代這些組。您可以在【組/Groups】儀表板中搜索子字符串，以便為后續實驗操作確定正確的組。單擊“EC2support”對應的組名。其格式應與上面的類似。向下滾動至組詳細信息頁面中的【權限/Permissions】部分后，在【內聯策略/InlinePolicies】部分,可以看到一個名稱為“EC2supportpolicy”的策略與該組關聯。在策略中，您可以規定將允許或拒絕對特定AWS資源執行哪些操作。您可以使用自定義策略，或通過

選擇AWS托管策略來使用一組預定義的權限。雖然我們不會更改此策略，但請單擊【編輯策略/EditPolicy】，使其顯示在一個窗口中，以便您進行查看和滾動。請留意IAM策略中語句的基本結構。“Action”部分指定了該服務內的AWS服務和功能。“Resource”部分定義了該策略規則所涵蓋的實體范圍，而“Effect”部分則定義了所需結果。更多有關定義IAM策略的信息，請訪問“AWSIdentityandAccessManagement：權限和策略”文檔頁面。單擊另外兩個組(“EC2admin”和“S3admin”)，查看附加到這兩個組的策略。您現在能否識別出附加到這些組的策略所允許的權限？■W.siuir1■W.siuir1"Action"；r,R?sourtfl":"arn:;ws-^n:&c2:+:*:ins±m「c?/*?,"Effect";"Allan?"A-ction"! "clas七itlondb丄'嚏gu心叫“憶HEffect":18.完成后，再次單擊左側面板中的【組/Groups】。各組的【用戶/Users】列中應顯示“1”，表示各組中的用戶數。設置自定義密碼替換和設置自定義密碼22.為“userone”設置一個密碼，然后在臨時的記事本文件中記下該密碼。24.重復上述步驟，為usertwouserthree設置密碼24.重復上述步驟，為usertwouserthree設置密碼創逢新用戶q篩選條件awsstudent□ qls-31277-Sc570dd1a0ql￡-31277-8t570dd1a0□ qls^31277-Sc570dd1a0awsstudent□ qls-31277-Sc570dd1a0ql￡-31277-8t570dd1a0□ qls^31277-Sc570dd1a0root-qwkl我們在處理您的請求時遇到以下錯誤:我們在處理您的請求時遇到以下錯誤:XUser:arn:aws-cn:iam::5833-52026625:user/awsstudentisnotauthorizedtopelUser:arn:aws-cn:iam::5S33-5^026625:user/awsstudentisnotauthorizedtopeiU3er:arn:aws-cn:13171：:5833-5^026625^3&^3^3studentisnotauthorizedtopeiUser:arn:aw3-cn:iam::5S33-5^026625:userj'awsstudentisnotauthorizedtopeiU^er:arn:aws-cn:iam::5833-5i026625:user/awsstudentisnotauthorizedtopei測試對S3的訪問權限您在本實驗中使用的“awsstudent”用戶所擁有的權限寥寥無幾，例如，您可以訪問S3儀表板，但無法查看其中的存儲桶。立即對此進行測試：在主AWS控制臺上，單擊【服務/Services】，然后單擊【S3】。您應該會看到三個存儲桶。嘗試單擊存儲桶以查看其內容-您將無法查看其內容。在主IAM儀表板上，在【歡迎使用身份識別和訪問管理/WelcometoIdentityandAccessManagement】下方，您將看到IAM用戶登錄鏈接。復制此URL,然后將其粘貼到臨時記事本文件中。30.現在，您的記事本文件中應包含登錄URL、完整的“userthree”登錄名和密碼。在新的瀏覽器中，使用這些信息以“userthree”的身份登錄。31?您應該會看到標準的AWS控制臺。但是，在右上角，您的用戶名不再是“awsstudent”，而是

口ls-31277-ec570ddlaD2556c...*口ls-31277-ec570ddlaD2556c...*支持”qls-31Z77-3c57Odd1aOZ556c3-□5erthree-7ANZJXGPHUUE@58335入門M請參閱我們的文檔或查看我們的培訓，以了解更多有關AWS的信息＜■"userthree”。32?現在，訪問S3服務儀表板。您可以看到之前的三個存儲桶，但現在，作為“S3admin”組的一部分，您可以查看這些存儲桶、復制文件、創建新的存儲桶和文件等。實驗二：AmazonRelationalDatabaseService(P12~P21)實驗二：AmazonRelationalDatabaseService(P12~P21)登錄AWS管理控制臺登錄之后，返回qwikLAB??網創建RelationalDatabaseService(RDS)實例要開始創建第？一個AmazonRDS實例，您需要訪問Amazon管理控制臺上的AmazonRDS圖標，然后使？RelationalDatabaseService向導。單擊?首頁上的AmazonRDS圖標并轉到該控制?面板。單擊“LaunchaDatabaselnstance/啟動數據庫實例”按鈕來啟動RDS向導。單擊MySQL數據庫引擎類型對?面的“Select/選擇”按鈕。看到該數據庫是否？用于？生產？目的的詢問時，選擇“開發測試”單選按鈕，然后單擊“NextStep/下？一步”。

您是否計劃將此數據庫用于生產目的？歩菠1:認諄可卑歩疆2：Tr您是否計劃將此數據庫用于生產目的？歩菠1:認諄可卑歩疆2：Tr?歩驥2攔H掃據FTi干訓話邑步慮4：沖MySQL創建此買例時，特參可用國制署和預貿OPS存儲用作獣訕-MySQL此女倒特右用0r RDSTf11-在接下來的“DBInstanceDetails/指定數據庫詳細信息"屏幕上，按以下內容進?行設置:/數據庫實例類/多可?用區部署/分配的存儲空間:5/數據庫實例標識符:RDSLab:/主?用戶名AWSMaster/主密碼:AWS1234512.單擊“NextStep/下？一步"。13?在接下來的“AdditionalConfig/配置？高級設置”屏幕上，按以下內容進？行設置：/數據庫名稱:RDSLab/公開訪問:否/VPC安全組：選擇包含?文本“qlstack”的安全組14.在備份中，選擇備份保留期為0天。15.單擊“LaunchDBInstance/啟動數據庫實例”。從亞馬遜系統映像(AMI)創建AmazonLinux實例要開始創建第？一個Amazon實例，您需要訪問Amazon管理控制臺上的AmazonEC2圖標，然后使?用向導。16?返回AWS管理控制臺(它在瀏覽器中仍是打開的)。單擊AWS管理控制臺?首頁上的EC2圖標。單擊“Instances/實例"鏈接來創建實例。單擊“LaunchInstance/啟動實例”按鈕來開始該過程。20?在第?一個對話窗?.口中，步驟1：選擇?一個Amazon系統映像，然后單擊該AMI旁邊的“Select/選."來選擇AmazonLinuxAMI實例。注意：確認是64位的映像。步驟2：使實例類型保留默認設置，即。要繼續，則單擊"Next:ConfigureInstanceDetails/下?一步：配置實例詳細信息”。步驟3：ConfigureInstanceDetails/配置實例詳細信息，我們將保留所有默認選項，并單擊“Next:AddStorage/下？一步：添加存儲"。步驟4：AddStorage/添加存儲，保留默認虛擬擬硬。單擊“Next:TagInstance/下？一步：標簽實例”。注意：您可以在此輕松增加更多虛擬硬盤或更改硬盤?大?小。24?步驟5：TagInstance/標?實例，使?標簽實例界?面為實例命名。您將注意到左邊?文本框填充了標簽的名字為Name，右邊.文本框為空。在空?文，鍵?入名稱，例如“EC2FreeLab”并單擊“Next:ConfigureSecurityGroup/下?一步：配置安全組。步驟6：ConfigureSecurityGroup/配置安全組，接受默認安全組，因為它允許通過端?？口22(SSH)從任意位置連接此Linux實例，單擊“ReviewandLaunch/審核和啟.步驟7：通過“ReviewInstanceLaunch/審核和啟.動”，您可以獲取全部設置的概覽。。單擊“Launch/啟動"以繼續。QwikLab?自動?您？生成的密鑰?應.自動填第?二個下拉框。單擊“acknowledgement/確認”復選框，聲明。現在，單.“LaunchInstance/啟.實例。單擊“ViewInstances/查看實例。40.將ec2—user@鍵?入HostName字段，然后將您復制到剪貼板板的連接字符串粘貼到42.單擊單詞“Auth”選擇“Au七『'類（？而不是單詞“Auth”旁邊的+符號）。單擊“Browse”。瀏覽到您稍早在本實驗中保存.ppk?文件的位置。選擇您下載的.ppk?文件。單擊“Open”。47.在PuTTY客戶端，單擊“Open”。48.出現提?示時，單擊“Yes”允許PuTTY緩存服務器的主機鍵。您已成功登錄了Linux主機！

I0$Sshtr.D?1PuTTVComfiig^irJidDCSelectprivetkeyfile匚母passaitheftKatxroerrir?^I.SSH-2nriy?0 pK^autianK3?fibfai?SEH-2wi^'|MbwtKtfixindbxh厘iMbPI0$Sshtr.D?1PuTTVComfiig^irJidDCSelectprivetkeyfile匚母passaitheftKatxroerrir?^I.SSH-2nriy?0 pK^autianK3?fibfai?SEH-2wi^'|MbwtKtfixindbxh厘iMbPSlhtriJGtfwnU^gFfliMTt□屜申TlSaQ^oCaidmjTilSSH-i]墾 *h155H-3i^hwtKtftanMnsn^irr?□ ajtini『叫3心叩口iMm*EflEtHchampsd事曰吟弋町SSm-2FM■小k即FfelirB.tvirfltwiPuTTVPnvrtE<eyFibs-C<ipwfHKO)曾D 3tg3『InHantCorTtikiJiJXE**T?2砂q^ldLAHS-LJtO^l^GG^ipk叭立肯1嗣KBgEEEtDlnEI55H4U>hcrt>3flll0riCthti Can?4回到RDS頁?面，選中并展開之前創建的RDS實例。記錄下Endpoint/終端節點名字，？比如：回到LinuxEC2主機的終端，輸?入以下命令：$mysql-h<endpoint>--p-uAWSMaster在密碼的提?示符下輸?入AWS12345然后在mysql>提?示符下輸?入showdatabases;?并檢查結果。您現在已將MySQL客戶端連接到您新創建的RDS實例。恭喜您！Hadoop云計算實驗報告(P21-)1、 實驗目的在虛擬機Ubuntu上安裝Hadoop單機模式和集群；編寫一個用Hadoop處理數據的程序，在單機和集群上運行程序。2、 實驗環境虛擬機：VMware9操作系統：Hadoop和Jdk和EclipseHadoop集群：一臺namenode主機master,—臺datanode主機salve,3、 主要設計思路在ubuntu操作系統下，安裝必要軟件和環境搭建，使用eclipse編寫程序代碼。實現大數據的統計。本次實驗是統計軟件代理系統操作人員處理的信息量，即每個操作人員出現的次數。4、算法設計該算法首先將輸入文件都包含進來，然后交由map程序處理，map程序將輸入讀入后切出其中的用戶名，并標記它的數目為1，形成〈word,l〉的形式，然后交由reduce處理，reduce將相同key值（也就是word）的value值收集起來，形成〈word,listofl〉的形式，之后再將這些1值加起來，即為用戶名出現的個數,最后將這個〈key,value〉對以TextOutputFormat的形式輸出到HDFS中。5、安裝實驗環境安裝ubuntu操作系統1） 打開VMware,在Hometab中單擊“CreateaNewVirtualMachine”，2） 選擇custom，選擇虛擬硬件版本，選擇ios文件，next,3） 錄入目標操作系統信息,包括Fullname、Uername和Password，next，4） 選擇默認的選項，一般不做更改，最后確認信息，Finish,5） 安裝成功后，會看到如下畫面，安裝配置Samba安裝samba主要為了實現與windows操作系統的通訊，由于server版本的ubuntu沒有自帶圖形操作界面，所以下載資料等操作不太方便，這也是安裝samba的目的之一。1） 安裝samba，輸入如下命令：2） 安裝vim3） 創建共享目錄，并修改權限4） 配置samba。修改samba的配置文件/etc/samba/，將security=share，并在文件的末尾追加如下內容，5）測試。在windows實機中，通過ip訪問ubuntu虛擬機，可以見到share文件夾安裝配置JDK首先，下載java開發工具包JDK。在本次試驗中，我們下載的版本是。解壓安裝到/usr/lib/jvm/目錄下，更名為java-7-sun。配置環境變量/etc/environment,使配置生效測試安裝配置結果在單節點（偽分布式）環境下運行HADOOP1） 添加Hadoop用戶并賦予sudo權限2） 安裝配置SSH切換至hadoop用戶，配置密鑰，使得hadoop用戶能夠無須輸入密碼，通過SSH訪問localhost,測試結果：3） 安裝配置Hadoop首先下載Hadoop,解壓縮到/opt/hadoop目錄下，更改目錄名稱為hadoop。列舉。修改與hadoop相關的配置文件（在/opt/hadoop/conf目錄下），分別是,，，。在此不列舉。4） 運行Hadoop首先格式化HDFS，啟動單節點集群，通過jps查看，masterslave停止單節點集群，在多節點（分布式）環境下運行HADOOP1） 設置/etc/hosts文件2） 設置節點之間無密碼SSH登陸驗證配置SSH是否正確3） 修改集群配置文件修改master的masters、slaves，修改所有節點的，，，在此不一一列出。4） 在master上格式化HDFS5） 啟動和停止集群啟動集群，在master上啟動HDFS后，jps結果如下:masterslave在master上啟動mapreduce后，jps結果如下：masterslave停止集群6、運行程序在單機上運行程序（1） 在Eclipse下，新建map/reduce工程（2） 新建一個java類UserNameCount,編寫代碼（3） 運行程序，結果如下：（4） 在eclipse中編譯好源代碼后，導出程序的jar包，供在集群上使用。在集群上運行程序（1） 啟動集群，通過jps命令查看master,slave上啟動的服務列表，結果如下::/opt/hadoop/bin￡jps2049JobTz?ac^ez?|2956Jps[15^1NaLaeNaae2221Iask!rackst1929SecondaryNameNodelhadoopSubuTitu:/opt/hadoop/bin￡sshsiaveWelaometoUbuntu JLTS[GMU/LiniiK3?；2?D-23-gezieriak84q_64}*Docunientacion:nutps://Help.ubuntTEi?cbh/Newrelease114?04?2LIS1available?Runldo-工皂1皂ase-upgrad皂『toupgradeto:it?LastloginsSatMay23s:3B2015frcam.masterIhad.aop@LLbuntli;jps1526lasklracker1444DataNadeI1E91如（2） 在集群環境下運行該程序jar包（），結果如下：（3） 查看集群環境下啟動程序生成的結果，即output文件，結果如下:（4） 數據統計結果在part-r-OOOOO中，具體內容如下，7、源代碼：packagehadoop;importim