電子商務技術張文新

經濟管理樓1213室講義大綱第一部分：理論認識第01講：電子商務的概念和本質第02講：電子商務產生與發展第03講：電子商務系統的運營（1）-技術視角第04講：電子商務系統的運營（2）-管理視角第二部分：技術解析第05講：商品展示技術第06講：搜索引擎技術第07講：商品推薦技術第08講：物流規劃技術第09講：物流信息集成技術第10講：物流運營調度技術第11講：電子支付技術第12講：電子商務交易安全技術第三部分：案例探究第13講：C2C模式-個人網絡交易平臺第14講：B2C模式-圖書、服裝與消費電子類電子商務第15講：B2B模式-鋼鐵與汽車產業電子商務上講回顧電子商務從哪里來？來自于信息技術的發展來自于新的經濟形態來自于人類社會正在大踏步地從工業化邁向信息化。上講回顧電子商務向何處去？從產品到服務；從物質到精神；從大眾到自我。第03講

電子商務系統的運營（1）→從理論和技術的視角解讀電子商務如何運營內容提要3.0-引言3.1-電子商務系統運營的理論基礎3.2-電子商務系統運營的支撐技術本講小結3.0-引言電子商務系統是如何運營的？運營的理論依據是什么？運營技術支撐是什么？3.0-引言互聯網思維在移動互聯網、大數據、云計算等科技不斷發展的背景下，對市場、對用戶、對產品、營銷、創新對企業價值鏈乃至對整個商業生態的進行重新審視的思考方式。3.0-引言互聯網思維3.0-引言從價值鏈到價值環3.1-電子商務系統運營的理論基礎電商生態所有在電商這個行業內生存的商業單元（制造，研發，物流，金融，營銷推廣，社交）彼此之間通過交易的達成，業務數據元在各商業單元間的循環傳遞流動，從而維系了整個電商領域的發展和生存,形成一個完整電商生態系統。3.2-電子商務系統運營的支撐技術電子商務系統運營的生態環境電子支付平臺物流服務平臺商務交易平臺認證監督平臺認證機構快速物流企業網絡銀行商務平臺公司商品供應商網上消費者因特網際信息服務平臺電子警察平臺網絡監察機構信用服務企業信用服務平臺信息門戶公司圖3-4：電子商務系統運營的生態環境3.1-電子商務系統運營的理論基礎電商生態在電子商務生態系統之中商業單元彼此之間的能量傳遞（數據）都是通過軟件進行的。由此可見軟件是構成整個生態系統的基石，是整個電商生態系統中數據傳遞的最重要載體。3.1-電子商務系統運營的理論基礎電商生態系統軟件五力組合訂單處理倉儲管理配送管理品類構造商品規劃數據采集數據分析平臺搭建數據存儲營銷推廣顧客體驗營銷力商品力物流力分析力3.1-電子商務系統運營的理論基礎電商生態系統軟件五力組合——建站力開發工具JAVA；PHP；

3.1-電子商務系統運營的理論基礎電商生態系統軟件五力組合——建站力購買開發平臺軟件很多購買的平臺軟件可根據客戶需要進行定制修改，但前提是客戶要具備自主開發的能力。目前市場主流的平臺軟件，有商派軟件和ECSHOP。其中ECSHOP是完全開源軟件可進行全站的開發改造，而商派軟件要進行二次開發需要購買源代碼。收購ECSHOP后，商派的整體市場占有率在70%左右3.1-電子商務系統運營的理論基礎電商生態系統軟件五力組合——建站力購買第三方平臺軟件這類軟件經過多年的運營和改進，軟件的功能完善和穩定性都有很好的保證。2012年電商市場銷售前三位的平臺商，所使用的都是一個功能完善的平臺管理軟件，他們只需要教會商家用好這個軟件就可以了。2012市場占有率56.7%2012市場占有率19.6%2012市場占有率5.5%數據來源：IT商業新聞網

3.1-電子商務系統運營的理論基礎電商生態系統軟件五力組合——建站力移動平臺軟件未來電商的發展增長最大空間就在移動平臺，目前移動平臺的應用APP軟件市場也是十分火爆，各大電商都用盡招數想在消費者的移動平臺上占據一個位置。移動平臺的開發市場變化莫測，百度最新推出的輕應用又將移動開發引入了另一個更瘋狂的開發市場!3.1-電子商務系統運營的理論基礎電商生態系統軟件五力組合——建站力網站數據存儲數據是整個電子商務生態系統的最底層，也是最核心的支撐；在電商行業領域，目前大部分商家都會選擇云存儲軟件來管理網站的數據，即經濟又安全，云存儲應用比較多的是聚石塔和百度云管理軟件。3.1-電子商務系統運營的理論基礎電商生態系統軟件五力組合——商品力商品信息規劃打動顧客的商品展示圖片；商品基礎信息的SEO優化；商品品類構造。3.1-電子商務系統運營的理論基礎電商生態系統軟件五力組合——營銷力淘寶體系百度體系其它體系電子郵件論壇游戲微信軟件工具顧客體驗3.1-電子商務系統運營的理論基礎電商生態系統軟件五力組合——物流力打通從訂單，到倉儲，到配送，到退貨管理的無縫對接能力。自營物流外包物流3.1-電子商務系統運營的理論基礎電商生態系統軟件五力組合——分析力數據是這個時代最有價值的無形資產；非淘寶系數據分析工具數據分析工具數據采集工具3.2-電子商務系統運營的支撐技術電子商務系統的技術體系-網絡體系圖3-6：電子商務的技術體系-網絡體系數據庫服務器WEB服務器供應商瀏覽器顧客瀏覽器戰略伙伴瀏覽器IntranetIntranet應用程序服務器瀏覽器防火墻防火墻防火墻InternetIntranet3.2-電子商務系統運營的支撐技術電子商務系統的技術體系-應用部署圖3-7：電子商務的技術體系-應用部署3.2-電子商務系統運營的支撐技術電子商務系統的技術體系-軟件體系圖3-7：電子商務的技術體系-軟件體系ASP應用程序大型網絡數據庫系統ActiveXDataObjectsHTTP請求表示層數據層存儲過程觸發器應用程序ActiveX控件COM組件Web應用服務器：Windows2003Server(IIS5.0/6.0)Linux(Apache1.3/2.0)FreeBSD(Apache1.3/2.0)數據包/記錄集客戶機：桌面操作系統Windows/Linux/····瀏覽器：IE/Netscape/Firefox/QQ/360/······邏輯層HTML/XML頁面3.2-電子商務系統運營的支撐技術電子商務系統運營的關鍵技術——Web服務技術問題：投入實際商業運營應用服務器（web服務器）如何快速響應大量的訪問請求？提高服務器的性能增加服務器的數量改變提供服務的模式3.2-電子商務系統運營的支撐技術Web服務技術快速響應大量的訪問請求提高服務器的性能問題：服務器的性能主要體現在哪些方面？高速度的CPU計算能力；長時間的可靠運行；強大的I/O外部數據吞吐能力等。3.2-電子商務系統運營的支撐技術Web服務技術快速響應大量的訪問請求增加服務器的數量問題：服務器機群如何分布？服務器機群如何協同工作？如何實現負載均衡？3.2-電子商務系統運營的支撐技術Web服務技術Web服務器負載均衡技術負載均衡器主機負載網絡負載其他負載負載探針均衡算法調節器圖3-8：WEB服務負載均衡器3.2-電子商務系統運營的支撐技術Web服務技術Web服務器負載均衡技術負載均衡器-負載均衡設計數據與應用處理分離客戶服務分攤交易分流通信負載均衡負載均衡算法-參考一篇文獻：任國慶等.基于內容的Web服務器動態負載均衡算法.計算機工程，20-電子商務系統運營的支撐技術Web服務技術快速響應大量的訪問請求改變提供服務的模式：SOASOAP云計算3.2-電子商務系統運營的支撐技術Web服務技術SOA(Service-OrientedArchitecture，面向服務架構)W3C將服務定義為：“服務提供者完成一組工作，為服務使用者交付所需的最終結果。最終結果通常會使使用者的狀態發生變化，但也可能使提供者的狀態改變，或者雙方都產生變化”。將SOA定義為：“本質上是服務的集合。服務間彼此通信，這種通信可能是簡單的數據傳送，也可能是兩個或更多的服務協調進行某些活動。服務間需要某些方法進行連接。所謂服務就是精確定義、封裝完善、獨立于其他服務所處環境和狀態的函數。”3.2-電子商務系統運營的支撐技術Web服務技術SOA的典型應用實例：WebServices圖3-9：SOA基本結構3.2-電子商務系統運營的支撐技術Web服務技術SOA的典型應用實例：WebServices服務代理服務提供者服務消費者發布查找綁定圖3-9：SOA基本結構3.2-電子商務系統運營的支撐技術Web服務技術WebServices相關的標準和技術XML:ExtensibleMarkupLanguageSOAP:SimpleObjectAccessProtocolWSDL:WebServiceDescriptionLanguageUDDI:UniversalDescription,Discovery,Integration3.2-電子商務系統運營的支撐技術Web服務技術WebServices相關的標準和技術XML:ExtensibleMarkupLanguageXML是eXtensibleMarkupLanguage（可擴展的標記語言）的縮寫，是W3C組織于1998年2月發布的標準。W3C組織制定XML標準是為了定義一種互聯網上交換數據的標準3.2-電子商務系統運營的支撐技術Web服務技術WebServices相關的標準和技術SOAP:SimpleObjectAccessProtocol，簡單對象訪問協議SOAP標準提供了基于XML建立消息的系統，實現了遠程調用的模型，是WebServices的基礎協議。W3C的XMLProtocol工作組負責開發SOAP標準。3.2-電子商務系統運營的支撐技術Web服務技術WebServices相關的標準和技術WSDL:WebServiceDescriptionLanguageWSDL是與SOAP相結合使用的WebServices描述語言，通過WSDL可以描述一個服務的信息。這些信息使不了解這個服務的開發者可以建立調用這個服務的客戶端代碼，或者通過WSDL幫助生成它的基本代碼結構。3.2-電子商務系統運營的支撐技術Web服務技術WebServices相關的標準和技術UDDI:UniversalDescription,Discovery,Integration，統一描述、發現和集成）UDDI協議的目的是為存在的Web服務提供一個發布和被發現的方法。需要得到服務的請求者利用UDDI可以檢索到有關服務和服務提供者的信息，從而幫助客戶了解有關服務的簡單情況。對于調用這個服務的程序來說，UDDI可以為服務的客戶端程序提供獲取服務入口的方式，這些信息都在UDDI協議中通過XML的形式被描述出來。3.2-電子商務系統運營的支撐技術Web服務技術UDDI:工作原理UDDI

注冊中心包含了通過程序手段可以訪問到的對企業和企業支持的服務所做的描述。此外，還包含對Web服務所支持的因行業而異的規范、分類法定義（用于對于企業和服務很重要的類別）以及標識系統（用于對于企業很重要的標識）的引用。UDDI提供了一種編程模型和模式，它定義與注冊中心通信的規則。UDDI規范中所有API都用XML來定義，包裝在SOAP信封中，在HTTP上傳輸。3.2-電子商務系統運營的支撐技術Web服務技術基于XML實現SOAP的一個例子：——通過發送SOAP文檔向GoogleWeb服務提出請求：3.2-電子商務系統運營的支撐技術<?xmlversion='1.0'encoding='UTF-8'?><SOAP-ENV:Envelopexmlns:SOAP-ENV=""xmlns:xsi=""xmlns:xsd=""><SOAP-ENV:Body><ns1:doGoogleSearchxmlns:ns1="urn:GoogleSearch"SOAP-ENV:encodingStyle=""><keyxsi:type="xsd:string">00000000000000000000000000000000</key><qxsi:type="xsd:string">deathstartrashcompactor</q><startxsi:type="xsd:int">0</start><maxResultsxsi:type="xsd:int">10</maxResults><filterxsi:type="xsd:boolean">true</filter><restrictxsi:type="xsd:string"></restrict><safeSearchxsi:type="xsd:boolean">false</safeSearch><lrxsi:type="xsd:string"></lr><iexsi:type="xsd:string">latin1</ie><oexsi:type="xsd:string">latin1</oe></ns1:doGoogleSearch></SOAP-ENV:Body></SOAP-ENV:Envelope>圖3-10：通過SOAP向GoogleWeb提出請求服務的XML文檔3.2-電子商務系統運營的支撐技術Web服務技術相關熱點技術-云計算云計算的特性：對資源動態分配；以Web為中心；交付的是服務。云計算的概念是由分布式計算,并行處理,網格計算發展來的新興商業計算模型.將計算任務分布在大量計算機構成的資源池上,使各種應用系統能夠根據需要獲取計算力,存儲空間和各種軟件服務.

類似電廠集中供電模式,最終目標是將計算,服務和應用作為公共設施提供給公眾,使人們能夠像使用水,電,煤氣那樣使用計算機資源.3.2-電子商務系統運營的支撐技術2023年3月18日45云計算的應用模式3.2-電子商務系統運營的支撐技術2023年3月18日463.2-電子商務系統運營的支撐技術云計算的發展現狀2023年3月18日473.2-電子商務系統運營的支撐技術云計算的服務形式軟件即服務（SaaS，SoftwareasaService）；GoogleDocsGoogleMailSalesforce的CRM,ERP平臺即服務（PaaS，PlatformasaService）；Google的AppEngineSalesforce的開放平臺八百客的800APP數據服務（DaaS，DataasaService）；應用服務（AaaS，ApplicationasaService）等各種模式。3.2-電子商務系統運營的支撐技術Web服務技術相關熱點技術-谷歌的云計算Google的應用負載和技術環境集群中的節點失效是一種常態，而不是一種異常。按照傳統標準，文件都是非常巨大的，通常以G字節計。大部分文件都是只會在文件尾新增加數據，而少見修改已有數據的。主要負擔為文件持續或隨機讀取,同步寫,連續寫等3.2-電子商務系統運營的支撐技術Web服務技術相關熱點技術-谷歌的云計算Google云計算技術體系Google云計算應用BigTableGFSMapReduceChubby3.2-電子商務系統運營的支撐技術Web服務技術相關熱點技術-谷歌的云計算GFS的功能特性可擴展的分布式文件系統用于訪問大量數據的大型應用高效運行在廉價硬件的集群上容錯:集群中的機器可熱拔插Google云計算應用BigTableGFSMapReduceChubby3.2-電子商務系統運營的支撐技術Web服務技術相關熱點技術-谷歌的云計算GFS

Architecture：GFS集群由一個單個的master和多個chunkserver（塊服務器）組成，還有相應的很多客戶端client。圖3-11：Google的GFS云計算體系3.2-電子商務系統運營的支撐技術Web服務技術相關熱點技術-谷歌的云計算GFS

Architecture：Master：管理節點，邏輯上唯一（物理上多個），保存系統元數據，負責整個文件系統的管理，是GFS的“大腦”。3.2-電子商務系統運營的支撐技術Web服務技術相關熱點技術-谷歌的云計算GFS

Architecture：ChunkServer：負責具體的存儲工作GFS可以包含多個ChunkServer，其數目決定了GFS的存儲規模GFS將文件分塊存儲，塊大小默認為64M，每隔塊均具有唯一索引號（index）3.2-電子商務系統運營的支撐技術Web服務技術-云計算圖3-12：Google的GFS云計算體系GFS

ArchitectureFilesbrokenintochunks(typically64MB)MastermanagesmetadataDatatransfershappendirectlybetweenclients/chunkserversGoogle

48%MSN

19%Yahoo

33%ClientClientClientReplicasMastersGFSMasterGFSMasterC0C1C2C5Chunkserver1C0C2C5ChunkserverNC1C3C5Chunkserver2…ClientClientClientClientClientClient3.2-電子商務系統運營的支撐技術Web服務技術-谷歌云計算并行計算模型MapReduce為什么需要MapReduce？Google擁有海量數據,并且需要快速處理Google云計算應用BigTableGFSMapReduceChubbyGoogle全球Web數據郵件數據地圖數據衛星照片……MapReduce的概念處理和生成海量數據的并行編程模型；用于大規模數據集(通常大于1TB)的并行運算；MapReduce的核心是Map和Reduce兩個函數Map,映射,對列表中的所有元素進行指定的操作,返回基于這個處理的中間結果集；Reduce,化簡,對中間結果集進行分類和歸納得到最終的計算結果；兩個函數可能會并行運行普通的PC機集群上；3.2-電子商務系統運營的支撐技術MapReduce執行流程1234567MapReduce架構的思考Worker故障Master周期性的ping每個worker,檢查狀態重新執行失效節點上已經執行或尚未執行的Map任務重新執行失效節點上未完成的Reduce任務Master故障定期寫入檢查點數據備恢復之用Master的數據多重備份機制重新發起MapReduce計算請求3.2-電子商務系統運營的支撐技術MapReduce的優化任務分割的粒度:時間復雜度任務備份機制:解決長尾效應本地文件讀寫:節省帶寬跳過異常記錄:避免崩潰3.2-電子商務系統運營的支撐技術3.2-電子商務系統運營的支撐技術MapReduce的性能實踐證明,MapReduce是出色的分布式計算模型對分布于1000臺計算機上1TB數據進行排序僅需要68s對4000臺計算機上的1PB數據進行排序處理僅需要6小時2分鐘(每次測試至少會損壞1塊硬盤)GoogleMapReduce平均每天的數據處理量是20PB,相當于美國國會圖書館當年5月份存檔網絡數據的240倍MapReduce的應用場合網站訪問量統計Map:<url,1>Reduce:<url,totalcount>反向連接分析Map:<target,source>Reduce:<target,list(source)>倒排索引Map:<word,documentID>Reduce:<word,list(documentID)>…3.2-電子商務系統運營的支撐技術3.2-電子商務系統運營的支撐技術MapReduce運行示例:單詞計數給定巨大的文本文件(大于1TB),如何計算文件中所有單詞出現的數目？3.2-電子商務系統運營的支撐技術使用MapReduce求解該問題定義Map和Reduce函數(PseudoCode)3.2-電子商務系統運營的支撐技術使用MapReduce求解該問題Step1:自動對文本進行分割使用MapReduce求解該問題Step2:在分割之后的每一對<key,value>進行用戶定義的Map進行處理,生成新的<key,value>對3.2-電子商務系統運營的支撐技術使用MapReduce求解該問題Step3:對Map返回的中間結果集歸攏排序3.2-電子商務系統運營的支撐技術使用MapReduce求解該問題Step4:將分組過的中間結果集傳給Reduce操作,通過計數生成最后結果3.2-電子商務系統運營的支撐技術Web服務技術-谷歌云計算分布式數據庫BigTable為什么需要設計BigTable？Google需要存儲的數據種類繁多網頁，地圖數據，郵件……如何使用統一的方式存儲各類數據？海量的服務請求如何快速地從海量信息中尋找需要的數據？3.2-電子商務系統運營的支撐技術Google云計算應用BigTableGFSMapReduceChubbyWeb服務技術-谷歌云計算分布式數據庫BigTableBigTable的概念大型的分布式數據庫,存儲大規模結構化數據建立在GFS,LockService和MapReduce之上把所有數據都作為對象來處理BigTable的作用為Google云計算應用提供數據結構化存儲功能為應用提供簡單數據查詢功能為MapReduce提供數據源或數據結果存儲3.2-電子商務系統運營的支撐技術BigTable的設計目標具有廣泛的適應性支持Google系列產品的存儲需求具有很強的可擴展性根據需要隨時加入或撤銷服務器高可用性盡管單個節點易損，但要確保幾乎所有的情況下系統都可用簡單性簡單的底層系統可減少系統出錯概率，為上層開發帶來便利3.2-電子商務系統運營的支撐技術BigTable的數據模型總體上，與關系數據庫中的表類似3.2-電子商務系統運營的支撐技術BigTable的數據模型行鍵任意的字符串（小于64K），表中的數據按照行鍵進行排序URL是較為常見的行鍵，存儲時需要倒排統一地址域的網頁連續存儲，便于查找、分析和壓縮/index.asp→com.baidu.mp3/index.asp3.2-電子商務系統運營的支撐技術BigTable的數據模型列鍵列鍵采用列族:限定詞的語法規則進行定義如,anchor:my.look.ca同一個族的數據被壓縮在一起保存族是必須的，是BigTable中訪問控制的基本單元3.2-電子商