1、CALIS OAI Record格式和發布規范CALIS管理中心2006年10月本文給出了定義、相應的數據發布模式和實現方式、所應遵循的標準規范。一CALIS Record V1.0格式和數據發布模式11.1 CALIS Record V1.0格式在CALIS在2005年公布的有關OAI系列規范中涉及到了一種OAI Record數據格式的定義。本文將其稱為“CALIS Record V1.0格式規范”。該規范完全符合OAI-PMH 2.0標準。在CALIS Record V1.0格式規范中，OAI Record格式的示意圖如下：圖1：CALIS Record V1.0格式結構在上述結構中，元數

2、據（metadata）通過“CALIS_OBJ:objInfo”來建立與相應數字對象的對應關系。詳細metadata和CALIS_OBJ:objInfo的定義參見CALIS有關規范。CALIS OAI Record（V1.0）有以下兩種應用方式。1) 作為OAI數據導出文件的數據記錄格式2) 作為OAI-DP發布的數據記錄格式（1）方式一：作為OAI 數據導出文件的記錄格式當采用符合CALIS OAI METS數據導出規范（2005公布）所規定的格式進行元數據導出時，所導出的XML記錄文件中含有一條Record記錄。該記錄的格式就是CALIS Record V1.0格式。該文件成為OAI Re

3、cord文件。（2）方式二：作為OAI-DP 發布的數據記錄格式OAI-DP提供兩種數據發布方法，如GetRecord和ListRecords。當采用OAI-DP中的GetRecord方法進行單條元數據發布時，GetRecord的響應結果中含有一條Record記錄，如圖2所示：圖2：OAI GetRecord的響應結果當采用OAI-DP中的ListRecords方法進行多條元數據發布時，ListRecords的響應結果中含有一一至多條Record記錄，如圖3所示：圖3：OAI ListRecords的響應結果1.2 CALIS數據發布模式1（1）基于OAI + MQ的發布方式在CALIS在20

4、05年公布的有關OAI和METS系列規范中，學位論文和特色庫本地系統的數據發布方式如下：1）自動發布² 本地系統的元數據通過OAI-DP發布。OAI-DP所發布出來的OAI Record采用CALIS Record V1.0格式（如圖1所示）。² 本地系統的數字對象通過METS-DP+MQ發布。METS-DP負責將數字對象封裝成METS數據包（參見CALIS有關規范），然后通過MQ服務器發布出去。² 元數據和數字對象之間的關系通過OAI Record中的CALIS_OBJ:objInfo 子元素所包含的MetaID進行關聯。2）手動發布² 本地系統管理員

5、用OAI數據導出工具將OAI-DP中的元數據導出成為包含OAI Record數據的XML文件（如圖1所示）。該文件稱為OAI記錄文件。如前所述，該文件中的數據格式為“CALIS OAI Record V1.0”。² 本地系統管理員用METS數據導出工具將METS-DP中的數字對象數據導出成為包含METS Record數據的XML文件。該文件稱為METS記錄文件。本文將該文件中的數據格式記為“CALIS METS Record V1.0”。² 管理員手工將上述兩類文件通過FTP上傳至CALIS子項目中心，由CALIS子項目中心完成數據匯總工作。本文將上述元數據和數字對象的基于

6、OAI+MQ的整合發布方式稱為“CALIS數據發布模式1”。（2）數據質量檢查模塊V1.0在上述“CALIS數據發布模式1”中，OAI-DP、METS-DP和MQ三個模塊的部署都較為復雜，OAI-DP中的OAI記錄、METS-DP中的METS記錄以及MQ中的消息包記錄之間都存在一定的對應關系，學位論文和特色庫本地系統需要保證這三類記錄中數據的必備性、內容正確性以及這些記錄之間的數據一致性。為此，CALIS特制定了學位論文和特色庫本地系統的數據質量檢查模塊V1.0的功能規范，要求學位論文和特色庫本地系統的開發商按此規范開發和部署符合該規范的“數據質量檢查模塊”，用于對OAI record（遵循C

7、ALIS OAI Record V1.0格式）和METS record（遵循CALIS METS Record V1.0格式）數據進行校驗（校驗方式包括“分別校驗”和“聯合校驗”）。同時，OAI-DP和METS-DP在數據發布之前，也應自動調用該模塊完成對OAI record和METS record數據的校驗。本地系統的管理員可以采用上述“數據質量檢查模塊V1.0”對本地系統所發布的OAI和METS數據（無論是通過著錄方式添加的數據還是通過數據遷移增加的數據）從多個方面（必備性、正確性和一致性等）進行檢查和校驗，以便發現可能的數據錯誤，易于管理員解決和重新發布。二CALIS Record V2

8、.0格式和數據發布模式2為簡化“CALIS數據發布模式1”中數字對象發布的復雜性，本文提出了新的“CALIS OAI Record V2.0格式”以及相應的“CALIS數據發布模式2”。2.1 CALIS Record V2.0格式與CALIS OAI Record V1.0格式相比，在CALIS Record V2.0格式中，保留了原有的header和metadata段，而對原about段采用兩種方式處理： 方式1：若當前元數據存在對應的METS包，則在about段中直接添加METS包。METS包本身的格式不變（仍遵循“CALIS METS Record V1.0格式”）。相應的OAI Re

9、cord數據格式如下圖所示。CALIS OAI Record V1.0格式CALIS OAI Record V2.0格式（含METS包）圖4：從CALIS OAI Record V1.0格式到CALIS OAI Record V2.0格式方式2：若當前元數據不存在對應的METS包，則about本身可以去掉，或者about段不包含METS包。相應的OAI Record數據格式如下圖所示。圖5： CALIS Record V2.0格式（不含METS包）本文將上述方式1和2所定義的OAI Record格式統稱為“CALIS OAI Record V2.0格式”。2.2 CALIS數據發布模式2（1）

10、基于純OAI 的發布方式基于CALIS OAI Record V2.0格式和OAI-DP，學位論文和特色庫本地系統的數據發布方式如下：1）自動發布² 本地系統將相關的元數據和數字對象按CALIS Record V2.0格式封裝為一條OAI記錄，通過OAI-DP對外發布。2）手動發布：² 本地系統管理員采用新的OAI數據導出工具將本地系統中的元數據和數字對象合并為一條OAI記錄導出為OAI記錄文件。該文件中的數據格式為“CALIS OAI Record V2.0”。² METS-DP中的數字對象數據無需再單獨導出。² 管理員手工將上述類型的文件通過FTP上

11、傳至CALIS子項目中心，由CALIS子項目中心完成數據匯總工作。本文將上述元數據和數字對象的基于純OAI的整合發布方式稱為“CALIS數據發布模式2”。CALIS OAI Record V2.0格式完全符合OAI-PMH標準，并與CALIS原有的CALIS OAI Record V1.0格式遵循相同的元數據schema規范和METS數據包規范：（1） （用于定義OAI-DP響應格式）（2） （用于定義CALIS Record數據導出格式）（2）數據質量檢查模塊V2.0在上述“CALIS數據發布模式2”中，本地系統只需部署一個OAI-DP用于對外發布數據，而METS-DP只需為OAI-DP提供

12、數字對象的封裝功能。OAI-DP所發布的OAI Record數據遵循CALIS OAI Record V2.0格式。在該OAI Record數據內，metadata和METS存在同一個<record>中，能夠自動保證元數據和數字對象的對應關系。但該OAI Record仍需要保證數據的必備性、內容正確性以及數據內部的一致性。為此，CALIS特制定了學位論文和特色庫本地系統的數據質量檢查模塊V2.0的功能規范，要求學位論文和特色庫本地系統的開發商按此規范開發和部署符合該規范的“數據質量檢查模塊”，用于對OAI record（遵循CALIS OAI Record V2.0格式）數據進行校

13、驗。同時，OAI-DP在數據發布之前，也應自動調用該模塊完成對OAI record的校驗。本地系統的管理員可以采用上述“數據質量檢查模塊V2.0”對本地系統所發布的OAI Record數據（包括其中的元數據和數字對象）從多個方面（必備性、正確性和一致性等）進行檢查和校驗，以便發現可能的數據錯誤，易于管理員解決和重新發布。2.3 CALIS Record V2.0格式示例下面給出了一個符合CALIS OAI Record V2.0格式的OAI Record數據片斷，其中包含了元數據metadata和METS包兩個主要部分。圖7：CALIS OAI Record V2.0樣板數據片斷由于篇幅有限，

14、圖7中沒有列出OAI Record中元數據部分（metadata的子元素）和METS包部分（about的METS子元素）所包含的詳細內容。圖7所對應的完整的樣例，請查看文件CALIS OAI Record V2.0格式附例。三數據發布模式的實現方式在同一個學位論文或特色庫本地系統中，上述所定義的“CALIS數據發布模式1”和“CALIS數據發布模式2”可以同時存在，由管理員靈活選擇使用，也可以只提供其中的一種發布模式。3.1 CALIS數據發布模式1的實現方式CALIS數據發布模式1的實現方式包括以下幾個方面：1、增加“數據質量檢查模塊V1.0”該模塊為管理員提供手工校驗操作功能。該模塊還為本

15、地系統提供兩種數據校驗接口：² “OAI記錄校驗接口”，用于對OAI記錄（按照“CALIS OAI Record V1.0格式”）進行校驗。² “METS記錄校驗接口”，具體提供兩種校驗方式：n 對METS記錄進行單獨校驗；n 對METS與OAI記錄進行聯合校驗。2、對原有本地系統的完善² 著錄模塊的完善：n 對于單條著錄的元數據（可帶數字對象），在該條數據入庫時，著錄模塊自動調用上述“數據質量檢查模塊V1.0”的“OAI記錄校驗接口”（和“METS記錄校驗接口”）對該條數據進行校驗。n 若發現校驗錯誤，則為著錄人員提供友好的錯誤提示，以指導其進行數據修改。

16、78; 批量導入模塊的完善：n 對于批量導入的元數據（可帶數字對象），數據導入模塊自動調用上述“數據質量檢查模塊V1.0”的“OAI記錄校驗接口”（和“METS記錄校驗接口”）逐條對導入數據進行校驗。n 若發現校驗錯誤，則為數據導入人員或管理員提供錯誤日志和友好的錯誤提示，以便其查找數據出錯原因。3、對原有OAI-DP模塊的擴展² OAI-DP模塊為管理員提供OAI記錄數查詢功能：n 管理員可以輸入查詢的起止時間以及其他查詢條件（如：全部OAI記錄、沒有對應METS的OAI記錄、有對應METS的OAI記錄）來獲得查詢記錄數。n 用上述查詢方法出來的記錄以及用GetRecord、Lis

17、tRecords返回的記錄都必須事先通過“數據質量檢查模塊V1.0”的內部校驗，并且這三種方法的結果應一致的。² OAI-DP模塊對外提供OAI記錄數查詢接口（ListCount）：n 功能與上述查詢相同參見CALIS OAI-DP記錄數查詢接口規范。n 中心OAI-HP收割服務器可以自動調用該接口，作為檢測之用。4、增加METS數據包生成模塊² “METS數據包生成模塊”有兩種實現方式n 改造METS-DP模塊，以提供“METS數據包生成接口”；n 或者，將METS-DP模塊中的“METS數據包生成程序”剝離出來，成為單獨的函數或者類² 著錄模塊和數據批量導入模

18、塊調用上述接口或程序：將數字對象數據進行封裝生成METS記錄（遵循“CALIS METS Record V1.0格式”）。若調用失敗，則返回錯誤信息。5、對原有METS-DP模塊的擴展² METS-DP模塊為管理員提供METS記錄數查詢功能：n 管理員輸入查詢的起止時間以及其他查詢條件（如：指定若干個MetaID、是否與OAI-DP聯合校驗）來獲得查詢記錄數（METS包總數、METS包中文件總數）。n 這些查詢出來的記錄都必須事先通過“數據質量檢查模塊V1.0”的校驗。n 其中，METS與OAI聯合校驗功能需由OAI-DP為METS-DP提供內部查詢接口。3.2 CALIS數據發布模

19、式2的實現方式CALIS數據發布模式2的實現方式包括以下幾個方面：1、增加“數據質量檢查模塊V2.0”該模塊為管理員提供手工校驗操作功能。該模塊還為本地系統提供一種數據校驗接口：² “OAI記錄校驗接口”，用于對OAI記錄（按照“CALIS OAI Record V2.0格式”）進行校驗。2、對原有本地系統的完善² 著錄模塊的完善：n 對于單條著錄的元數據（可帶數字對象），在該條數據入庫時，著錄模塊自動調用上述“數據質量檢查模塊V2.0”的“OAI記錄校驗接口”對該條數據進行校驗。n 若發現校驗錯誤，則為著錄人員提供友好的錯誤提示，以指導其進行數據修改。² 數據批

20、量導入模塊的完善：n 對于批量導入的元數據（可帶數字對象），數據導入模塊自動調用上述“數據質量檢查模塊V2.0”的“OAI記錄校驗接口”逐條對導入數據進行校驗。n 若發現校驗錯誤，則為數據導入人員或管理員提供錯誤日志和友好的錯誤提示，以便其查找數據出錯原因。3、對原有OAI-DP模塊的擴展² OAI-DP模塊為管理員提供OAI記錄數查詢功能：n 管理員可以輸入查詢的起止時間以及其他查詢條件（如：全部OAI記錄、沒有對應METS的OAI記錄、有對應METS的OAI記錄）來獲得查詢記錄數。n 用上述查詢方法出來的記錄以及用GetRecord、ListRecords返回的記錄都必須事先通過

21、“數據質量檢查模塊V1.0”的內部校驗，并且這三種方法的結果應一致的。² OAI-DP模塊對外提供OAI記錄數查詢接口（ListCount）：n 功能與上述查詢相同參見CALIS OAI-DP記錄數查詢接口規范。n 中心OAI-HP收割服務器可以自動調用該接口，作為檢測之用。4、增加METS數據包生成模塊² “METS數據包生成模塊”有兩種實現方式n 改造METS-DP模塊，以提供“METS數據包生成接口”；n 或者，將METS-DP模塊中的“METS數據包生成程序”剝離出來，成為單獨的函數或者類² 著錄模塊和數據批量導入模塊調用上述接口或程序：將數字對象數據進行封裝生成METS記錄（遵循“CALIS METS Record V1.0格式”）。若調用失敗，則返回錯誤信息。四相關標準規范1、對于“CALIS數據發布模式1”數據質量檢