147個化學(xué)研究小組H指數(shù)與標準文獻計量學(xué)指標

及同行評議之間的關(guān)系147個化學(xué)研究小組H指數(shù)與標準文獻計量學(xué)指標

及同行評議之1AuthorANTHONYF.J.VANRAAN荷蘭萊登大學(xué)科學(xué)技術(shù)研究中心的科學(xué)計量學(xué)教授。1945年生于荷蘭，1969年畢業(yè)于Utrecht大學(xué)，主要學(xué)習(xí)數(shù)學(xué)、物理學(xué)、天文學(xué)（1999年Nobel物理學(xué)獎獲得者MartinVeltman是他的理論物理學(xué)老師）。1973年獲得Utrecht大學(xué)物理學(xué)博士學(xué)位。

AuthorANTHONYF.J.VANRAAN2AuthorANTHONYF.J.VANRAANMainresearchthemes

Quantitativeanalysisofscienceandtechnology,inparticulartheadvancementandsophisticationofcitation-analysisbasedonbibliometricsasapowerful,objectivetoolnotonlyinresearchevaluation,butalsointhestudyofscientificdevelopmentsingeneral;Developmentandapplicationofamappingmethodologytocreate'landscapes'ofscientificfields;thismethodologyhasagenericcharacterandisthereforewidelyapplicableasageneral'knowledgediscovery'instrument;Developmentoftheabovementionedmethodologynotonlytomap'established'scientificfields,butalsotomapresearch'around'socio-economicthemes;Scienceasa'self-organizingecosystem',basedonempiricalworkleadingtothediscoveryofthefractalstructureofscience(publishedinNature,1990);Anewmodelforthemeasurementofgrowthanddifferentiationofsciencethatexplainsthefractalstructuremathematically;Anewmodeltoexplainthedistributionofcitingarticlesoverpublicationsintermsofageneraltwo-stepcompetitionprocessthatcouldalsobeusedineconomicstoexplainincome-distributions;

AuthorANTHONYF.J.VANRAAN3AuthorANTHONYF.J.VANRAAN

1995年他與美國著名科學(xué)社會學(xué)家RobertK.Merton一起獲得文獻計量學(xué)領(lǐng)域國際最高獎項——普賴斯獎。本文發(fā)表于2006年Scientometrics第三期中

AuthorANTHONYF.J.VANRAAN4Introduction同行評議

peerreview

同行評議指某一學(xué)科或?qū)I(yè)的科學(xué)家共同參加評議科研計劃、科研成果的活動。根據(jù)科研計劃，如競爭性合同題的評議，它不是一個單位內(nèi)的同行評議，而是在確定科研課題后，在全國或部分地區(qū)的研究單位、醫(yī)學(xué)院校“招標”，然后組織國內(nèi)或部分地區(qū)的同行評議。Introduction同行評議

peerreview5IntroductionHirsch在2005年提出了HirschIndex（h指數(shù)）這一概念：某作者至多有h篇論文分別被引用了至少h次。在某數(shù)據(jù)庫中讓論文按被引次數(shù)依次從高到低排列，直到某篇論文的序號大于該論文被引次數(shù).那個序號減去1就是H指數(shù)。序號引文數(shù)12021339443……IntroductionHirsch在2005年提出了Hir6Introduction根據(jù)hirsch的理論，H指數(shù)是對引文絕對卷數(shù)的計量值，因此也可以用h2對引文總數(shù)進行估計但是VanRaan在2006年發(fā)表的論文中指出：H2對引文的總量估計將會偏低，因為它忽略了引文數(shù)少于h的文章。P（c）=αCSIntroduction根據(jù)hirsch的理論，H指數(shù)是對引7Introduction第一個用h指數(shù)作為標準的科學(xué)家排行榜是Hirsch在2005年做的一個對杰出物理學(xué)家的排行榜。該榜中排名在首位的是EdWittenBorn)August26,1951FieldsTheoreticalphysics

SuperstringTheoryInstitutionsInstituteforAdvancedStudy

HarvardUniversity

CaliforniaInstituteofTechnology

PrincetonUniversity

NotableawardsMacArthurFellowship(1982)

DiracMedal(1985)

AlbertEinsteinAward(1985)

FieldsMedal(1990)

HenriPoincaréPrize(2006)

AlanT.WatermanAward(1995)

NemmersPrize(2000)

HenniemenAward(2004)

HarveyPrize(2005)

CrafoordPrize(2008)

LorentzMedal(2010)

IsaacNewtonMedal(2010)著名專家在排行中領(lǐng)銜的結(jié)果強化了Hirsch的建議方法Introduction第一個用h指數(shù)作為標準的科學(xué)家排行榜8IntroductionH指數(shù)可以將那些有穩(wěn)定、持久、杰出貢獻但沒有得到應(yīng)得聲譽的研究人員從默默無聞中被解救出來！IntroductionH指數(shù)可以將那些有穩(wěn)定、持久、9Journalswiththehighesth-indexfortheir2001papersIntroduction表中的大部分期刊都是關(guān)于生物醫(yī)學(xué)領(lǐng)域的，在表前20位中，除了兩個跨學(xué)科雜志之外，還有兩種物理學(xué)雜志（PhysicalReviewLetters和AstrophysicalJournal)和一種化學(xué)雜志（JournaloftheAmericanChemicalSociety）這三種雜志盡管在它們各自的領(lǐng)域聲望都很高，但是在按影響因子排列的期刊列表中，它們都是在100名之外的。這顯示出h指數(shù)更加平衡的特點。

Journalswiththehighesth-in10Introductionh指數(shù)是怎樣與基于高級文獻計量學(xué)指數(shù)的引文影響指數(shù)相關(guān)聯(lián)的？又是怎樣與同行評議的結(jié)果相關(guān)聯(lián)的？不同學(xué)科領(lǐng)域高級文獻計量學(xué)指數(shù)不同引文類型不同出版物類型H指數(shù)同行評議高級文獻計量學(xué)指數(shù)Introductionh指數(shù)是怎樣與基于高級文獻計11材料和方法本文在科研研究小組水平進行分析：因為在科學(xué)研究中，尤其是自然科學(xué)研究中，研究小組是最重要的單位。研究小組會被大學(xué)、研究和發(fā)展機構(gòu)的內(nèi)部結(jié)構(gòu)制約（主要的科學(xué)家傾向于他們研究組的全部作品），不能像作者和期刊那樣在數(shù)據(jù)庫中直接應(yīng)用。抽取研究小組的相關(guān)指標，排除自引材料和方法本文在科研研究小組水平進行分析：12材料和方法本研究的數(shù)據(jù)來源涵蓋了荷蘭所有化學(xué)和化學(xué)工程的大學(xué)研究小組，共147個，1991-1998年發(fā)表的所有文獻，約18000篇。The(10)universitieswithchemistrydepartmentscoveredbythisevaluationstudyareLeiden,Utrecht,Groningen,AmsterdamUvA,AmsterdamVU,Nijmegen,Delft,Eindhoven,Enschede(Twente),andWageningen.材料和方法本研究的數(shù)據(jù)來源涵蓋了荷蘭所有化學(xué)和化學(xué)工程的大學(xué)13材料和方法引文統(tǒng)計：從文獻發(fā)表年開始，以3年為“時間窗”計算引文數(shù)量，例如文獻發(fā)表于1991年，則計算引文是時期為1991—1993年。并且只考慮外部引文，排除自引情況。目的是為了聚焦與研究小組近期/當前研究表現(xiàn)的影響力所有文獻均來自于CitationIndex，CIpublication收錄的雜志，不包括報告和書刊。材料和方法引文統(tǒng)計：14材料和方法作者為了用定量數(shù)據(jù)支持同行評議的結(jié)果，做了廣泛的文獻計量學(xué)分析。同行評議使用了3個等級來評價研究小組的研究質(zhì)量：5分——優(yōu)秀4分——良好3分——滿意同行評議框架材料和方法作者為了用定量數(shù)據(jù)支持同行評議的結(jié)果，做了廣泛的文15材料和方法參與評估的研究小組涵蓋了化學(xué)學(xué)科的所有領(lǐng)域，主要有分析化學(xué)、光譜學(xué)和顯微鏡學(xué)、計算機化學(xué)和理論化學(xué)、物理化學(xué)、催化、無機化學(xué)、有機化學(xué)和生物有機化學(xué)、生物化學(xué)、微生物學(xué)和生化工程……這些研究領(lǐng)域引文特征可能存在顯著的不同。因此，為了對研究小組的影響力進行公證比較，需要應(yīng)用針對研究領(lǐng)域的規(guī)范化標準，尤其是“王冠指標”（crownindicator）即CPP/FCSm材料和方法參與評估的研究小組涵蓋了化學(xué)學(xué)科的所有領(lǐng)域，主要有16材料和方法發(fā)表論文總數(shù)他引總數(shù)篇均他引次數(shù)期刊引文得分研究領(lǐng)域（或子領(lǐng)域）引文得分王冠指標材料和方法發(fā)表論文總數(shù)他引總數(shù)篇均他引次數(shù)期刊引文得分研究領(lǐng)17材料和方法材料和方法18材料和方法Hirsch認為，以上指數(shù)是常用的文獻計量學(xué)標準指數(shù)，但存在一定的問題，h指數(shù)能夠衡量科學(xué)家個體的廣泛影響，也能避免這些問題。另外，對于個體科學(xué)家來說，在wos上h指數(shù)很容易獲得。作者認為：P只度量了文獻產(chǎn)量，而不是影響力C和CPP盡管對文獻計量學(xué)研究者來說可能能夠通過數(shù)據(jù)系統(tǒng)直接獲得，但對于依靠WoS的研究者來說獲取是很困難的。文獻計量學(xué)小組花大量精力清理數(shù)據(jù)，校正科學(xué)家個體的名字錯誤等等，在研究組水平這些問題更加復(fù)雜。這些技術(shù)問題VANRAAN（2005）和MOED（2005）已經(jīng)討論過了。材料和方法Hirsch認為，以上指數(shù)是常用的文獻計量學(xué)標準指19材料和方法

Hirsch認為如果個體科學(xué)家與其他很多人合著一些文章，C會被某些少數(shù)“bighits”的文章夸大。

C對高被引綜述文章的評價與原始研究論文評價更加不適合。CPP盡管能對不同時代的科學(xué)家進行對比，但也是有利于低產(chǎn)者、不利于高產(chǎn)作者。材料和方法Hirsch認為如果個體科學(xué)家與其他很多20材料和方法綜合考慮以上各個方面問題，作者強調(diào)了使用一組與以往指標不同的且體現(xiàn)領(lǐng)域標準化的指標的重要性領(lǐng)域和文獻類型標準化“王冠指數(shù)”CPP/FCSm盡管合著和“bighits”的問題可能同時出現(xiàn)，但在研究小組的水平上，這個問題會弱化。綜述文獻的確比普通文獻有更多的引文，但本文用“文獻類型標準化”指數(shù)來解決這一問題。對于高產(chǎn)低產(chǎn)的問題，作者強調(diào)科學(xué)家和研究小組因不同領(lǐng)域和研究類型而論文產(chǎn)量也不同。Hirsch認為在估計p，c，cpp過程中，引文數(shù)大于y和最多有q篇引文的文章數(shù)可以忽略。它的缺點在于y和q的隨意性，對科學(xué)家個體各有不同，需要進一步調(diào)整。材料和方法綜合考慮以上各個方面問題，作者強調(diào)了使用一組與以往21材料和方法材料和方法22結(jié)果與討論h=0.42C0.45H2比引文總數(shù)的量級稍微低一些。H指數(shù)和文獻總數(shù)也具有相關(guān)性，但小于h指數(shù)和引文的相關(guān)性結(jié)果與討論h=0.42C0.45H指數(shù)和文獻總數(shù)也具有相關(guān)性23結(jié)果與討論王冠指標和引文總數(shù)的相關(guān)性很小王冠指數(shù)與h指數(shù)的相關(guān)性也非常小結(jié)果與討論王冠指標和引文總數(shù)的相關(guān)性很小王冠指數(shù)與h指數(shù)的相24結(jié)果與討論以上結(jié)果說明h指數(shù)具有“規(guī)模依賴”，而王冠指數(shù)不是依賴于規(guī)模的。結(jié)果與討論以上結(jié)果說明h指數(shù)具有“規(guī)模依賴”，而王冠指數(shù)不是25結(jié)果與討論H指數(shù)和王冠指數(shù)與同行評議的結(jié)果在很大程度上具有可比性結(jié)果與討論H指數(shù)和王冠指數(shù)與同行評議的結(jié)果在很大程度上具有可26結(jié)果與討論該小組的CPP/FCSm得分為1.02所有h指數(shù)位于前25%的40個小組的CPP/FCSm平均得分是2.10王冠指數(shù)比h指數(shù)能更好的反映研究小組較低的績效水平結(jié)果與討論該小組的CPP/FCSm得分為1.0227結(jié)果與討論這些小組的CPP/FCSm得分為1.70所有h指數(shù)位于倒數(shù)25%的小組的CPP/FCSm平均得分是1.25王冠指數(shù)比h指數(shù)能更好的反映這類小組的高水平研究績效結(jié)果與討論這些小組的CPP/FCSm得分為1.7028Conclusion大多數(shù)情況下，同行能夠很好的甄別那些具有很大科學(xué)影響力的研究小組。h指數(shù)能夠凸顯了引文的強大力量，因此作者能夠預(yù)期h指數(shù)與同行評議之間存在的顯著相關(guān)關(guān)系，尤其對于那些規(guī)模比較大的研究小組而言更是如此。因而，對于那些在學(xué)科領(lǐng)域“小”而擁有“少量引文”的研究小組而言，本文認為，王冠指標是一個更適合的績效評價指標。Conclusion大多數(shù)情況下，同行能夠很好的甄別那些具有29Thankyou！Thankyou！30147個化學(xué)研究小組H指數(shù)與標準文獻計量學(xué)指標

及同行評議之間的關(guān)系147個化學(xué)研究小組H指數(shù)與標準文獻計量學(xué)指標

及同行評議之31AuthorANTHONYF.J.VANRAAN荷蘭萊登大學(xué)科學(xué)技術(shù)研究中心的科學(xué)計量學(xué)教授。1945年生于荷蘭，1969年畢業(yè)于Utrecht大學(xué)，主要學(xué)習(xí)數(shù)學(xué)、物理學(xué)、天文學(xué)（1999年Nobel物理學(xué)獎獲得者MartinVeltman是他的理論物理學(xué)老師）。1973年獲得Utrecht大學(xué)物理學(xué)博士學(xué)位。

AuthorANTHONYF.J.VANRAAN32AuthorANTHONYF.J.VANRAANMainresearchthemes

Quantitativeanalysisofscienceandtechnology,inparticulartheadvancementandsophisticationofcitation-analysisbasedonbibliometricsasapowerful,objectivetoolnotonlyinresearchevaluation,butalsointhestudyofscientificdevelopmentsingeneral;Developmentandapplicationofamappingmethodologytocreate'landscapes'ofscientificfields;thismethodologyhasagenericcharacterandisthereforewidelyapplicableasageneral'knowledgediscovery'instrument;Developmentoftheabovementionedmethodologynotonlytomap'established'scientificfields,butalsotomapresearch'around'socio-economicthemes;Scienceasa'self-organizingecosystem',basedonempiricalworkleadingtothediscoveryofthefractalstructureofscience(publishedinNature,1990);Anewmodelforthemeasurementofgrowthanddifferentiationofsciencethatexplainsthefractalstructuremathematically;Anewmodeltoexplainthedistributionofcitingarticlesoverpublicationsintermsofageneraltwo-stepcompetitionprocessthatcouldalsobeusedineconomicstoexplainincome-distributions;

AuthorANTHONYF.J.VANRAAN33AuthorANTHONYF.J.VANRAAN

1995年他與美國著名科學(xué)社會學(xué)家RobertK.Merton一起獲得文獻計量學(xué)領(lǐng)域國際最高獎項——普賴斯獎。本文發(fā)表于2006年Scientometrics第三期中

AuthorANTHONYF.J.VANRAAN34Introduction同行評議

peerreview

同行評議指某一學(xué)科或?qū)I(yè)的科學(xué)家共同參加評議科研計劃、科研成果的活動。根據(jù)科研計劃，如競爭性合同題的評議，它不是一個單位內(nèi)的同行評議，而是在確定科研課題后，在全國或部分地區(qū)的研究單位、醫(yī)學(xué)院校“招標”，然后組織國內(nèi)或部分地區(qū)的同行評議。Introduction同行評議

peerreview35IntroductionHirsch在2005年提出了HirschIndex（h指數(shù)）這一概念：某作者至多有h篇論文分別被引用了至少h次。在某數(shù)據(jù)庫中讓論文按被引次數(shù)依次從高到低排列，直到某篇論文的序號大于該論文被引次數(shù).那個序號減去1就是H指數(shù)。序號引文數(shù)12021339443……IntroductionHirsch在2005年提出了Hir36Introduction根據(jù)hirsch的理論，H指數(shù)是對引文絕對卷數(shù)的計量值，因此也可以用h2對引文總數(shù)進行估計但是VanRaan在2006年發(fā)表的論文中指出：H2對引文的總量估計將會偏低，因為它忽略了引文數(shù)少于h的文章。P（c）=αCSIntroduction根據(jù)hirsch的理論，H指數(shù)是對引37Introduction第一個用h指數(shù)作為標準的科學(xué)家排行榜是Hirsch在2005年做的一個對杰出物理學(xué)家的排行榜。該榜中排名在首位的是EdWittenBorn)August26,1951FieldsTheoreticalphysics

SuperstringTheoryInstitutionsInstituteforAdvancedStudy

HarvardUniversity

CaliforniaInstituteofTechnology

PrincetonUniversity

NotableawardsMacArthurFellowship(1982)

DiracMedal(1985)

AlbertEinsteinAward(1985)

FieldsMedal(1990)

HenriPoincaréPrize(2006)

AlanT.WatermanAward(1995)

NemmersPrize(2000)

HenniemenAward(2004)

HarveyPrize(2005)

CrafoordPrize(2008)

LorentzMedal(2010)

IsaacNewtonMedal(2010)著名專家在排行中領(lǐng)銜的結(jié)果強化了Hirsch的建議方法Introduction第一個用h指數(shù)作為標準的科學(xué)家排行榜38IntroductionH指數(shù)可以將那些有穩(wěn)定、持久、杰出貢獻但沒有得到應(yīng)得聲譽的研究人員從默默無聞中被解救出來！IntroductionH指數(shù)可以將那些有穩(wěn)定、持久、39Journalswiththehighesth-indexfortheir2001papersIntroduction表中的大部分期刊都是關(guān)于生物醫(yī)學(xué)領(lǐng)域的，在表前20位中，除了兩個跨學(xué)科雜志之外，還有兩種物理學(xué)雜志（PhysicalReviewLetters和AstrophysicalJournal)和一種化學(xué)雜志（JournaloftheAmericanChemicalSociety）這三種雜志盡管在它們各自的領(lǐng)域聲望都很高，但是在按影響因子排列的期刊列表中，它們都是在100名之外的。這顯示出h指數(shù)更加平衡的特點。

Journalswiththehighesth-in40Introductionh指數(shù)是怎樣與基于高級文獻計量學(xué)指數(shù)的引文影響指數(shù)相關(guān)聯(lián)的？又是怎樣與同行評議的結(jié)果相關(guān)聯(lián)的？不同學(xué)科領(lǐng)域高級文獻計量學(xué)指數(shù)不同引文類型不同出版物類型H指數(shù)同行評議高級文獻計量學(xué)指數(shù)Introductionh指數(shù)是怎樣與基于高級文獻計41材料和方法本文在科研研究小組水平進行分析：因為在科學(xué)研究中，尤其是自然科學(xué)研究中，研究小組是最重要的單位。研究小組會被大學(xué)、研究和發(fā)展機構(gòu)的內(nèi)部結(jié)構(gòu)制約（主要的科學(xué)家傾向于他們研究組的全部作品），不能像作者和期刊那樣在數(shù)據(jù)庫中直接應(yīng)用。抽取研究小組的相關(guān)指標，排除自引材料和方法本文在科研研究小組水平進行分析：42材料和方法本研究的數(shù)據(jù)來源涵蓋了荷蘭所有化學(xué)和化學(xué)工程的大學(xué)研究小組，共147個，1991-1998年發(fā)表的所有文獻，約18000篇。The(10)universitieswithchemistrydepartmentscoveredbythisevaluationstudyareLeiden,Utrecht,Groningen,AmsterdamUvA,AmsterdamVU,Nijmegen,Delft,Eindhoven,Enschede(Twente),andWageningen.材料和方法本研究的數(shù)據(jù)來源涵蓋了荷蘭所有化學(xué)和化學(xué)工程的大學(xué)43材料和方法引文統(tǒng)計：從文獻發(fā)表年開始，以3年為“時間窗”計算引文數(shù)量，例如文獻發(fā)表于1991年，則計算引文是時期為1991—1993年。并且只考慮外部引文，排除自引情況。目的是為了聚焦與研究小組近期/當前研究表現(xiàn)的影響力所有文獻均來自于CitationIndex，CIpublication收錄的雜志，不包括報告和書刊。材料和方法引文統(tǒng)計：44材料和方法作者為了用定量數(shù)據(jù)支持同行評議的結(jié)果，做了廣泛的文獻計量學(xué)分析。同行評議使用了3個等級來評價研究小組的研究質(zhì)量：5分——優(yōu)秀4分——良好3分——滿意同行評議框架材料和方法作者為了用定量數(shù)據(jù)支持同行評議的結(jié)果，做了廣泛的文45材料和方法參與評估的研究小組涵蓋了化學(xué)學(xué)科的所有領(lǐng)域，主要有分析化學(xué)、光譜學(xué)和顯微鏡學(xué)、計算機化學(xué)和理論化學(xué)、物理化學(xué)、催化、無機化學(xué)、有機化學(xué)和生物有機化學(xué)、生物化學(xué)、微生物學(xué)和生化工程……這些研究領(lǐng)域引文特征可能存在顯著的不同。因此，為了對研究小組的影響力進行公證比較，需要應(yīng)用針對研究領(lǐng)域的規(guī)范化標準，尤其是“王冠指標”（crownindicator）即CPP/FCSm材料和方法參與評估的研究小組涵蓋了化學(xué)學(xué)科的所有領(lǐng)域，主要有46材料和方法發(fā)表論文總數(shù)他引總數(shù)篇均他引次數(shù)期刊引文得分研究領(lǐng)域（或子領(lǐng)域）引文得分王冠指標材料和方法發(fā)表論文總數(shù)他引總數(shù)篇均他引次數(shù)期刊引文得分研究領(lǐng)47材料和方法材料和方法48材料和方法Hirsch認為，以上指數(shù)是常用的文獻計量學(xué)標準指數(shù)，但存在一定的問題，h指數(shù)能夠衡量科學(xué)家個體的廣泛影響，也能避免這些問題。另外，對于個體科學(xué)家來說，在wos上h指數(shù)很容易獲得。作者認為：P只度量了文獻產(chǎn)量，而不是影響力C和CPP盡管對文獻計量學(xué)研究者來說可能能夠通過數(shù)據(jù)系統(tǒng)直接獲得，但對于依靠WoS的研究者來說獲取是很困難的。文獻計量學(xué)小組花大量精力清理數(shù)據(jù)，校正科學(xué)家個體的名字錯誤等等，在研究組水平這些問題更加復(fù)雜。這些技術(shù)問題VANRAAN（2005）和MOED（2005）已經(jīng)討論過了。材料和方法Hirsch認為，以上指數(shù)是常用的文獻計量學(xué)標準指49材料和方法

Hirsch認為如果個體科學(xué)家與其他很多人合著一些文章，C會被某些少數(shù)“bighits”的文章夸大。