數據可靠性問題根源和審計技巧Themostflagrantfailurestomaintaindataintegrityincludethefollowing:在維持數據可靠性方面，最不能容忍的失敗包括如下項目：Hidingfailedqualitytestresults隱藏不合格的質量測試結果Retestingandreintegratingtestsamplesuntiltheypassqualitytests重復測試及重建測試樣本直至檢驗合格Changingdatesandtimestamps修改日期和時間標識Completingbatchrecordsafterhours.過了幾小時后才完成批次記錄FDAinspectionnotessuggestthatoperatorsandtechniciansatsomefacilitiesindevelopingcountriesmaymisunderstandthebasicpurposeofaninspection,andreactwithfearandpanictoinspectorrequests.Forinstance,inMarch2015,atZhejiangHisunPharmainChina,whenanoperatorremovedamemorystickfromacomputerandtheinspectoraskedforit,heturnedandranaway(4).InpriorinspectionsinIndia,wheninspectorsapproachedstaffers,theytoreuppaperdocumentationorpouredsamplesdownthedrain(5).FDA檢查記錄提到，在發展中國家的一些工廠里的操作員和技術人員可能誤解檢查的基本目的，且對檢查員的詢問表現為害怕和痛苦。比如，2015年3月，在中國的浙江海正藥業股份有限公司，當一個操作員從一臺電腦上取下記憶棒時，檢察員詢問這件事情時，該操作員轉身跑開(4)。在之前的印度的檢查中，當檢察院靠近員工時，他們將紙質文件撕爛并將樣品傾倒到下水道(5)。PharmacomplianceexpertJohnAvellanet,principalofCeruleanAssociates,LLC,recentlysharedbestpracticesinaninterviewwithPharmaceuticalTechnology.制藥符合專家JohnAvellanet,天藍聯合有限公司的委托人，最近在《制藥技術》的采訪中分享了最佳的實踐。Assessingaglobalproblem評估全球性問題PharmTech:Whyareweseeingsomanydataintegrityissuesatfacilitiesabroad?制藥技術：為什么我們在海外工廠看到這么多的數據可靠性問題？Avellanet:Thereasonsare,inpart,cultural.IntheUSandWesternEurope,weareusedtobeinginspectedbyregulatoryagenciesaswellasindependentthirdpartiessuchastheInternationalOrganizationforStandardization(ISO).Avellanet：這些原因呢，其中有一部分是文化。在美國和西歐，我們習慣被監管機構以及第三方獨立機構檢查，比如國際標準組織(ISO).Inaddition,insomeregionstherecanbeatendencytothinkintermsofrigidculturalconstraintsaboutinformation,asin‘Don’ttellthepeopleinmanagementaboutaproblem,notonlybecusetheycouldfireyou,butbecausetheymightbefromadifferentculture,oradifferentsocialclass,etc.’Iadmitthatoftenit'shardformetorealizewhatassumptionsunderlietheWesternwayofjustdoingplainoldbusiness.Youcantrainsomeonefor365daysayearontheimportanceofinforminghisorhersupervisorifamistakeismadeorspotted,butiftheindividual‘sentireculturesays/Peoplefromyourwalkoflifeshouldn’tmakewavesoryou’llgetintrouble,‘yourtrainingisfallingondeafears.另外，在某些地方會有隱藏信息的硬性文化的趨勢，比如〃不要把問題告訴管理層的人，不僅是他們會炒了你，還因為他們可能來自于不同的文化或不同的社會等級，等等〃。我承認對我來說，經常很難意識到什么樣的猜想會潛伏在只是做平常的舊生意的西方模式中。你可以對一個人一年365天都培訓他:將造成或發現的錯誤告知他/她的主管，但如果這個人的整體文化是在說〃你這個階層的人不應該引起注意，要不然你就有麻煩了〃，那么你的訓練就是對聾子進行，就是失敗了。However,culturalissuesarenottheonlyrootcause,whichisreallytwo-fold:There’scultureandthereismoney.Culturally,thesecontractcompaniesinvariousplacesaroundtheglobemaynotbeusedtodoingbusinessoutsideoftheirregions,sotheydon’tknowwhattoexpect,orwhatthebasicnormsandminimalrequirementsareforfirmsfromtheUSorWesternEurope.Atthesametime,USandEuropeanfirmsarelookingtoreducespending,sothesecondrootcausefactoriscost.然而，文化問題不是唯一的根本問題，這其實是有兩面的：其中一個是文化，另一個是金錢。從文化上說，這些在全球不同地方的合同制造商可能不習慣做他們區域以外的生意，所以他們不知道什么是被期待的，或者不知道來自于美國或西歐的的公司的基本條款或最低要求是什么。與此同時，美國和歐洲公司正在尋求削減開支，所以第二個根本原因是費用。PharmTech:Docompaniestaketoomuchforgrantedwheredataintegrityisconcerned?制藥技術：公司是否會認為數據可靠性的考慮是理所當然的？Avellanet:Theproblemisthatpeopleover30atpharmacompaniesmayoftenstillthinkintermsofpaper.Atsomepoint,someonemaysay‘I’mgoingtorunseventestsandjustprintoutandkeeptheonesthatpassed,ratherthantheotherfourthatfailed,'withoutrealizingthat,inthedigitalage,thatisactuallyaproblem.Wehavethetoolsandtechniquesnowtosee,quickly,thatyoudidn'tkeepallthedataassociatedwiththesefailingtests.What'sgoingon?Avellanet：這個問題是在制藥公司里的超過30歲的人，可能會仍經常以紙質的形式思考。在某些點，某個人可能會說〃我要進行 7個實驗，然后只是打印和保存那些通過的測試，而不是那些失敗的實驗〃。在沒有意識到的情況下，在數字化時代，這個確實是個問題，我們現在有工具和技術可以迅速地去看，你并沒有把所有和這些失敗實驗相關的數據保存起來。發生了什么事？Wehavesupervisorstrustingtheirpeoplenottodothis,but,alltoooften,thesupervisorisn’tperiodicallyverifyingthattheirpeoplehaven’tfudgeddata,orhaven’tfullyincludedalldata,eventhefailingresults.Thequalitydepartmentwantstotrustpeoplebutissofocusedonqualitysystemsthattheymaynothavetheresourcesorknowledgetogobacktodoublecheckthatsupervisorsareworkingcorrectlyorcheckingtheaudittrailsoftheirpeopleinthelaborontheproductionfloor.我們有相信他們的人不會這么做的主管，但太平常的是，主管并沒有周期性的確認他們的人沒有捏造數據，或沒有完整的記錄所有數據，甚至是失敗的實驗。質量部門想要相信員工，但是他們太專注于質量體系而沒有足夠的資源或知識回查或再次確認主管們的工作是否正確，或檢查他們在實驗室或生產車間的人的審查跟蹤。Ialwayssuggestbreakingtheproblemdownintosmallerpieces.Supervisors,forinstance,needn’tlookateachlabtech’sworkeverydayoreveryweek.Justtakeonehouramonth,goinandtakeeachperson’slabnotebookandlookattheaudittrailsandfilestheygenerate.Generally,itwilltakeaboutfiveminutestospotproblems.我總是建議將問題分解為小塊。比如，主管們不需要每天或者每個星期都去看實驗室的技術工作。而只需要每個月抽一個小時，走進每個實驗室拿起每個人員的筆記本并看審計跟蹤及他們生產的文件。通常，只需要5分鐘就能發現問題。PharmTech:Intheend,whoismostresponsiblefordataintegrity,ordoesitrequireamulti-disciplinaryapproach?制藥技術：最后，誰對數據可靠性負有最主要的責任，或者是否需要多學科方法？Avellanet:Intheolddays,youcouldhavethequalityguygoandlookatthebasics(e.g.,blueorblackinksignatures).Butinthedigitalage,qualityalonecannotdothis.ItalsorequiresITandrecordsmanagementstaff,sincearchivingandlong-termdatastoragearesocritical.Avellanet：以前，你可能有質量人員檢查基本問題(比如，用藍色或黑色墨水筆簽字)。但在數字時代，單獨質量部門沒辦法進行。因為歸檔和長期數據存儲如此重要，需要IT和記錄管理部門的同事。You’vegottohaveanITpersonintheroomtoexplainthatnightlybackupsresultinrecordsbeingoverwrittenevery30days.Youdon'twanttohaveaneye-openingmomentwhenFDAasksforabatchrecordfromtwoyearsago,orcalibrationrecordsfromsevenyearsago,andyoucan’tfindtheminyourdigitalarchivesbecausenowthatcallsintoquestionthecontrolsthatyouhaveonallofyourdigitaldata,bothcurrentandhistorical.你不得不要IT同事解釋每30天夜間備份會導致記錄被覆蓋。你不想當FDA問到2年前的一個批次記錄，或者7年前的一份校正記錄時瞪大雙眼，且在你的電子檔案里找不到這些記錄，因為對你所有現在或歷史的電子數據的控制產生懷疑。Gettingpastpaper獲取過去的^件PharmTech:Aretherespecificproblemstokeepinmind?制藥技術：是否有什么是要記住的具體的問題嗎？Avellanet:Inthepast,peoplewouldsimplyprintoutandfilepaperrecords.Theydon’tdothatanymore,sowherearethoseoldelectronicfilestoday?Howdoyouknowthattheyhaven’tbecomecorrupted?Let’ssayyouneedinformationonanadverseeventfrom10yearsago.Onpaper,thatwasn’taproblembutitisforelectronicdata.Avellanet:過去，人們只需將記錄打印出來并存檔。現在已經不這么做了，那些舊的電子文件現在在哪里？你怎么知道他們沒有被毀壞？比如說，你需要10年前的一件不良事件的信息。在紙上，這在當時不是問題，但現在對于電子數據就是問題了。IfyoucreatedanadverseeventfileinWordPerfectnineyearsago,youwon’tbeabletoopenitinMSWordtoday.ThinkaboutthemostpopularwordprocessingsoftwareontheplanetwhenFDAwrote21CodeofFederalRegulations(CFR)Part11.ItwasWordPerfect.Now,it’sMicrosoftWord.Today/sWordcannotopenWordPerfectfiles.Howdoyoumaintain/legibility‘whenyoucan‘tevenopenthefile?如果9年前你在WordPerfect文字處理程序上創建了一個不良事件檔案，你在今天的MSWord軟件上沒辦法打開這個文件。想想當FDA寫21條聯邦法規匯編第11部分時，全球最受歡迎的文字處理軟件。當時是WordPerfect文字處理軟件?，F在是微軟Word軟件。今天的Word文字處理軟件打不開當時的WordPerfect軟件的文件。當你甚至無法打開文件時，你如何保持〃可識別性〃。Alltoooften,wearestillthinkingintermsofpaper,whentherealityisthatwehavemassivedatabasesfullofhugeamountsofdata.Howdoyoufindaspecificdatapointorminethatdatatofindtrends?Wheredoyoudrawthelineof‘Okay,thisisenoughdatatotrend.Isitlastyear’sdataonadverseevents,orthepastfiveyears’worth,orthepast10yearsworth?’Longagothedecisionwaseasy.Itwouldhavebeenanightmaretotrytotrendfiveyearsworthofdataonpaper,butnowyoucandoitin30secondswiththerightdatabasesystemanddataminingtoolsinplace.Atthispoint,mostcompaniesdon’thavethatkindofsysteminplace.Theycan’tdoeverything,sothechallengeishowtostreamlineandsimplifywhattheycandosothatitcanfitwithintheircurrentqualitysystem.最經常的是，當現實是我們有包含了大量數據的巨大的數據庫時，我們仍然打算以紙質文件的形式體現。你如何找到一個具體的數據點或挖掘數據進行趨勢分析？你在那里劃出數據足夠分析趨勢的界線？去年不良事件的數據夠嗎？還是過去五年的？或者過去十年的？〃在以前做這個決定是很容易。但在紙上找五年的數值的趨勢是一個噩夢，但現在，在正確的數據庫系統上用適當的數據挖掘工具，用30秒你就可以做到了。在這一點上，大部分的公司還沒有此類合適的系統。他們沒法做所有事情，所以挑戰是如何合理化和簡化他們能做到事情，從而在他們目前的質量體系下進行配合。Forexample,inthelabs,youwantyoursupervisor,onaquarterlybasis,topickoneanalystandmatchwhatheorshehasputinthenotebookvs.whatheorshedidonaparticularmachine.Forinstance,whatwerethehigh-performanceliquidchromatography(HPLC)runs,andwhichonepassedversuswhatwasrecorded?Justdoingthisonceaquarterwithoneanalystwillgiveanideaofperformance.Ideally,you’ddoiteveryweekbutthisistherealworldofbudgetandresourcelimits.I’drollthatintomysupervisor'sself-assessmentoftheirlabfunctionalityandtheirpersonneleffectiveness.Ifalabisworkingonanespeciallyhigh-riskproject(e.g.,productrelease),thenthisshouldbedoneonceamonthratherthanquarterly.比如，在實驗室里，你希望你的主管們以季度為基礎，挑一個分析員，將他/她在筆記本上的記錄與他/她在特定的機器上的記錄進行比對。比如，在高效液相色譜儀(HPLC)上走機的是什么物質，以及哪些通過了測試，哪些被記錄了？只需要每個季度對一個分析人員進行，就能有一個執行的概念。理想的是，你每個星期都進行，但這是一個預算和資源有限的現實世界。我會把這個放進我的主管們的實驗室功能以及人員效率的自我評估中。如果一個實驗室正在進行一個特別高風險的項目(比如，產品放行)，這個要求每個月進行一次，而不是每個季度。Thenextruleofthumbistoauditthelabtoensurethatthesupervisorisdoingperiodicreviews.Youneedtoknowwherethisisbeingdocumentedandhowoften,andhavethesupervisorwalkyouthroughit.So,ratherthansetupsomethingcompletelyunique,builditintoyourcurrentinternalauditthatthequalityassurancedepartmentshouldalreadybedoingonceayearinthelab.Doublecheckthatlogbookversusaudittrailcomparisonswerebeingmadebythesupervisor.It’smaybefiveminutesofextraworkforsomethingthatyouarealreadydoing.下一個經驗法則是審計實驗室以保證主管做周期性的回顧。你需要知道哪里正在被記錄，多久，以及主管和你一起回顧。所以，與其建立一些完全獨特的東西，不如在你現行的內部審計中建立：質量保證部每年在實驗室中進行一次。主管負責仔細檢查比對日志與審計追蹤。這可能只需要你已經正在做的工作的額外五分鐘。Inmanufacturingenvironments,problemscanoccur,forinstance,whenthecomputerisatoneendofthefloorandtheproductionequipmentwiththedisplayunitisontheotherend.Iftechniciansoroperatorswriteinformationdownonpiecesofpapertoenteritinthecomputerlater,besurethattheyholdontothatpaper,insteadofthrowingitawayafterthey’veentereditintothecomputer.Itshouldbecomepartoftheoverallbatchrecord,includingoperatorname,date,shiftnumber,andlot.Youneedtoensurethatpeoplearedoingthisandthatthemanufacturingsupervisorspotchecksandensuresthattheyaredoingthat,datingandsigningtherecords.Ifyourunfivelines,butonlyhavefourpapersfiled,somethingiswrong.在生產環境下，比如，當電腦在車間的一端，而生產設備的顯示界面在另一端，會有問題發生。如果技術人員或操作人員將信息寫在紙上隨后輸入電腦，確保他們會將紙張繼續保存，而不是輸入電腦后將其丟棄。該紙張應該成為整個批次記錄的一部分，包括操作人員，日期，班次，以及批次。你需要保證人員正在這么做，且生產主管抽查并保證他們確實這么做，并記錄日期及簽名。如果你正在運行五條線，但只有四個文件夾，那就有問題了。Settingclearexpectations設置清晰的期望PharmTech:Howcancompaniesgetsuppliers'staffersoveranyfearofinspections?制藥技術：公司如何幫助供應商的職員客服檢查的擔憂Avellanet:Ialwayssuggestthatcompanies,firstdevelopadataintegrityprogram,anddistillthemainpointsintoa30-minutetrainingcourseforcriticalsuppliers(e.g.,APIsuppliersandcontractmanufacturingorganizations).Thistrainingshouldbegiventothemanagementteamatthatsupplier,especiallyifitisacriticalsupplier.Itsendsthemessage:theseareourexpectations,thisiswhatregulatorsaredemanding,youaregeneratingdataforusandwearegoingtoaudityoubasedonthis.Avellanet：我總是建議公司首先開設一個數據可靠性項目，然后提取主要的點做成一個30分鐘的培訓課程給主要的供應商(如，原料供應商和合約生產組織)。該培訓應該給供應商團隊進行，尤其是重要供應商。這會傳達出一個信息：這些是我們的期望，這是監管者要求的，你們正在給我們生成數據而我們將要基于此審計你。Soyousettheexpectationsandensurethatthecontractsetsthem,andoutlinestheprocedures,training,andrecordsrequiredtoshowthatyoudothis.Thenyousaythatyouwillbebackwithinacertaintimeframetoaudit.因此你設置了期望，并保證有合同，列出相應的程序、培訓和你做了這些工作的記錄。然后說你會在一定期限內回來審計。Ifyouhavealltherecordstoshowthatyoudidthis,yourteamwillnotbeblamedforanyproblemsatthatsupplierthatleadtowarningletters.Thenyoucansay,withaclearconscience,‘Wewereclearinourdocumentedexpectations.Thefactthatthesupplierchosenottofulfillthoseexpectationsisnotmyfault.’Itwillbeyourresponsibility,however,ifyoucontinuetodobusinesswiththatsupplier,orifyoudon’tputinmitigatingcontrolsofyourown.如果你展示做過這件事的所有記錄，你的團隊就不會因為供應商招致的警告信的任何問題而受譴責。然后你就可以問心無愧地說，〃我們在我們的文件期望上很清楚，供應商選擇不去執行這些期望的事實不是我的錯?！ǖ牵绻憷^續和這個供應商做生意，這就是你的責任了，或者你沒有做減損控制。But,byfar,themostimportantgrouptotrainindataintegrityisseniormanagers,sincetheyownthemoney.Performadataintegritygapanalysisandtrainingforyourowncompany,thenuseitasabaselineforsuppliertrainingandtohelpthemfocustheirefforts.但是，到目前為止，對數據可靠性的培訓的最重要群體是高級管理者，因為他們掌管著錢。為你的公司進行數據可靠性差距分析及培訓，然后使用其作為供應商培訓的基線，來幫助他們關注他們的努力。Planningformockaudits模擬審計計劃PharmTech:Howimportantaremockaudits,andshouldtheybeunannounced?制藥技術：模擬審計有多重要？需要進行突擊審查嗎？Avellanet:Mockauditsarereallyimportant.Insteadofhavinganexpertaudityoursuppliers,itmaybecheapertohaveyourownoperationsaudited,seewhatisbeingasked,andthenusethattobuildaframeworkforauditingyoursuppliers.Youcandoa/traintheauditor’typeofworkshoporhaveyourfourtopauditingexpertsfollowtheexpertaround,sothattheoutsideexpertrunsthefirsttwoaudits,butyourownpeopledothelasttwo.Avellanet:模擬審計很重要。請專家審計你的供應商不如用自己審計來的便宜，看看專家問了什么，然后使用其為審計你的供應商建立框架。你可以做一個〃訓練審計員〃類型的工作坊或要你的四個頂級審計專家跟著專家轉，這樣外面的專家進行頭兩個審計，你自己的人做后面兩個審計。Itisparticularlyimportanttofocusonbehavioralissuesandthepresenceorlackofsustainableproactivecontrols.Forexample,questionstoaskinclude:Isthelabsupervisorperiodicallycheckinghisorhersupervisors’work?Iseveryoneinthelabhavinghisorherworkcheckedonatleastonceortwiceayear?TheseauditsareparticularlyimportantforAPIsuppliers,sincetheymayfeelremovedfromyourinternalprocessesthancontractmanufacturers.這對關注在行為問題和有或缺少可持續主動控制相當重要。比如，可以問如下問題：實驗室主管有周期檢查他/她監管的工作嗎？實驗室里的每個人的工作是否每年被檢查一次或兩次？這些審計原料供應商尤其重要，因為他們可能會覺得是你的體系內部而不是作為合約生產商。PharmTech:Howlongshouldeachauditrun?制藥技術：每個審計應該進行多久？Avellanet:Generally,ifthingsaregoingwell,itshouldtaketwodays.Ifthingsaren’tgoingthatwell,thenitisimportanttodevelopprioritized‘todo’lists,bothshort-andlong-term,andspendathirddayplanningremedialefforts.Avellanet：一般來說，如果事情順利的話，需要兩天。如果事情不順利的話，最重要的是開出優先的待辦事項清單，包括短期和長期的，并用第三天來計劃補救工作。Ingeneral,I'dneverrecommendmorethanthreedaysforadataintegrityaudit,inpartbecauseadataintegrityaudit(whereyou’rejustlookingatdataintegritycontrolsandeffectiveness)issomuchmoredetailedthanaqualitysystemsauditandyou'relookingforthingsacrossmultipledocumentsandsystemsthatmaynotlinkup.總的來說，我從不會建議超過三天來進行數據可靠性審計，部分原因是數據可靠性審計(你只是看數據可靠性控制和效率)有那么多的細節而不是質量體系審計，且你是在不同的文件和沒有關聯的系統中找東西。PharmTech:Howdoyouprioritizewhattofocuson?制藥技術：你是如何重點考慮該關注什么？Avellanet:It'sbesttolookattypicalhigh-riskareasforstandardoperatingproceduresandactivities.InspectorsattheUnitedKingdom’sMedicinesandHealthcareproductsRegulatoryAgency(MHRA)havefoundthesegeneralareastobethemostcritical:Avellanet：最好是看典型的標準操作規程和活動的高風險區域。 英國藥監局的審查員發現通常以下領域是最重要的：Batchreleasedatafrommanufacturing生產中的批次放行數據Long-termstabilitydata長期穩定性數據Pharmacovigilanceandcomplainthandlin