Python文件和數據格式化處理文本匯報人：XX2024-01-12文件讀取與寫入文本數據清洗數據格式化處理正則表達式應用批量處理文本文件案例分析與實戰演練文件讀取與寫入01使用`open()`函數打開文件，需要指定文件名和打開模式（如讀取模式'r'、寫入模式'w'、追加模式'a'等）。打開文件使用`close()`方法關閉文件，釋放資源。關閉文件打開與關閉文件使用`read()`方法一次性讀取文件的全部內容。讀取全部內容逐行讀取讀取指定字符使用`readlines()`方法或循環遍歷文件對象逐行讀取內容。使用`read(size)`方法讀取指定數量的字符。030201讀取文件內容使用`write()`方法將字符串寫入文件。寫入字符串使用`writelines()`方法將字符串列表寫入文件，每個字符串代表一行。寫入多行數據以追加模式打開文件，使用`write()`或`writelines()`方法將內容追加到文件末尾。追加內容寫入文件內容使用`os.getcwd()`方法獲取當前工作目錄的路徑。獲取當前路徑使用`os.path.join()`方法拼接路徑，確保路徑的正確性。拼接路徑使用`os.path.split()`或`os.path.splitext()`方法分割路徑，獲取文件名和擴展名等信息。分割路徑使用`os.path.exists()`方法判斷指定路徑是否存在。判斷路徑是否存在文件路徑處理文本數據清洗02刪除空白字符使用Python中的`strip()`、`lstrip()`或`rstrip()`方法，可以刪除字符串開頭、結尾或兩側的空白字符。刪除特殊符號使用正則表達式庫`re`中的`sub()`方法，可以匹配并刪除文本中的特殊符號。例如，`re.sub(r'[^ws]','',text)`可以刪除所有非字母、非數字和非空格字符。刪除空白字符和特殊符號編碼轉換使用Python內置的`encode()`和`decode()`方法，可以實現文本編碼的轉換。例如，將UTF-8編碼的文本轉換為GBK編碼，可以使用`text.encode('gbk')`。處理編碼錯誤在編碼轉換過程中，可能會遇到編碼錯誤。可以使用`errors`參數指定錯誤處理方式，如忽略錯誤（`'ignore'`）或替換錯誤字符（`'replace'`）。文本編碼轉換停用詞是指在文本中頻繁出現但對文本意義貢獻較小的詞語，如“的”、“了”等。可以使用現成的停用詞列表，也可以根據需要自定義停用詞列表。停用詞列表將文本分詞后，遍歷每個詞語，如果詞語在停用詞列表中，則將其從文本中刪除。去除停用詞去除停用詞和無關詞匯使用分詞工具（如jieba分詞）對文本進行分詞。分詞工具可以根據詞典和規則將文本切分成詞語序列。在分詞的基礎上，使用詞性標注工具對每個詞語進行詞性標注。詞性標注可以幫助理解詞語在文本中的作用和含義。分詞及詞性標注詞性標注分詞數據格式化處理03使用`format()`方法通過在字符串中使用花括號`{}`作為占位符，調用`format()`方法并傳入相應的參數進行替換。使用f-string在Python3.6及以上版本中，可以使用f-string進行字符串格式化，通過在字符串前加上`f`或`F`，并在字符串中使用花括號`{}`包裹變量或表達式。使用`%`操作符較舊的字符串格式化方式，使用`%`操作符和格式化字符串，如`"%s%d"`表示一個字符串和一個整數。字符串格式化使用`datetime`模塊Python標準庫中的`datetime`模塊提供了日期和時間的格式化功能。可以使用`strftime()`方法將日期和時間對象格式化為字符串，或使用`strptime()`方法將字符串解析為日期和時間對象。常見的日期時間格式符號如`%Y`表示四位數的年份，`%m`表示兩位數的月份，`%d`表示兩位數的日期，`%H`表示24小時制的小時數，`%M`表示分鐘數，`%S`表示秒數等。日期和時間格式化處理使用`format()`方法01類似于字符串格式化，可以使用`format()`方法對數字進行格式化輸出。通過在字符串中使用花括號`{}`作為占位符，并指定相應的格式化選項，如精度、寬度、對齊方式等。使用f-string02同樣可以在f-string中對數字進行格式化處理，通過在花括號`{}`中指定格式化選項。數字的千位分隔符03可以使用逗號`,`作為千位分隔符來表示大數字，提高可讀性。數字格式化處理

自定義格式化函數定義函數根據需要，可以自定義格式化函數來處理特定的數據格式。函數接收需要格式化的數據作為參數，并返回格式化后的結果。使用正則表達式在自定義格式化函數中，可以使用正則表達式來匹配和替換特定的數據格式。Python標準庫中的`re`模塊提供了正則表達式的相關功能。處理復雜數據格式對于復雜的數據格式，可以在自定義函數中結合使用字符串操作、條件判斷、循環等語句來實現所需的格式化邏輯。正則表達式應用04正則表達式是一種強大的文本處理工具，用于描述字符串的匹配模式。通過特定的語法規則，可以靈活地匹配、查找和替換文本中的特定內容。正則表達式定義正則表達式的語法規則包括字符類、數量詞、邊界符、分組和選擇符等。例如，字符類用于匹配特定字符集合中的任意一個字符，數量詞用于指定字符或組合的出現次數，邊界符用于指定匹配的位置等。語法規則正則表達式簡介及語法規則匹配操作使用正則表達式進行匹配操作時，可以根據指定的模式在文本中查找匹配的內容。Python中的`re`模塊提供了`match()`、`search()`等方法用于執行匹配操作。查找操作查找操作與匹配操作類似，用于在文本中查找符合指定模式的內容。可以使用`findall()`方法返回所有匹配的結果，或使用`finditer()`方法返回一個迭代器，逐個訪問匹配結果。替換操作正則表達式還可以用于替換文本中的特定內容。Python中的`re`模塊提供了`sub()`方法用于執行替換操作，可以指定替換的源字符串、目標字符串和替換次數等參數。匹配、查找與替換操作分組應用正則表達式中的分組功能可以將模式中的一部分內容分組，并對分組進行單獨處理。通過使用括號`()`來創建分組，可以對分組進行捕獲、引用和操作。捕獲組捕獲組是正則表達式中用于捕獲匹配結果的一種分組方式。通過在分組中添加括號，可以將匹配的內容保存到捕獲組中，并在后續處理中進行引用或使用。非捕獲組非捕獲組與捕獲組類似，但是不會保存匹配結果。非捕獲組的語法是在括號的開頭添加`?:`，例如`(?:pattern)`。非捕獲組可以用于優化性能和提高正則表達式的可讀性。分組、捕獲與非捕獲組應用正則表達式具有強大的語法規則，可以靈活地描述各種復雜的文本模式，滿足不同的處理需求。靈活性高效性可讀性跨平臺性正則表達式引擎經過優化，可以在較短時間內處理大量的文本數據，提高文本處理的效率。正則表達式采用簡潔的語法規則，使得表達式具有較高的可讀性，方便開發和維護。正則表達式是一種通用的文本處理工具，可以在不同的編程語言和平臺上使用，具有良好的跨平臺性。正則表達式在文本處理中的優勢批量處理文本文件05使用os模塊中的os.walk()函數可以遍歷指定目錄下的所有文件和子目錄，并返回一個生成器對象，每個對象包含當前目錄路徑、目錄列表和文件列表。os模塊遍歷目錄使用glob模塊中的glob()函數可以根據通配符匹配指定目錄下的文件，并返回一個包含匹配文件路徑的列表。glob模塊匹配文件結合os和glob模塊，可以遍歷指定目錄下的所有文件，并對每個文件進行所需的操作，如讀取、修改、重命名等。遍歷文件并操作遍歷目錄并操作多個文件批量重命名或移動文件結合os和shutil模塊，可以批量重命名或移動指定目錄下的所有文件，根據需要進行相應的操作。批量處理使用os模塊中的os.rename()函數可以重命名指定文件。os模塊重命名文件使用shutil模塊中的shutil.move()函數可以將指定文件移動到另一個位置，如果目標位置與當前位置不同，則相當于重命名并移動文件。shutil模塊移動文件批量修改文件內容使用open()函數打開指定文件，并使用read()方法讀取文件內容。對讀取的文件內容進行所需的修改操作，如替換、添加、刪除等。使用write()方法將修改后的內容寫回文件，并使用close()方法關閉文件。結合os模塊遍歷目錄和上述步驟，可以批量修改指定目錄下的所有文件內容。打開并讀取文件修改文件內容寫回文件批量處理將上述批量處理文本文件的操作封裝成一個自動化腳本，方便重復使用和提高效率。編寫自動化腳本使用argparse模塊添加命令行參數支持，使得腳本更加靈活和可配置。命令行參數使用logging模塊記錄腳本運行過程中的日志信息，方便排查問題和跟蹤腳本執行情況。日志記錄在腳本中添加異常處理機制，確保腳本在出現異常時能夠正常終止并給出相應的錯誤信息。異常處理實現自動化腳本提高效率案例分析與實戰演練06案例一：批量修改文件名格式需求分析用戶需要將某個文件夾下的大量文件按照統一的規則進行重命名，例如將文件名中的空格替換為下劃線，或者添加前綴或后綴等。解決方案使用Python的os模塊遍歷指定文件夾下的所有文件，然后使用字符串的replace()方法或其他相關操作對文件名進行修改，最后使用os.rename()方法完成重命名操作。示例代碼```pythonimportos案例一：批量修改文件名格式defbatch_rename_files(directory,old_pattern,new_pattern)案例一：批量修改文件名格式forfilenameinos.listdir(directory)ifold_patterninfilenamenew_filename=filename.replace(old_pattern,new_pattern)案例一：批量修改文件名格式案例一：批量修改文件名格式os.rename(os.path.join(directory,filename),os.path.join(directory,new_filename))```使用說明：調用batch_rename_files()函數，傳入需要批量重命名的文件夾路徑、需要被替換的文件名子串以及新的文件名子串即可。案例一：批量修改文件名格式案例二：提取特定格式數據并整理成表格用戶需要從一系列文本文件中提取出符合特定格式的數據，并將這些數據整理成表格形式進行展示或后續處理。需求分析使用Python的正則表達式模塊re匹配符合特定格式的數據，然后將匹配到的數據按照表格的形式進行整理，可以使用pandas等數據處理庫來完成表格的生成和操作。解決方案示例代碼```pythonimportre案例二：提取特定格式數據并整理成表格importpandasaspddefextract_data_to_table(file_path,pattern)案例二：提取特定格式數據并整理成表格withopen(file_path,'r')asf案例二：提取特定格式數據并整理成表格03data=pd.DataFrame(matches,columns=['Column1','Column2','Column3'])#根據匹配到的數據格式設置列名01content=f.read()02matches=re.findall(pattern,content)案例二：提取特定格式數據并整理成表格returndata案例二：提取特定格式數據并整理成表格```使用說明：調用extract_data_to_table()函數，傳入需要提取數據的文件路徑以及用于匹配數據的正則表達式即可。函數會返回一個pandas的DataFrame對象，用戶可以根據需要對這個對象進行進一步的操作和處理。案例二：提取特定格式數據并整理成表格需求分析用戶需要定期對一些數據進行分析并生成報告，或者將分析結果通過郵件發送給相關人員。使用Python的自動化腳本