大數據導論正則表達式使用數據采集

在編寫處理字符串的程序或網頁時，經常會有查找符合某些復雜規則的字符串的需要。

正則表達式就是用于描述一組字符串特征的模式，用來匹配特定的字符串。通過特殊字符+普通字符來進行模式描述，從而達到文本匹配目的工具。什么是正則表達式例如：

所有以0開頭，后面跟著2-3個數字，然后是一個連字號“-”，最后是7或8位數字的字符串(0376-7654321)

對應的正則表達式：(0\d{2}-\d{8})|(0\d{3}-\d{7})應用場景查找從大量信息中快速提取指定內容，在一批url中，查找指定url。替換將指定格式的文本進行正則匹配查找，找到之后進行特定替換。驗證表單提交時，進行用戶名密碼的驗證。基本要素反義字符捕獲元字符量詞1324元字符代碼/語法說明.匹配除換行符以外的任意一個字符\w匹配字母或數字或下劃線或漢字\s匹配任意的空白符\d匹配數字\b匹配單詞的開始或結束^匹配字符串的開始$匹配字符串的結束例子：\ba\w*\b

匹配以字母a開頭的單詞

先是某個單詞開始處(\b)，然后是字母a,然后是任意數量的字母或數字(\w*)，最后是單詞結束處(\b)。\d+

匹配1個或更多連續的數字。

這里的+是和*類似的元字符，不同的是*匹配重復任意次(可能是0次)，而+則匹配重復1次或更多次。反義字符代碼/語法說明\W匹配任意不是字母，數字，下劃線，漢字的字符\S匹配任意不是空白符的字符\D匹配任意非數字的字符\B匹配不是單詞開頭或結束的位置[^x]匹配除了x以外的任意字符[^abc]匹配除了abc這幾個字母以外的任意字符

有時需要查找不屬于某個能簡單定義的字符類的字符。

比如想查找除了數字以外，其它任意字符都行的情況例子：\S+

匹配不包含空白符的字符串。<a[^>]+>

匹配用尖括號括起來的以a開頭的字符串量詞代碼/語法說明*重復零次或更多次+重復一次或更多次?重復零次或一次{n}重復n次{n,}重復n次或更多次{n,m}重復n到m次量詞是用于描述量詞的前導字符重復次數例如：a*

表示0個或者多個a字符a{3,9}

表示3到9個a字符

一個括號內的內容就是一個捕獲分組，如"(\d)\d"中的"(\d)"。

一般應用于提取括號中的文本內容。捕獲分組代碼/語法說明(exp)匹配exp,并捕獲文本到自動命名的組里(?<name>exp)匹配exp,并捕獲文本到名稱為name的組里，也可以寫成(?'name'exp)(?:exp)匹配exp,不捕獲匹配的文本，也不給此分組分配組號例如：

正則表達式：

[^\d]*(\d{3,})[^\d]*,匹配一段字符串，以非數字字符串開頭，有3位以上的數字字符串，且非數字字符串結尾，同時將匹配到的數字字符串捕獲出來放到一個分組中。例如：

在采集豆瓣電影top250電影信息的代碼中，涉及到對電影鏈接、電影名稱、電影評分信息進行提取時，分別在對應的文本位置設置了捕獲分組。捕獲分組1.Email地址：

^\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*$2.域名：

[a-zA-Z0-9][-a-zA-Z0-9]{0,62}(/.[a-zA-Z0-9][-a-zA-Z0-9]{0,62})+/.?3.InternetURL：

[a-zA-z]+://[^\s]*或^http://([\w-]+\.)+[\w-]+(/[\w-./?%&=]*)