Роман Сузи - Язык программирования Python

r"a(a|b)b"

Соответствует « aab» или « abb»

r"^(?:\d{8}|\d{4}):\s*(.*)$"

Соответствует строке, которая начинается с набора из восьми или четырех цифр и двоеточия. Все, что идет после двоеточия и после следующих за ним пробелов, выделяется в группу с номером 1, тогда как набор цифр в группу не выделен.

r"(\w+)=.*\b\1\b"

Слова слева и справа от знака равенства присутствуют. Операнд "\1"соответствует группе с номером 1, выделенной с помощью скобок.

r"(?P\w+)=.*\b(?P=var)\b"

То же самое, но теперь используется именованная группа var.

r"\bregular(?=\s+expression)"

Соответствует слову « regular» только в том случае, если за ним после пробелов следует « expression»

r"(?<=regular )expression"

Соответствует слову « expression», перед которым стоит « regular»и один пробел.

Следует заметить, что примеры со взглядом назад могут сильно влиять на производительность, поэтому их не стоит использовать без особой необходимости.

Следующий небольшой сценарий позволяет отлаживать регулярное выражение, при условии, что есть пример строки, которой шаблон должен удовлетворять. Взят кусочек лога iptables, его необходимо разобрать для получения полей. Интересны строки, в которых после kernel:стоит PAY:, а в этих строках нужно получить дату, значения DST, LEN и DPT:

import re

def debug_regex(regex, example):

"""Отладка рег. выражения. Перед отладкой лучше убрать лишние скобки """

last_good = ""

for i in range(1, len(regex)):

try:

if re.compile(regex[:i]).match(example):

last_good = regex[:i]

except:

continue

return last_good

example = ""«Nov 27 15:57:59 lap kernel: PAY: IN=eth0 OUT=

MAC=00:50:da:d9:df:a2:00:00:1c:b0:c9:db:08:00 SRC=192.168.1.200

DST=192.168.1.115

LEN=1500 TOS=0x00 PREC=0x00 TTL=64 ID=31324 DF PROTO=TCP SPT=8080 DPT=1039

WINDOW=17520 RES=0x00 ACK PSH URGP=0»""

log_re = r"""[A–Za–z]{3}\s+\d+\s+\d\d\d\d:\d\d) \S+ kernel: PAY: .+

DST=(?P\S+).* LEN=(?P\d+).* DPT=(?P\d+) """

print debug_regex(log_re, example)

Функция debug_regex()пробует сопоставлять пример с увеличивающимися порциями регулярного выражения и возвращает последнее удавшееся сопоставление:

[A–Za–z]{3}\s+\d+\s+\d\d

Сразу видно, что не поставлен символ :.

Предыдущий пример регулярного выражения позволит выделить из лога записи с определенной меткой и подать их в сокращенном виде:

import re

log_re = re.compile(r"""(?P[A–Za–z]{3}\s+\d+\s+\d\d:\d\d:\d\d) \S+

kernel:

PAY: .+ DST=(?P\S+).* LEN=(?P\d+).* DPT=(?P\d+) """)

for line in open("message.log"):

m = log_re.match(line)

if m:

print "%(date)s %(dst)s:%(dpt)s size=%(len)s" % m.groupdict()

В результате получается

Nov 27 15:57:59 192.168.1.115:1039 size=1500

Nov 27 15:57:59 192.168.1.200:8080 size=40

Nov 27 15:57:59 192.168.1.115:1039 size=515

Nov 27 15:57:59 192.168.1.200:8080 size=40

Nov 27 15:57:59 192.168.1.115:1039 size=40

Nov 27 15:57:59 192.168.1.200:8080 size=40

Nov 27 15:57:59 192.168.1.115:1039 size=40

Хороший пример регулярного выражения можно найти в модуле fpformat. Это регулярное выражение позволяет разобрать запись числа (в том виде, в каком числовой литерал принято записывать в Python):

decoder = re.compile(r'^([-+]?)0*(\d*)((?:\.\d*)?)(([eE][-+]?\d+)?)$')

# Следующие части числового литерала выделяются с помощью групп:

# \0 — весь литерал

# \1 — начальный знак или пусто

# \2 — цифры слева от точки

# \3 — дробная часть (пустая или начинается с точки)

# \4 — показатель (пустой или начинается с 'e' или 'E')

Например:

import re

decoder = re.compile(r'^([-+]?)0*(\d*)((?:\.\d*)?)((?:[eE][-+]?\d+)?)$')

print decoder.match("12.234").groups()

print decoder.match(" — 0.23e–7").groups()

print decoder.match("1e10").groups()

Получим

('', '12', '.234', '')

('-', '', '.23', 'e–7')

('', '1', '', 'e10')

В некоторых приложениях требуется производить в тексте сразу несколько замен. Для решения этой задачи можно использовать метод sub()вместе со специальной функцией, которая и будет управлять заменами:

import re

def multisub(subs_dict, text):

def _multisub(match_obj):

return str(subs_dict[match_obj.group()])

multisub_re = re.compile("|".join(subs_dict.keys()))

return multisub_re.sub(_multisub, text)

repl_dict = {'one': 1, 'two': 2, 'three': 3}

print multisub(repl_dict, "One, two, three")

Будет выведено

One, 2, 3

В качестве упражнения предлагается сделать версию, которая бы не учитывала регистр букв.

В приведенной программе вспомогательная функция _multisub()по полученному объекту с результатом сравнения возвращает значение из словаря с описаниями замен subs_dict.

Для упрощения работы с несколькими файлами можно использовать модуль fileinput. Он позволяет обработать в одном цикле строки всех указанных в командной строке файлов:

import fileinput

for line in fileinput.input():

process(line)

В случае, когда файлов не задано, обрабатывается стандартный ввод.

До появления Unicode символы в компьютере кодировались одним байтом (а то и только семью битами). Один байт охватывает диапазон кодов от 0 до 255 включительно, а это значит, что больше двух алфавитов, цифр, знаков пунктуации и некоторого набора специальных символов в одном байте не помещается. Каждый производитель использовал свою кодировку для одного и того же алфавита. Например, до настоящего времени дожили целых пять кодировок букв кириллицы, и каждый пользователь не раз видел в своем браузере или электронном письме пример несоответствия кодировок.

Стандарт Unicode — единая кодировка для символов всех языков мира. Это большое облегчение и некоторое неудобство одновременно. Плюс состоит в том, что в одной Unicode–строке помещаются символы совершенно различных языков. Минус же в том, что пользователи привыкли применять однобайтовые кодировки, большинство приложений ориентировано на них, во многих системах поддержка Unicode осуществляется лишь частично, так как требует огромной работы по разработке шрифтов. Правда, символы одной кодировки можно перевести в Unicode и обратно.

Здесь же следует заметить, что файлы по–прежнему принято считать последовательностью байтов, поэтому для хранения текста в файле в Unicode требуется использовать одну из транспортных кодировок Unicode (utf–7, utf–8, utf–16, …). В некоторых их этих кодировок имеет значение принятый на данной платформе порядок байтов (big–endian, старшие разряды в конце или little–endian, младшие в конце). Узнать порядок байтов можно, прочитав атрибут из модуля sys. На платформе Intel это выглядит так:

>>> sys.byteorder

'little'

Для исключения неоднозначности документ в Unicode может быть в самом начале снабжен BOM (byte–order mark — метка порядка байтов) — Unicode–символом с кодом 0xfeff. Для данной платформы строка байтов для BOM будет такой: