Dvigatelni ochish: Python'ning Regex shablonini moslashtirish algoritmlariga chuqur nazar

Muntazam ifodalar, yoki regex, zamonaviy dasturiy ta'minotni ishlab chiqishning asosiy toshidir. Dunyo bo'ylab son-sanoqsiz dasturchilar uchun ular matnni qayta ishlash, ma'lumotlarni tasdiqlash va loglarni tahlil qilish uchun asosiy vositadir. Biz ulardan oddiy satr usullari bilan mos kelmaydigan aniqlikda ma'lumotlarni topish, almashtirish va chiqarish uchun foydalanamiz. Biroq, ko'pchilik uchun regex dvigateli qora quti bo'lib qolmoqda — sirli shablon va satrni qabul qiladigan va qandaydir tarzda natija beradigan sehrli vosita. Ushbu tushunmaslik samarasiz kodga va ba'zi hollarda halokatli ishlash muammolariga olib kelishi mumkin.

Ushbu maqola Python'ning re moduli haqida ma'lumot beradi. Biz uning shablonni moslashtirish dvigatelining yadrosiga sayohat qilamiz, uni quvvatlantiradigan asosiy algoritmlarni o'rganamiz. Dvigatel qanday ishlashini tushunib, siz bu kuchli vositadan foydalanishni taxmin qilishdan ilmga aylantirib, yanada samarali, ishonchli va bashorat qilinadigan muntazam ifodalar yozishga qodir bo'lasiz.

Muntazam ifodalarning yadrosi: Regex dvigateli nima?

Asosida, muntazam ifoda dvigateli ikkita kirishni qabul qiladigan dasturiy ta'minotdir: a shablon (regex) va an kirish satri. Uning vazifasi shablonning satr ichida topilishi mumkinligini aniqlashdir. Agar topilsa, dvigatel muvaffaqiyatli moslikni xabar qiladi va ko'pincha mos kelgan matnning boshlang'ich va oxirgi pozitsiyalari va har qanday olingan guruhlar kabi tafsilotlarni taqdim etadi.

Maqsad oddiy bo'lsa-da, amalga oshirish murakkabdir. Regex dvigatellari odatda nazariy kompyuter faniga, xususan, chekli avtomatlar nazariyasiga asoslangan ikki fundamental algoritmik yondashuvdan birida qurilgan.

• Matnga yo'naltirilgan dvigatellar (DFA asosidagi): Deterministik Chekli Avtomatlarga (DFA) asoslangan ushbu dvigatellar kirish satrini bir vaqtning o'zida bitta belgini qayta ishlaydi. Ular nihoyatda tez va bashorat qilinadigan, chiziqli vaqtda ishlashni ta'minlaydi. Ular hech qachon orqaga qaytishlari yoki satrning qismlarini qayta baholashlari shart emas. Biroq, bu tezlik xususiyatlar hisobiga keladi; DFA dvigatellari backreferences yoki dangasa kvantifikatorlar kabi ilg'or konstruksiyalarni qo'llab-quvvatlay olmaydi. `grep` va `lex` kabi vositalar ko'pincha DFA asosidagi dvigatellardan foydalanadi.
• Regexga yo'naltirilgan dvigatellar (NFA asosidagi): Nondeterministik Chekli Avtomatlarga (NFA) asoslangan ushbu dvigatellar shablon tomonidan boshqariladi. Ular shablon bo'ylab harakatlanib, uning komponentlarini satrga moslashtirishga harakat qiladi. Ushbu yondashuv yanada moslashuvchan va kuchli bo'lib, capturing groups, backreferences va lookarounds kabi keng ko'lamli xususiyatlarni qo'llab-quvvatlaydi. Python, Perl, Java va JavaScript kabi ko'pgina zamonaviy dasturlash tillari NFA asosidagi dvigatellardan foydalanadi.

Python'ning re moduli orqaga qaytish deb ataladigan muhim mexanizmga tayanadigan an'anaviy NFA asosidagi dvigateldan foydalanadi. Ushbu dizayn tanlovi uning kuchi va potentsial ishlash kamchiliklarining kalitidir.

Ikki avtomat hikoyasi: NFA va DFA

Python'ning regex dvigateli qanday ishlashini to'liq tushunish uchun ikkita dominant modelni solishtirish foydalidir. Ularni xaritadan (regex shablonidan) foydalanib labirintdan (kirish satridan) o'tishning ikkita turli strategiyasi deb hisoblang.

Deterministik Chekli Avtomatlar (DFA): Qat'iy yo'l

Kirish satrini harfma-harf o'qiydigan mashinani tasavvur qiling. Har qanday vaqtda u faqat bitta holatda bo'ladi. U o'qigan har bir belgi uchun faqat bitta keyingi holat mavjud. Noaniqlik, tanlov, orqaga qaytish yo'q. Bu DFA.

• Qanday ishlaydi: DFA asosidagi dvigatel har bir holat regex shablonidagi mumkin bo'lgan pozitsiyalar to'plamini ifodalovchi holat mashinasini quradi. U kirish satrini chapdan o'ngga qarab qayta ishlaydi. Har bir belgini o'qib bo'lgach, u o'zining joriy holatini deterministik o'tish jadvaliga asoslanib yangilaydi. Agar u "qabul qiluvchi" holatda satr oxiriga yetsa, moslik muvaffaqiyatli hisoblanadi.
• Kuchli tomonlari:
  • Tezlik: DFA'lar satrlarni chiziqli vaqtda, O(n) da qayta ishlaydi, bu yerda n - satrning uzunligi. Shablonning murakkabligi qidiruv vaqtiga ta'sir qilmaydi.
  • Bashorat qilinadiganlik: Ishlash barqaror va hech qachon eksponensial vaqtga tushib qolmaydi.
• Zaif tomonlari:
  • Cheklangan xususiyatlar: DFA'larning deterministik tabiati oldingi moslikni eslab qolishni talab qiladigan xususiyatlarni, masalan, backreferences (masalan, (\w+)\s+\1) ni amalga oshirishni imkonsiz qiladi. Dangasa kvantifikatorlar va lookaroundlar ham odatda qo'llab-quvvatlanmaydi.
  • Holat portlashi: Murakkab shablonni DFAga kompilyatsiya qilish ba'zan eksponensial darajada ko'p sonli holatlarga olib kelishi mumkin, bu esa sezilarli xotirani iste'mol qiladi.

Nondeterministik Chekli Avtomatlar (NFA): Imkoniyatlar yo'li

Endi boshqa turdagi mashinani tasavvur qiling. Bir belgini o'qiganda, u bir nechta keyingi mumkin bo'lgan holatlarga ega bo'lishi mumkin. Go'yo mashina barcha yo'llarni bir vaqtning o'zida o'rganish uchun o'zini klonlashi mumkin. NFA dvigateli bu jarayonni simulyatsiya qiladi, odatda bir vaqtning o'zida bitta yo'lni sinab ko'radi va agar u muvaffaqiyatsizlikka uchrasa, orqaga qaytadi. Bu NFA.

• Qanday ishlaydi: NFA dvigateli regex shablonidan o'tadi va shablonning har bir tokeni uchun uni satrning joriy pozitsiyasiga moslashtirishga harakat qiladi. Agar token bir nechta imkoniyatlarga ruxsat bersa (masalan, `|` almashtirish yoki `*` kvantifikatori), dvigatel tanlov qiladi va boshqa imkoniyatlarni keyinchalik saqlaydi. Agar tanlangan yo'l to'liq moslikni keltirib chiqarmasa, dvigatel oxirgi tanlov nuqtasiga orqaga qaytadi va keyingi alternativani sinab ko'radi.
• Kuchli tomonlari:
  • Kuchli xususiyatlar: Ushbu model capturing groups, backreferences, lookaheads, lookbehinds, va ham ochko'z, ham dangasa kvantifikatorlarni o'z ichiga olgan boy xususiyatlar to'plamini qo'llab-quvvatlaydi.
  • Ifodalilik: NFA dvigatellari yanada kengroq turdagi murakkab shablonlarni qayta ishlay oladi.
• Zaif tomonlari:
  • Ishlash o'zgaruvchanligi: Eng yaxshi holatda, NFA dvigatellari tez ishlaydi. Eng yomon holatda, orqaga qaytish mexanizmi eksponensial vaqt murakkabligiga, O(2^n) ga olib kelishi mumkin, bu "halokatli orqaga qaytish" deb nomlanadi.

Python'ning `re` modulining yuragi: Orqaga qaytuvchi NFA dvigateli

Python'ning regex dvigateli orqaga qaytuvchi NFA'ning klassik namunasidir. Bu mexanizmni tushunish Python'da samarali muntazam ifodalar yozish uchun yagona eng muhim tushunchadir. Keling, o'xshashlikdan foydalanamiz: tasavvur qiling, siz labirintdasiz va yo'nalishlar to'plamingiz bor (shablon). Siz bitta yo'ldan borasiz. Agar siz tupikga kirsangiz, oxirgi chorrahaga qadamlaringizni orqaga qaytarasiz va boshqa yo'lni sinab ko'rasiz. Bu "orqaga qaytish va qayta urinish" jarayoni orqaga qaytishdir.

Bosqichma-bosqich orqaga qaytish misoli

Dvigatelning oddiy ko'rinadigan shablonni qanday boshqarishini ko'raylik. Ushbu misol ochko'z moslik va orqaga qaytishning asosiy tushunchasini namoyish etadi.

• Shablon: a.*b
• Satr: axbyc_bzd

Maqsad 'a' bilan boshlanadigan, 'b' bilan tugaydigan va o'rtada har qanday narsa bo'lgan kichik satrni topishdir.

1. Dvigatel satrning birinchi belgisidan boshlaydi. Shablonning birinchi qismi a. U satrning boshidagi 'a' ga mos keladi. Dvigatelning pozitsiyasi endi 'a' dan keyin.
2. Keyingi .*. * kvantifikatori sukut bo'yicha ochko'z. Bu muhim nuqta. Ochko'z kvantifikator iloji boricha ko'proq belgilarni moslashtiradi. Demak, .* satrning qolgan qismini butunlay iste'mol qiladi: `xbyc_bzd`.
3. Dvigatel endi shablonning .* qismining oxiriga yetdi va keyingi tokenni moslashtirishga harakat qiladi: b. Biroq, u allaqachon satrning oxirida. Moslashtirish uchun hech qanday belgi qolmadi. Bu pozitsiyada moslik muvaffaqiyatsiz bo'ladi.
4. ORQAGA QAYTISH! Dvigatel o'zining oxirgi tanlovini qayta ko'rib chiqishi kerak. Oxirgi muhim tanlov ochko'z .* qancha belgilarni iste'mol qilishi kerakligi edi. U juda ochko'z edi. Shunday qilib, u orqaga qaytadi: .* bitta belgini qaytaradi.
   • .* tomonidan iste'mol qilingan satr endi `xbyc_bz`.
   • Qaytarilgan belgi `d`.
   • Dvigatel b ni `d` ga moslashtirishga harakat qiladi. Bu muvaffaqiyatsiz.
5. YANA ORQAGA QAYTISH! .* yana bir belgini qaytaradi.
   • .* tomonidan iste'mol qilingan satr endi `xbyc_b`.
   • Qaytarilgan belgi `z`.
   • Dvigatel b ni `z` ga moslashtirishga harakat qiladi. Bu muvaffaqiyatsiz.
6. YANA ORQAGA QAYTISH! .* yana bir belgini qaytaradi.
   • .* tomonidan iste'mol qilingan satr endi `xbyc_`.
   • Qaytarilgan belgi `b`.
   • Dvigatel b ni `b` ga moslashtirishga harakat qiladi. Muvaffaqiyat!
7. Butun shablon a.*b endi moslandi. Yakuniy moslik axbyc_b.

Ushbu oddiy misol dvigatelning sinov va xato tabiatini ko'rsatadi. Murakkab shablonlar va uzun satrlar uchun bu iste'mol qilish va qaytarish jarayoni minglab yoki hatto millionlab marta sodir bo'lishi mumkin, bu esa jiddiy ishlash muammolariga olib keladi.

Orqaga qaytish xavfi: Halokatli orqaga qaytish

Halokatli orqaga qaytish - bu dvigatel sinab ko'rishi kerak bo'lgan permutatsiyalar soni eksponensial tarzda o'sadigan o'ziga xos, eng yomon holat. Bu dasturning qotib qolishiga, CPU yadrosining 100% ini soniyalar, daqiqalar yoki undan ham ko'proq vaqt davomida iste'mol qilishiga olib kelishi mumkin, bu esa samarali ravishda muntazam ifodadan voz kechish (ReDoS) zaifligini yaratadi.

Bu holat odatda ichki kvantifikatorlar ga ega bo'lgan va bir-biriga mos keladigan belgi to'plami bo'lgan, deyarli, lekin to'liq mos kelmaydigan satrga qo'llanilgan shablonlardan kelib chiqadi.

Klassik patologik misolni ko'rib chiqing:

• Shablon: (a+)+z
• Satr: aaaaaaaaaaaaaaaaaaaaaaaaaz (25 ta 'a' va bitta 'z')

Bu juda tez mos keladi. Tashqi `(a+)+` barcha 'a' larni bir yo'la moslashtiradi, keyin `z` 'z' ga mos keladi.

Ammo endi ushbu satrni ko'rib chiqing:

• Satr: aaaaaaaaaaaaaaaaaaaaaaaaab (25 ta 'a' va bitta 'b')

Nima uchun bu halokatli ekanligini ko'rib chiqing:

1. Ichki a+ bir yoki bir nechta 'a' larga mos kelishi mumkin.
2. Tashqi + kvantifikatori (a+) guruhini bir yoki bir nechta marta takrorlash mumkinligini bildiradi.
3. 25 ta 'a' dan iborat satrni moslashtirish uchun dvigatel uni bo'lishning ko'plab, ko'plab usullariga ega. Masalan:
   • Tashqi guruh bir marta mos keladi, ichki a+ barcha 25 ta 'a' larni moslashtiradi.
   • Tashqi guruh ikki marta mos keladi, ichki a+ avval 1 ta 'a' ni, keyin 24 ta 'a' ni moslashtiradi.
   • Yoki 2 ta 'a', keyin 23 ta 'a'.
   • Yoki tashqi guruh 25 marta mos keladi, ichki a+ har safar bittadan 'a' ni moslashtiradi.

Dvigatel avval eng ochko'z moslikni sinab ko'radi: tashqi guruh bir marta mos keladi va ichki `a+` barcha 25 ta 'a' larni iste'mol qiladi. Keyin u `z` ni `b` ga moslashtirishga harakat qiladi. Bu muvaffaqiyatsiz. Shunday qilib, u orqaga qaytadi. U 'a' larni bo'lishning keyingi mumkin bo'lgan usulini sinab ko'radi. Va keyingisini. Va keyingisini. 'a' lardan iborat satrni bo'lish usullari soni eksponensialdir. Dvigatel satr mos kelmasligini xulosa qilishdan oldin har birini sinab ko'rishga majbur bo'ladi. Atigi 25 ta 'a' bilan bu millionlab qadamlarni talab qilishi mumkin.

Halokatli orqaga qaytishni qanday aniqlash va oldini olish mumkin

Samarali regex yozishning kaliti dvigatelni boshqarish va uning orqaga qaytish qadamlari sonini kamaytirishdir.

1. Bir-biriga mos keladigan shablonlar bilan ichki kvantifikatorlardan saqlaning
Halokatli orqaga qaytishning asosiy sababi (a*)*, (a+|b+)* yoki (a+)+ kabi shablondir. Shablonlaringizni ushbu tuzilma uchun sinchkovlik bilan tekshiring. Ko'pincha uni soddalashtirish mumkin. Masalan, (a+)+ ancha xavfsizroq bo'lgan a+ bilan funksional jihatdan bir xil. (a|b)+ shabloni (a+|b+)* ga qaraganda ancha xavfsizroq.

2. Ochko'z kvantifikatorlarni dangasa (ochko'z bo'lmagan) qiling
Sukut bo'yicha, kvantifikatorlar (`*`, `+`, `{m,n}`) ochko'zdir. Ularni `?` qo'shish orqali dangasa qilishingiz mumkin. Dangasa kvantifikator iloji boricha kamroq belgilarni moslashtiradi, faqat shablonning qolgan qismi muvaffaqiyatli bo'lishi uchun zarur bo'lsa, moslikni kengaytiradi.

• Ochko'z: <h1>.*</h1> satrda "<h1>Sarlavha 1</h1> <h1>Sarlavha 2</h1>" birinchi <h1> dan oxirgi </h1> gacha butun satrni moslashtiradi.
• Dangasa: <h1>.*?</h1> xuddi shu satrda avval "<h1>Sarlavha 1</h1>" ni moslashtiradi. Bu ko'pincha kerakli xatti-harakatdir va orqaga qaytishni sezilarli darajada kamaytirishi mumkin.

3. Ehtiyotkor kvantifikatorlar va atom guruhlardan foydalaning (iloji bo'lsa)
Ba'zi ilg'or regex dvigatellari orqaga qaytishni ochiqdan-ochiq taqiqlaydigan xususiyatlarni taklif qiladi. Python'ning standart `re` moduli ularni qo'llab-quvvatlamasa-da, ajoyib uchinchi tomon `regex` moduli qo'llab-quvvatlaydi va u murakkab shablonni moslashtirish uchun foydali vositadir.

• Ehtiyotkor kvantifikatorlar (`*+`, `++`, `?+`): Bular ochko'z kvantifikatorlarga o'xshaydi, lekin bir marta moslashgandan so'ng, ular hech qachon hech qanday belgilarni qaytarib bermaydi. Dvigatel ularga orqaga qaytishga ruxsat berilmaydi. (a++)+z shabloni muammoli satrimizda deyarli bir zumda muvaffaqiyatsiz bo'ladi, chunki `a++` barcha 'a' larni iste'mol qiladi va keyin orqaga qaytishdan bosh tortadi, bu esa butun moslikning darhol muvaffaqiyatsiz bo'lishiga olib keladi.
• Atom guruhlar `(?>...)`:** Atom guruh - bu guruhdan chiqqandan so'ng, undagi barcha orqaga qaytish pozitsiyalarini bekor qiladigan, ushlab qolmaydigan guruhdir. Dvigatel turli xil permutatsiyalarni sinab ko'rish uchun guruhga orqaga qayta olmaydi. `(?>a+)z` `a++z` ga o'xshash tarzda ishlaydi.

import re

# Keling, 'a(b|c)+d' shablonini tahlil qilamiz
re.compile('a(b|c)+d', re.DEBUG)

LITERAL 97          # 'a' belgisiga mos keladi
MAX_REPEAT 1 65535  # Kvantifikatorni boshlash: keyingi guruhni 1 dan ko'p marta moslashtirish
  SUBPATTERN 1 0 0    # 1-guruhni ushlab qolishni boshlash
    BRANCH            # Almashtirishni boshlash ('|' belgisi)
      LITERAL 98      # Birinchi shoxchada 'b' ga mos keladi
    OR
      LITERAL 99      # Ikkinchi shoxchada 'c' ga mos keladi
    MARK 1            # 1-guruhni ushlab qolishni tugatish
LITERAL 100         # 'd' belgisiga mos keladi
SUCCESS             # Butun shablon muvaffaqiyatli moslandi