Pythoni mälupuhvri arhitektuur: väikeste objektide eraldamise optimeerimine

Python, mis on tuntud oma kasutuslihtsuse ja mitmekülgsuse poolest, toetub tõhusaks ressursikasutuseks keerukatele mäluhaldustehnikatele. Üks selle süsteemi põhikomponente on mälupuhvri arhitektuur, mis on spetsiaalselt loodud väikeste objektide eraldamise ja vabastamise optimeerimiseks. See artikkel sukeldub Pythoni mälupuhvri sisemisse toimimisse, uurides selle struktuuri, mehhanisme ja selle pakutavaid jõudluse eeliseid.

Mäluhalduse mõistmine Pythonis

Enne mälupuhvri üksikasjadesse sukeldumist on oluline mõista mäluhalduse laiemat konteksti Pythonis. Python kasutab mälu automaatseks haldamiseks viidete loendamise ja prügikoristaja kombinatsiooni. Kui viidete loendamine tegeleb objektide kohese vabastamisega, kui nende viidete arv langeb nullini, siis prügikoristaja tegeleb tsükliliste viidetega, mida viidete loendamine üksi ei suuda lahendada.

Pythoni mäluhaldust haldab peamiselt CPythoni implementatsioon, mis on keele kõige laialdasemalt kasutatav implementatsioon. CPythoni mälu eraldaja vastutab mäluplokkide eraldamise ja vabastamise eest vastavalt Pythoni objektide vajadustele.

Viidete loendamine

Igal Pythoni objektil on viidete arv, mis jälgib selle objekti viidete arvu. Kui viidete arv langeb nullini, vabastatakse objekt kohe. See kohene vabastamine on viidete loendamise oluline eelis.

Näide:

            import sys

a = [1, 2, 3]

print(sys.getrefcount(a)) # Väljund: 2 (üks 'a'-st ja üks getrefcountist endast)

b = a
print(sys.getrefcount(a)) # Väljund: 3

del a
print(sys.getrefcount(b)) # Väljund: 2

del b
# Objekt vabastatakse nüüd, kuna viidete arv on 0

            

              
                Copy
              
            
          

Prügikoristus

Kuigi viidete loendamine on paljude objektide jaoks tõhus, ei suuda see hakkama saada tsükliliste viidetega. Tsüklilised viited tekivad siis, kui kaks või enam objekti viitavad üksteisele, luues tsükli, mis takistab nende viidete arvu kunagi nullini jõudmast, isegi kui need pole enam programmist juurdepääsetavad.

Pythoni prügikoristaja skannib perioodiliselt objektigraafi selliste tsüklite suhtes ja katkestab need, võimaldades ligipääsmatuid objekte vabastada. See protsess hõlmab ligipääsmatute objektide tuvastamist, jälgides viiteid juurobjektidest (objektid, mis on programmist globaalsest ulatusest otse juurdepääsetavad).

Näide:

            import gc

class Node:
    def __init__(self):
        self.next = None

a = Node()
b = Node()

a.next = b
b.next = a  # Tsükliline viide

del a
del b  # Objektid on tsüklilise viite tõttu endiselt mälus

gc.collect() # Käivitage prügikoristus käsitsi

            

              
                Copy
              
            
          

Vajadus mälupuhvri arhitektuuri järele

Standardsed mälu eraldajad, nagu need, mida pakub operatsioonisüsteem (nt malloc C-s), on üldotstarbelised ja mõeldud erineva suurusega eraldamiste tõhusaks käsitlemiseks. Python loob ja hävitab aga sageli suure hulga väikeseid objekte, nagu täisarvud, stringid ja ennikud. Üldotstarbelise eraldaja kasutamine nende väikeste objektide jaoks võib põhjustada mitmeid probleeme:

• Jõudluse ülekoormus: Üldotstarbelised eraldajad hõlmavad sageli märkimisväärset ülekoormust metaandmete haldamise, lukustamise ja vabade plokkide otsimise osas. See ülekoormus võib olla märkimisväärne väikeste objektide eraldamiste puhul, mis on Pythonis väga sagedased.
• Mäluprahendus: Erineva suurusega mäluplokkide korduv eraldamine ja vabastamine võib viia mäluprahenduseni. Prahendus tekib siis, kui väikesed, kasutuskõlbmatud mäluplokid on kuhjas laiali, vähendades suuremate eraldamiste jaoks saadaoleva pideva mälu hulka.
• Vahemälu puudujäägid: Üldotstarbelise eraldaja poolt eraldatud objektid võivad olla mälus laiali, mis suurendab vahemälu puudujääke seotud objektidele juurdepääsul. Vahemälu puudujäägid tekivad siis, kui protsessor peab andmeid kiirema vahemälu asemel põhimälust hankima, mis aeglustab täitmist oluliselt.

Nende probleemide lahendamiseks rakendab Python spetsiaalset mälupuhvri arhitektuuri, mis on optimeeritud väikeste objektide tõhusaks eraldamiseks. See arhitektuur, tuntud kui pymalloc, vähendab oluliselt eraldamise ülekoormust, minimeerib mäluprahendust ja parandab vahemälu lokaalsust.

Sissejuhatus Pymallocisse: Pythoni mälupuhvri eraldaja

Pymalloc on Pythoni spetsiaalne mälu eraldaja väikeste objektide jaoks, tavaliselt need, mis on väiksemad kui 512 baiti. See on CPythoni mäluhaldussüsteemi võtmekomponent ja mängib olulist rolli Pythoni programmide jõudluses. Pymalloc töötab, eraldades eelnevalt suured mäluplokid ja jagades need seejärel väiksemateks, fikseeritud suurusega mälupuhvriteks.

Pymalloci põhikomponendid

Pymalloci arhitektuur koosneb mitmest põhikomponendist:

• Areenid: Areenid on Pymalloci poolt hallatavad suurimad mäluühikud. Iga areen on pidev mäluplokk, tavaliselt 256KB suurune. Areenid eraldatakse operatsioonisüsteemi mälu eraldaja (nt malloc) abil.
• Puhvrid: Iga areen on jagatud puhvrite komplektiks. Puhver on väiksem mäluplokk, tavaliselt 4KB (üks lehekülg) suurune. Puhvrid on jagatud edasi kindla suurusega klassi plokkideks.
• Plokid: Plokid on Pymalloci poolt eraldatud väikseimad mäluühikud. Iga puhver sisaldab sama suurusega klassi plokke. Suuruse klassid ulatuvad 8 baidist kuni 512 baidini, 8 baidi kaupa.

Diagramm:

Areen (256KB)
  └── Puhvrid (igaüks 4KB)
      └── Plokid (8 baiti kuni 512 baiti, kõik sama suurusega puhvris)

Kuidas Pymalloc töötab

Kui Python peab eraldama mälu väikesele objektile (väiksem kui 512 baiti), kontrollib see esmalt, kas sobiva suurusega klassi puhvris on saadaval vaba plokk. Kui vaba plokk leitakse, tagastatakse see helistajale. Kui praeguses puhvris pole vaba plokki saadaval, kontrollib Pymalloc, kas samas areenis on mõni teine puhver, millel on vajaliku suurusega klassi vabad plokid. Kui jah, võetakse plokk sellest puhvrist.

Kui üheski olemasolevas puhvris pole vabu plokke saadaval, proovib Pymalloc luua praeguses areenis uue puhvri. Kui areenil on piisavalt ruumi, luuakse uus puhver ja jagatakse see vajaliku suurusega klassi plokkideks. Kui areen on täis, eraldab Pymalloc operatsioonisüsteemilt uue areeni ja kordab protsessi.

Kui objekt vabastatakse, tagastatakse selle mäluplokk puhvrisse, kust see eraldati. Seejärel märgitakse plokk vabaks ja seda saab uuesti kasutada sama suurusega klassi objektide järgnevaks eraldamiseks.

Suuruse klassid ja eraldamise strateegia

Pymalloc kasutab eelnevalt määratletud suuruse klasside komplekti, et kategoriseerida objekte nende suuruse alusel. Suuruse klassid ulatuvad 8 baidist kuni 512 baidini, 8 baidi kaupa. See tähendab, et objektid suurusega 1 kuni 8 baiti eraldatakse 8-baidise suurusega klassist, objektid suurusega 9 kuni 16 baiti eraldatakse 16-baidise suurusega klassist ja nii edasi.

Objektile mälu eraldamisel ümardab Pymalloc objekti suuruse lähima suurusega klassini. See tagab, et kõik antud puhvrist eraldatud objektid on sama suurusega, lihtsustades mäluhaldust ja vähendades prahendust.

Näide:

Kui Python peab eraldama stringi jaoks 10 baiti, eraldab Pymalloc ploki 16-baidise suurusega klassist. Ülejäänud 6 baiti raisatakse, kuid see ülekoormus on tavaliselt väike võrreldes mälupuhvri arhitektuuri eelistega.

Pymalloci eelised

Pymalloc pakub üldotstarbeliste mälu eraldajate ees mitmeid olulisi eeliseid:

• Vähendatud eraldamise ülekoormus: Pymalloc vähendab eraldamise ülekoormust, eraldades mälu eelnevalt suurte plokkidena ja jagades need plokid fikseeritud suurusega puhvriteks. See kõrvaldab vajaduse sagedaste kõnede järele operatsioonisüsteemi mälu eraldajale, mis võib olla aeglane.
• Minimeeritud mäluprahendus: Eraldades sama suurusega objektid samast puhvrist, minimeerib Pymalloc mäluprahendust. See aitab tagada, et suuremate eraldamiste jaoks on saadaval pidevad mäluplokid.
• Parandatud vahemälu lokaalsus: Samast puhvrist eraldatud objektid asuvad tõenäoliselt mälus üksteise lähedal, parandades vahemälu lokaalsust. See vähendab vahemälu puudujääkide arvu ja kiirendab programmi täitmist.
• Kiirem vabastamine: Objektide vabastamine on Pymallociga samuti kiirem, kuna mäluplokk tagastatakse lihtsalt puhvrisse, ilma et oleks vaja keerukaid mäluhaldustoiminguid.

Pymalloc vs. süsteemi eraldaja: jõudluse võrdlus

Näide:

            import time

def allocate_and_deallocate(n):
    start_time = time.time()
    for _ in range(n):
        s = "hello"
        del s
    end_time = time.time()
    return end_time - start_time

n = 1000000

time_taken = allocate_and_deallocate(n)

print(f"Aega kulus {n} stringi eraldamiseks ja vabastamiseks: {time_taken:.4f} sekundit")

            

              
                Copy
              
            
          

Üldiselt võib Pymalloc oluliselt parandada Pythoni programmide jõudlust, mis eraldavad ja vabastavad suure hulga väikeseid objekte. Täpne jõudluse kasv sõltub konkreetsest töökoormusest ja operatsioonisüsteemi mälu eraldaja omadustest.

Pymalloci keelamine

Kuigi Pymalloc parandab üldiselt jõudlust, võib esineda olukordi, kus see võib probleeme põhjustada. Näiteks võib Pymalloc mõnel juhul põhjustada suuremat mälukasutust võrreldes süsteemi eraldajaga. Kui kahtlustate, et Pymalloc põhjustab probleeme, saate selle keelata, määrates keskkonnamuutuja PYTHONMALLOC väärtuseks default.

Näide:

            export PYTHONMALLOC=default #Keelab Pymalloci

            

              
                Copy
              
            
          

Kui Pymalloc on keelatud, kasutab Python kõigi mälueraldamiste jaoks operatsioonisüsteemi vaike mälu eraldajat. Pymalloci keelamist tuleks teha ettevaatusega, kuna see võib paljudel juhtudel jõudlust negatiivselt mõjutada. Rakenduse profileerimine koos Pymallociga ja ilma selleta on soovitatav, et määrata kindlaks optimaalne konfiguratsioon.

Pymalloc erinevates Pythoni versioonides

Eelkõige võivad Pymallociga seotud käitumine ja konfiguratsioonivalikud Python 2.x ja Python 3.x vahel erineda. Python 3.x-is on Pymalloc üldiselt vastupidavam ja tõhusam.

Alternatiivid Pymallocile

Kuigi Pymalloc on CPythonis väikeste objektide jaoks vaike mälu eraldaja, on olemas alternatiivseid mälu eraldajaid, mida saab selle asemel kasutada. Üks populaarne alternatiiv on jemalloc eraldaja, mis on tuntud oma jõudluse ja skaleeritavuse poolest.

Jemalloci kasutamiseks Pythoniga peate selle Pythoni interpretaatoriga kompileerimise ajal linkima. See hõlmab tavaliselt Pythoni ehitamist lähtekoodist sobivate linkeri lippudega.

Märkus: Alternatiivse mälu eraldaja, nagu jemalloc, kasutamine võib pakkuda olulisi jõudluse parandusi, kuid see nõuab ka rohkem vaeva seadistamiseks ja konfigureerimiseks.

Kokkuvõte

Pythoni mälupuhvri arhitektuur, mille põhikomponendiks on Pymalloc, on oluline optimeerimine, mis parandab oluliselt Pythoni programmide jõudlust, hallates tõhusalt väikeste objektide eraldamisi. Eraldades mälu eelnevalt, minimeerides prahendust ja parandades vahemälu lokaalsust, aitab Pymalloc vähendada eraldamise ülekoormust ja kiirendada programmi täitmist.

Pymalloci sisemise toimimise mõistmine võib aidata teil kirjutada tõhusamat Pythoni koodi ja tõrkeotsingut mäluga seotud jõudlusprobleemide korral. Kuigi Pymalloc on üldiselt kasulik, on oluline olla teadlik selle piirangutest ja kaaluda vajadusel alternatiivseid mälu eraldajaid.

Kuna Python areneb edasi, läbib selle mäluhaldussüsteem tõenäoliselt täiendavaid täiustusi ja optimeerimisi. Nende arengutega kursis olemine on oluline Pythoni arendajatele, kes soovivad oma rakenduste jõudlust maksimeerida.

Lisalugemist ja ressursse

• Pythoni dokumentatsioon mäluhalduse kohta: https://docs.python.org/3/c-api/memory.html
• CPythoni lähtekood (Objects/obmalloc.c): see fail sisaldab Pymalloci implementatsiooni.
• Artiklid ja blogipostitused Pythoni mäluhalduse ja optimeerimise kohta.

Neid kontseptsioone mõistes saavad Pythoni arendajad teha teadlikke otsuseid mäluhalduse kohta ja kirjutada koodi, mis toimib tõhusalt paljudes rakendustes.