Pythonin muistiallasarkkitehtuuri: Pienten objektien allokoinnin optimointi

Python, joka tunnetaan helppokäyttöisyydestään ja monipuolisuudestaan, hyödyntää kehittyneitä muistinhallintatekniikoita varmistaakseen resurssien tehokkaan käytön. Yksi tämän järjestelmän ydinosa on muistiallasarkkitehtuuri, joka on suunniteltu erityisesti pienten objektien allokoinnin ja vapauttamisen optimointiin. Tämä artikkeli sukeltaa Pythonin muistialtaan sisäiseen toimintaan, tutkien sen rakennetta, mekanismeja ja sen tarjoamia suorituskykyetuja.

Muistinhallinnan ymmärtäminen Pythonissa

Ennen kuin sukellamme muistialtaan yksityiskohtiin, on tärkeää ymmärtää muistinhallinnan laajempi konteksti Pythonissa. Python käyttää viittausten laskemisen ja roskienkerääjän yhdistelmää hallitakseen muistia automaattisesti. Vaikka viittausten laskeminen hoitaa objektien välittömän vapauttamisen, kun niiden viittausluku laskee nollaan, roskienkerääjä käsittelee syklisiä viittauksia, joita viittausten laskeminen ei yksinään voi ratkaista.

Pythonin muistinhallintaa hoitaa pääasiassa CPython-toteutus, joka on kielen laajimmin käytetty toteutus. CPythonin muistinhallinta vastaa muistilohkojen allokoinnista ja vapauttamisesta Python-objektien tarpeiden mukaan.

Viittausten laskeminen

Jokaisella Python-objektilla on viittausluku, joka seuraa kyseiseen objektiin tehtyjen viittausten määrää. Kun viittausluku laskee nollaan, objekti vapautetaan välittömästi. Tämä välitön vapauttaminen on viittausten laskemisen merkittävä etu.

Esimerkki:

            import sys

a = [1, 2, 3]

print(sys.getrefcount(a)) # Output: 2 (one from 'a', and one from getrefcount itself)

b = a
print(sys.getrefcount(a)) # Output: 3

del a
print(sys.getrefcount(b)) # Output: 2

del b
# The object is now deallocated as the reference count is 0

            

              
                Copy
              
            
          

Roskienkeruu

Vaikka viittausten laskeminen on tehokasta monille objekteille, se ei pysty käsittelemään syklisiä viittauksia. Syklisiä viittauksia syntyy, kun kaksi tai useampi objekti viittaavat toisiinsa, luoden syklin, joka estää niiden viittauslukuja koskaan saavuttamasta nollaa, vaikka ne eivät enää olisikaan ohjelman käytettävissä.

Pythonin roskienkerääjä etsii säännöllisesti objektigraafista tällaisia syklejä ja katkaisee ne, jolloin tavoittamattomat objektit voidaan vapauttaa. Tämä prosessi sisältää tavoittamattomien objektien tunnistamisen jäljittämällä viittauksia juuriobjekteista (objekteista, jotka ovat suoraan ohjelman globaalin laajuuden käytettävissä).

Esimerkki:

            import gc

class Node:
    def __init__(self):
        self.next = None

a = Node()
b = Node()

a.next = b
b.next = a  # Cyclic reference

del a
del b  # The objects are still in memory due to the cyclic reference

gc.collect() # Manually trigger garbage collection

            

              
                Copy
              
            
          

Muistiallasarkkitehtuurin tarve

Vakiomuistinhallinnat, kuten käyttöjärjestelmän tarjoamat (esim. malloc C:ssä), ovat yleiskäyttöisiä ja suunniteltu käsittelemään erikokoisten allokointien tehokasta hallintaa. Python kuitenkin luo ja tuhoaa usein suuren määrän pieniä objekteja, kuten kokonaislukuja, merkkijonoja ja tupleja. Yleiskäyttöisen allokaattorin käyttäminen näille pienille objekteille voi johtaa useisiin ongelmiin:

• Suorituskyvyn ylikuormitus: Yleiskäyttöiset allokaattorit sisältävät usein merkittävän ylikuormituksen metatietojen hallinnassa, lukituksessa ja vapaiden lohkojen etsimisessä. Tämä ylikuormitus voi olla huomattava pienten objektien allokoinneissa, joita esiintyy hyvin usein Pythonissa.
• Muistin pirstoutuminen: Eri kokoisten muistilohkojen toistuva allokointi ja vapauttaminen voi johtaa muistin pirstoutumiseen. Pirstoutuminen tapahtuu, kun pieniä, käyttökelvottomia muistilohkoja on hajallaan koko keossa, mikä vähentää suurten allokointien käytettävissä olevan yhtenäisen muistin määrää.
• Välimuistin ohitukset: Yleiskäyttöisen allokaattorin allokoimat objektit voivat olla hajallaan koko muistissa, mikä johtaa lisääntyneisiin välimuistin ohituksiin, kun käytetään liittyviä objekteja. Välimuistin ohituksia tapahtuu, kun CPU:n on haettava tietoja päämuistista nopeamman välimuistin sijaan, mikä hidastaa suoritusta merkittävästi.

Näiden ongelmien ratkaisemiseksi Python toteuttaa erikoistuneen muistiallasarkkitehtuurin, joka on optimoitu pienten objektien tehokkaaseen allokointiin. Tämä arkkitehtuuri, joka tunnetaan nimellä pymalloc, vähentää merkittävästi allokoinnin ylikuormitusta, minimoi muistin pirstoutumista ja parantaa välimuistin paikallisuutta.

Johdanto Pymalloc: Pythonin muistiallokointi

Pymalloc on Pythonin oma muistinhallinta pienille objekteille, tyypillisesti alle 512 tavun kokoisille. Se on CPythonin muistinhallintajärjestelmän keskeinen osa ja sillä on ratkaiseva rooli Python-ohjelmien suorituskyvyssä. Pymalloc toimii esiallokoinimalla suuria muistilohkoja ja jakamalla nämä lohkot pienempiin, kiinteäkokoisiin muistialtaisiin.

Pymallocin avainkomponentit

Pymallocin arkkitehtuuri koostuu useista avainkomponenteista:

• Areenat: Areenat ovat Pymallocin hallitseman muistin suurimmat yksiköt. Jokainen areena on yhtenäinen muistilohko, tyypillisesti 256 kt:n kokoinen. Areenat allokoidaan käyttämällä käyttöjärjestelmän muistinhallintaa (esim. malloc).
• Altaat: Jokainen areena on jaettu joukkoon altaita. Allas on pienempi muistilohko, tyypillisesti 4 kt (yksi sivu). Altaat on edelleen jaettu tietyn kokoluokan lohkoihin.
• Lohkot: Lohkot ovat pienimmät Pymallocin allokoimat muistiyksiköt. Jokainen allas sisältää saman kokoluokan lohkoja. Kokoluokat vaihtelevat 8 tavusta 512 tavuun 8 tavun välein.

Kaavio:

Areenalla (256KB)
  └── Altaat (4KB kukin)
      └── Lohkot (8 tavua - 512 tavua, kaikki saman kokoisia altaassa)

Kuinka Pymalloc toimii

Kun Pythonin on allokoitava muistia pienelle objektille (pienempi kuin 512 tavua), se tarkistaa ensin, onko sopivan kokoluokan altaassa vapaata lohkoa. Jos vapaa lohko löytyy, se palautetaan kutsujalle. Jos nykyisessä altaassa ei ole vapaata lohkoa, Pymalloc tarkistaa, onko samassa areenassa toista allasta, jossa on vaaditun kokoluokan vapaita lohkoja. Jos näin on, lohko otetaan kyseisestä altaasta.

Jos missään olemassa olevassa altaassa ei ole vapaita lohkoja, Pymalloc yrittää luoda uuden altaan nykyiseen areenaan. Jos areenassa on tarpeeksi tilaa, luodaan uusi allas ja jaetaan se vaaditun kokoluokan lohkoihin. Jos areena on täynnä, Pymalloc allokoi uuden areenan käyttöjärjestelmältä ja toistaa prosessin.

Kun objekti vapautetaan, sen muistilohko palautetaan altaaseen, josta se allokoitiin. Lohko merkitään sitten vapaaksi ja sitä voidaan käyttää uudelleen samankokoisten objektien myöhemmissä allokoinneissa.

Kokoluokat ja allokointistrategia

Pymalloc käyttää joukkoa ennalta määritettyjä kokoluokkia luokitellakseen objektit niiden koon perusteella. Kokoluokat vaihtelevat 8 tavusta 512 tavuun 8 tavun välein. Tämä tarkoittaa, että koot 1–8 tavua allokoidaan 8 tavun kokoluokasta, koot 9–16 tavua allokoidaan 16 tavun kokoluokasta ja niin edelleen.

Kun Pymalloc allokoi muistia objektille, se pyöristää objektin koon lähimpään kokoluokkaan. Tämä varmistaa, että kaikki tietystä altaasta allokoidut objektit ovat samankokoisia, mikä yksinkertaistaa muistinhallintaa ja vähentää pirstoutumista.

Esimerkki:

Jos Pythonin on allokoitava 10 tavua merkkijonolle, Pymalloc allokoi lohkon 16 tavun kokoluokasta. Ylimääräiset 6 tavua menevät hukkaan, mutta tämä ylikuormitus on tyypillisesti pieni verrattuna muistiallasarkkitehtuurin etuihin.

Pymallocin edut

• Vähentynyt allokoinnin ylikuormitus: Pymalloc vähentää allokoinnin ylikuormitusta esiallokoinimalla muistia suurissa lohkoissa ja jakamalla nämä lohkot kiinteäkokoisiin altaisiin. Tämä eliminoi tarpeen toistuville kutsuille käyttöjärjestelmän muistinhallintaan, mikä voi olla hidasta.
• Minimoitu muistin pirstoutuminen: Allokoimalla samankokoisia objekteja samasta altaasta Pymalloc minimoi muistin pirstoutumista. Tämä auttaa varmistamaan, että yhtenäisiä muistilohkoja on käytettävissä suurempia allokointeja varten.
• Parannettu välimuistin paikallisuus: Samasta altaasta allokoidut objektit sijaitsevat todennäköisesti lähellä toisiaan muistissa, mikä parantaa välimuistin paikallisuutta. Tämä vähentää välimuistin ohitusten määrää ja nopeuttaa ohjelman suoritusta.
• Nopeampi vapauttaminen: Objektien vapauttaminen on myös nopeampaa Pymallocilla, koska muistilohko yksinkertaisesti palautetaan altaaseen ilman monimutkaisia muistinhallintatoimintoja.

Pymalloc vs. järjestelmän allokaattori: Suorituskyvyn vertailu

Pymallocin suorituskykyetujen havainnollistamiseksi tarkastellaan skenaariota, jossa Python-ohjelma luo ja tuhoaa suuren määrän pieniä merkkijonoja. Ilman Pymallokia jokainen merkkijono allokoitaisiin ja vapautettaisiin käyttämällä käyttöjärjestelmän muistinhallintaa. Pymallocin avulla merkkijonot allokoidaan esiallokoiduista muistialtaista, mikä vähentää allokoinnin ja vapauttamisen ylikuormitusta.

Esimerkki:

            import time

def allocate_and_deallocate(n):
    start_time = time.time()
    for _ in range(n):
        s = "hello"
        del s
    end_time = time.time()
    return end_time - start_time

n = 1000000

time_taken = allocate_and_deallocate(n)

print(f"Time taken to allocate and deallocate {n} strings: {time_taken:.4f} seconds")

            

              
                Copy
              
            
          

Yleisesti ottaen Pymalloc voi parantaa merkittävästi Python-ohjelmien suorituskykyä, jotka allokoivat ja vapauttavat suuren määrän pieniä objekteja. Tarkka suorituskyvyn parannus riippuu tietystä työmäärästä ja käyttöjärjestelmän muistinhallinnan ominaisuuksista.

Pymallocin poistaminen käytöstä

Esimerkki:

            export PYTHONMALLOC=default #Disables Pymalloc

            

              
                Copy
              
            
          

Kun Pymalloc on poistettu käytöstä, Python käyttää käyttöjärjestelmän oletusmuistinhallintaa kaikissa muistiallokoinneissa. Pymallocin poistaminen käytöstä tulee tehdä varoen, koska se voi vaikuttaa haitallisesti suorituskykyyn monissa tapauksissa. On suositeltavaa profiloida sovelluksesi Pymallocin kanssa ja ilman sitä optimaalisen kokoonpanon määrittämiseksi.

Pymalloc eri Python-versioissa

Erityisesti Pymallociin liittyvät käyttäytymis- ja määritysasetukset voivat vaihdella Python 2.x:n ja Python 3.x:n välillä. Python 3.x:ssä Pymalloc on yleensä vankempi ja tehokkaampi.

Vaihtoehtoja Pymallocille

Jemallocin käyttämiseksi Pythonin kanssa sinun on linkitettävä se Python-tulkkiin käännösaikana. Tämä edellyttää tyypillisesti Pythonin rakentamista lähteestä sopivilla linkkerin lipuilla.

Huomautus: Vaihtoehtoisen muistinhallinnan, kuten jemallocin, käyttäminen voi tarjota merkittäviä suorituskyvyn parannuksia, mutta se vaatii myös enemmän vaivaa asentaa ja määrittää.

Johtopäätös

Pythonin muistiallasarkkitehtuuri, jonka ydinosa on Pymalloc, on ratkaiseva optimointi, joka parantaa merkittävästi Python-ohjelmien suorituskykyä hallitsemalla tehokkaasti pienten objektien allokointeja. Esiallokoinimalla muistia, minimoimalla pirstoutumista ja parantamalla välimuistin paikallisuutta Pymalloc auttaa vähentämään allokoinnin ylikuormitusta ja nopeuttamaan ohjelman suoritusta.

Pymallocin sisäisen toiminnan ymmärtäminen voi auttaa sinua kirjoittamaan tehokkaampaa Python-koodia ja vianmäärittämään muistiin liittyviä suorituskykyongelmia. Vaikka Pymalloc on yleensä hyödyllinen, on tärkeää olla tietoinen sen rajoituksista ja harkita vaihtoehtoisia muistinhallintoja tarvittaessa.

Pythonin kehittyessä edelleen sen muistinhallintajärjestelmään tehdään todennäköisesti lisäparannuksia ja optimointeja. Tietoisena pysyminen näistä kehityksestä on välttämätöntä Python-kehittäjille, jotka haluavat maksimoida sovellustensa suorituskyvyn.

Lisälukemista ja resursseja

• Pythonin dokumentaatio muistinhallinnasta: https://docs.python.org/3/c-api/memory.html
• CPythonin lähdekoodi (Objects/obmalloc.c): Tämä tiedosto sisältää Pymallocin toteutuksen.
• Artikkeleita ja blogikirjoituksia Pythonin muistinhallinnasta ja optimoinnista.

Ymmärtämällä nämä käsitteet Python-kehittäjät voivat tehdä tietoon perustuvia päätöksiä muistinhallinnasta ja kirjoittaa koodia, joka toimii tehokkaasti monenlaisissa sovelluksissa.