Python Atmiņas Pūla Arhitektūra: Mazu Objektu Alokācijas Optimizācija

Python, kas pazīstams ar savu lietošanas vienkāršību un daudzpusību, paļaujas uz sarežģītām atmiņas pārvaldības tehnikām, lai nodrošinātu efektīvu resursu izmantošanu. Viena no šīs sistēmas galvenajām sastāvdaļām ir atmiņas pūla arhitektūra, kas ir īpaši izstrādāta, lai optimizētu mazu objektu alokāciju un de-alokāciju. Šis raksts iedziļinās Python atmiņas pūla iekšējā darbībā, izpētot tā struktūru, mehānismus un veiktspējas priekšrocības, ko tas sniedz.

Izpratne par Atmiņas Pārvaldību Python

Pirms iedziļināties atmiņas pūla specifikā, ir svarīgi saprast plašāku kontekstu par atmiņas pārvaldību Python. Python izmanto atsauču skaitīšanas un atkritumu savācēja kombināciju, lai automātiski pārvaldītu atmiņu. Kamēr atsauču skaitīšana apstrādā tūlītēju objektu de-alokāciju, kad to atsauču skaits samazinās līdz nullei, atkritumu savācējs nodarbojas ar cikliskiem atsauces, ko atsauču skaitīšana viena pati nevar atrisināt.

Python atmiņas pārvaldību galvenokārt apstrādā CPython ieviešana, kas ir visplašāk izmantotā valodas ieviešana. CPython atmiņas alokators ir atbildīgs par atmiņas bloku alokāciju un atbrīvošanu, kā to pieprasa Python objekti.

Atsauču Skaitīšana

Katram objektam Python ir atsauču skaits, kas seko līdzi atsauču skaitam uz šo objektu. Kad atsauču skaits samazinās līdz nullei, objekts tiek nekavējoties de-alokēts. Šī tūlītējā de-alokācija ir būtiska atsauču skaitīšanas priekšrocība.

Piemērs:

            import sys

a = [1, 2, 3]

print(sys.getrefcount(a)) # Output: 2 (one from 'a', and one from getrefcount itself)

b = a
print(sys.getrefcount(a)) # Output: 3

del a
print(sys.getrefcount(b)) # Output: 2

del b
# The object is now deallocated as the reference count is 0

            

              
                Copy
              
            
          

Atkritumu Savākšana

Lai gan atsauču skaitīšana ir efektīva daudziem objektiem, tā nevar apstrādāt ciklisku atsauces. Cikliskas atsauces rodas, kad divi vai vairāki objekti atsaucas viens uz otru, izveidojot ciklu, kas neļauj viņu atsauču skaitam jebkad sasniegt nulli, pat ja tie vairs nav pieejami no programmas.

Python atkritumu savācējs periodiski skenē objektu grafu, lai atrastu šādus ciklus un tos pārtrauktu, ļaujot neaizsniedzamiem objektiem tikt de-alokētiem. Šis process ietver neaizsniedzamu objektu identificēšanu, izsekojot atsauces no saknes objektiem (objekti, kas ir tieši pieejami no programmas globālās darbības jomas).

Piemērs:

            import gc

class Node:
    def __init__(self):
        self.next = None

a = Node()
b = Node()

a.next = b
b.next = a  # Cyclic reference

del a
del b  # The objects are still in memory due to the cyclic reference

gc.collect() # Manually trigger garbage collection

            

              
                Copy
              
            
          

Nepieciešamība pēc Atmiņas Pūla Arhitektūras

Standarta atmiņas alokatori, piemēram, tie, ko nodrošina operētājsistēma (piemēram, malloc C valodā), ir vispārēji un paredzēti, lai efektīvi apstrādātu dažāda lieluma alokācijas. Tomēr Python bieži izveido un iznīcina lielu skaitu mazu objektu, piemēram, veselus skaitļus, virknes un kortežus. Vispārēja alokatora izmantošana šiem mazajiem objektiem var radīt vairākas problēmas:

• Veiktspējas Izmaksas: Vispārēja alokatora bieži ietver ievērojamas izmaksas metadatu pārvaldībā, bloķēšanā un brīvu bloku meklēšanā. Šīs izmaksas var būt būtiskas mazu objektu alokācijām, kas ir ļoti biežas Python.
• Atmiņas Fragmentācija: Atkārtota dažāda lieluma atmiņas bloku alokācija un de-alokācija var novest pie atmiņas fragmentācijas. Fragmentācija rodas, kad mazi, neizmantojami atmiņas bloki ir izkaisīti pa visu kaudzi, samazinot nepārtrauktas atmiņas apjomu, kas pieejams lielākām alokācijām.
• Kešatmiņas Kļūdas: Objekti, ko alokē vispārējs alokators, var būt izkaisīti pa visu atmiņu, izraisot palielinātas kešatmiņas kļūdas, piekļūstot saistītiem objektiem. Kešatmiņas kļūdas rodas, kad CPU ir jāizgūst dati no galvenās atmiņas, nevis no ātrākas kešatmiņas, ievērojami palēninot izpildi.

Lai risinātu šīs problēmas, Python ievieš specializētu atmiņas pūla arhitektūru, kas ir optimizēta mazu objektu efektīvai alokācijai. Šī arhitektūra, kas pazīstama kā pymalloc, ievērojami samazina alokācijas izmaksas, samazina atmiņas fragmentāciju un uzlabo kešatmiņas lokalitāti.

Ievads Pymalloc: Python Atmiņas Pūla Alokators

Pymalloc Galvenie Komponenti

• Arēnas: Arēnas ir lielākās atmiņas vienības, ko pārvalda Pymalloc. Katra arēna ir nepārtraukts atmiņas bloks, parasti 256 KB liels. Arēnas tiek alokētas, izmantojot operētājsistēmas atmiņas alokatoru (piemēram, malloc).
• Pūli: Katra arēna ir sadalīta pūlu kopā. Pūls ir mazāks atmiņas bloks, parasti 4 KB (viena lapa) liels. Pūli ir tālāk sadalīti noteikta izmēra klases blokos.
• Bloki: Bloki ir mazākās atmiņas vienības, ko alokē Pymalloc. Katrs pūls satur vienas un tās pašas izmēra klases blokus. Izmēru klases svārstās no 8 baitiem līdz 512 baitiem, ar 8 baitiem lieliem pieaugumiem.

Diagramma:

Arena (256KB)
  └── Pools (4KB each)
      └── Blocks (8 bytes to 512 bytes, all the same size within a pool)

Kā Pymalloc Darbojas

Kad Python ir jāalokē atmiņa mazam objektam (mazākam par 512 baitiem), tas vispirms pārbauda, vai atbilstošā izmēra klases pūlā ir pieejams brīvs bloks. Ja tiek atrasts brīvs bloks, tas tiek atgriezts zvanītājam. Ja pašreizējā pūlā nav pieejams neviens brīvs bloks, Pymalloc pārbauda, vai tajā pašā arēnā ir cits pūls, kuram ir brīvi bloki ar nepieciešamo izmēra klasi. Ja tā, tad bloks tiek ņemts no šī pūla.

Ja nevienā esošajā pūlā nav pieejami brīvi bloki, Pymalloc mēģina izveidot jaunu pūlu pašreizējā arēnā. Ja arēnā ir pietiekami daudz vietas, tiek izveidots jauns pūls un sadalīts nepieciešamā izmēra klases blokos. Ja arēna ir pilna, Pymalloc alokē jaunu arēnu no operētājsistēmas un atkārto procesu.

Kad objekts tiek de-alokēts, tā atmiņas bloks tiek atgriezts pūlā, no kura tas tika alokēts. Pēc tam bloks tiek atzīmēts kā brīvs, un to var atkārtoti izmantot turpmākām tāda paša izmēra klases objektu alokācijām.

Izmēru Klases un Alokācijas Stratēģija

Alokējot atmiņu objektam, Pymalloc noapaļo objekta izmēru līdz tuvākajai izmēra klasei. Tas nodrošina, ka visi objekti, kas alokēti no dotā pūla, ir vienāda izmēra, vienkāršojot atmiņas pārvaldību un samazinot fragmentāciju.

Piemērs:

Ja Python ir jāalokē 10 baiti virknei, Pymalloc alokēs bloku no 16 baitu izmēra klases. Papildu 6 baiti tiek izšķiesti, bet šīs izmaksas parasti ir nelielas, salīdzinot ar atmiņas pūla arhitektūras priekšrocībām.

Pymalloc Priekšrocības

• Samazinātas Alokācijas Izmaksas: Pymalloc samazina alokācijas izmaksas, iepriekš alokējot atmiņu lielos blokos un sadalot šos blokus fiksēta izmēra pūlos. Tas novērš nepieciešamību pēc biežiem zvaniem operētājsistēmas atmiņas alokatoram, kas var būt lēns.
• Samazināta Atmiņas Fragmentācija: Alokējot līdzīga izmēra objektus no viena un tā paša pūla, Pymalloc samazina atmiņas fragmentāciju. Tas palīdz nodrošināt, ka nepārtraukti atmiņas bloki ir pieejami lielākām alokācijām.
• Uzlabota Kešatmiņas Lokalitāte: Objekti, kas alokēti no viena un tā paša pūla, visticamāk, atradīsies tuvu viens otram atmiņā, uzlabojot kešatmiņas lokalitāti. Tas samazina kešatmiņas kļūdu skaitu un paātrina programmas izpildi.
• Ātrāka De-alokācija: Objektu de-alokācija ir arī ātrāka ar Pymalloc, jo atmiņas bloks vienkārši tiek atgriezts pūlā, neprasot sarežģītas atmiņas pārvaldības operācijas.

Pymalloc vs. Sistēmas Alokators: Veiktspējas Salīdzinājums

Lai ilustrētu Pymalloc veiktspējas priekšrocības, apsveriet scenāriju, kurā Python programma izveido un iznīcina lielu skaitu mazu virkņu. Bez Pymalloc katra virkne tiktu alokēta un de-alokēta, izmantojot operētājsistēmas atmiņas alokatoru. Ar Pymalloc virknes tiek alokētas no iepriekš alokētiem atmiņas pūliem, samazinot alokācijas un de-alokācijas izmaksas.

Piemērs:

            import time

def allocate_and_deallocate(n):
    start_time = time.time()
    for _ in range(n):
        s = "hello"
        del s
    end_time = time.time()
    return end_time - start_time

n = 1000000

time_taken = allocate_and_deallocate(n)

print(f"Time taken to allocate and deallocate {n} strings: {time_taken:.4f} seconds")

            

              
                Copy
              
            
          

Kopumā Pymalloc var ievērojami uzlabot Python programmu veiktspēju, kas alokē un de-alokē lielu skaitu mazu objektu. Precīzs veiktspējas pieaugums būs atkarīgs no konkrētās darba slodzes un operētājsistēmas atmiņas alokatora īpašībām.

Pymalloc Atslēgšana

Lai gan Pymalloc parasti uzlabo veiktspēju, var būt situācijas, kad tas var radīt problēmas. Piemēram, dažos gadījumos Pymalloc var izraisīt palielinātu atmiņas patēriņu salīdzinājumā ar sistēmas alokatoru. Ja jums ir aizdomas, ka Pymalloc izraisa problēmas, varat to atslēgt, iestatot PYTHONMALLOC vides mainīgo uz default.

Piemērs:

            export PYTHONMALLOC=default #Disables Pymalloc

            

              
                Copy
              
            
          

Kad Pymalloc ir atslēgts, Python izmantos operētājsistēmas noklusējuma atmiņas alokatoru visām atmiņas alokācijām. Pymalloc atslēgšana jāveic piesardzīgi, jo daudzos gadījumos tā var negatīvi ietekmēt veiktspēju. Ieteicams profilēt savu lietojumprogrammu ar un bez Pymalloc, lai noteiktu optimālo konfigurāciju.

Pymalloc Dažādās Python Versijās

Konkrēti, uzvedība un konfigurācijas opcijas, kas saistītas ar Pymalloc, var atšķirties starp Python 2.x un Python 3.x. Python 3.x Pymalloc parasti ir robustāks un efektīvāks.

Alternatīvas Pymalloc

Lai gan Pymalloc ir noklusējuma atmiņas alokators maziem objektiem CPython, ir alternatīvi atmiņas alokatori, kurus var izmantot tā vietā. Viena populāra alternatīva ir jemalloc alokators, kas ir pazīstams ar savu veiktspēju un mērogojamību.

Lai izmantotu jemalloc ar Python, tas ir jāsasaista ar Python interpretatoru kompilēšanas laikā. Tas parasti ietver Python būvēšanu no avota koda ar atbilstošiem saistītāja karodziņiem.

Piezīme: Alternatīva atmiņas alokatora, piemēram, jemalloc, izmantošana var nodrošināt ievērojamus veiktspējas uzlabojumus, taču tā arī prasa vairāk pūļu, lai to iestatītu un konfigurētu.

Secinājums

Python atmiņas pūla arhitektūra, kuras galvenais komponents ir Pymalloc, ir būtiska optimizācija, kas ievērojami uzlabo Python programmu veiktspēju, efektīvi pārvaldot mazu objektu alokācijas. Iepriekš alokējot atmiņu, samazinot fragmentāciju un uzlabojot kešatmiņas lokalitāti, Pymalloc palīdz samazināt alokācijas izmaksas un paātrināt programmas izpildi.

Izpratne par Pymalloc iekšējo darbību var palīdzēt jums rakstīt efektīvāku Python kodu un novērst ar atmiņu saistītas veiktspējas problēmas. Lai gan Pymalloc parasti ir izdevīgs, ir svarīgi apzināties tā ierobežojumus un apsvērt alternatīvus atmiņas alokatorus, ja nepieciešams.

Python turpinot attīstīties, tā atmiņas pārvaldības sistēma, iespējams, tiks vēl vairāk uzlabota un optimizēta. Sekot līdzi šiem notikumiem ir būtiski Python izstrādātājiem, kuri vēlas maksimāli palielināt savu lietojumprogrammu veiktspēju.

Turpmāka Lasāmviela un Resursi

• Python Dokumentācija par Atmiņas Pārvaldību: https://docs.python.org/3/c-api/memory.html
• CPython Avota Kods (Objects/obmalloc.c): Šis fails satur Pymalloc ieviešanu.
• Raksti un emuāru ieraksti par Python atmiņas pārvaldību un optimizāciju.

Izprotot šos jēdzienus, Python izstrādātāji var pieņemt pārdomātus lēmumus par atmiņas pārvaldību un rakstīt kodu, kas darbojas efektīvi plašā lietojumprogrammu klāstā.