Optimizacija poizvedb v Django ORM: select_related proti prefetch_related

Ko vaša aplikacija Django raste, postanejo učinkovite poizvedbe v bazo podatkov ključne za ohranjanje optimalnega delovanja. Django ORM ponuja zmogljiva orodja za zmanjšanje števila klicev v bazo podatkov in izboljšanje hitrosti poizvedb. Dve ključni tehniki za doseganje tega sta select_related in prefetch_related. Ta celovit vodnik bo pojasnil ta koncepta, prikazal njuno uporabo s praktičnimi primeri in vam pomagal izbrati pravo orodje za vaše specifične potrebe.

Razumevanje problema N+1

Preden se poglobimo v select_related in prefetch_related, je nujno razumeti problem, ki ga rešujeta: problem poizvedb N+1. Do tega pride, ko vaša aplikacija izvede eno začetno poizvedbo za pridobitev niza objektov, nato pa za vsak objekt izvede dodatne poizvedbe (N poizvedb, kjer je N število objektov), da pridobi povezane podatke.

Poglejmo si preprost primer z modeli, ki predstavljajo avtorje in knjige:

            class Author(models.Model):
    name = models.CharField(max_length=255)

class Book(models.Model):
    title = models.CharField(max_length=255)
    author = models.ForeignKey(Author, on_delete=models.CASCADE)

            

              
                Copy
              
            
          

Sedaj si predstavljajte, da želite prikazati seznam knjig z njihovimi avtorji. Naiven pristop bi bil lahko videti takole:

            books = Book.objects.all()
for book in books:
    print(f"{book.title} by {book.author.name}")

            

              
                Copy
              
            
          

Ta koda bo ustvarila eno poizvedbo za pridobitev vseh knjig in nato eno poizvedbo za vsako knjigo, da pridobi njenega avtorja. Če imate 100 knjig, boste izvedli 101 poizvedbo, kar vodi do znatnega poslabšanja delovanja. To je problem N+1.

Predstavitev select_related

select_related se uporablja za optimizacijo poizvedb, ki vključujejo relacije ena-na-ena (one-to-one) in tuji ključ (foreign key). Deluje tako, da v začetni poizvedbi spoji povezane tabele (z uporabo JOIN), s čimer učinkovito pridobi povezane podatke z enim samim klicem v bazo podatkov.

Vrnimo se k našemu primeru avtorjev in knjig. Za odpravo problema N+1 lahko uporabimo select_related takole:

            books = Book.objects.all().select_related('author')
for book in books:
    print(f"{book.title} by {book.author.name}")

            

              
                Copy
              
            
          

Zdaj bo Django izvedel eno, bolj zapleteno poizvedbo, ki spoji tabeli Book in Author. Ko v zanki dostopate do book.author.name, so podatki že na voljo in dodatne poizvedbe v bazo podatkov se ne izvedejo.

Uporaba select_related z več relacijami

select_related lahko prečka več relacij. Če imate na primer model s tujim ključem do drugega modela, ki ima prav tako tuji ključ do tretjega modela, lahko uporabite select_related, da pridobite vse povezane podatke naenkrat.

            class Country(models.Model):
    name = models.CharField(max_length=255)

class AuthorProfile(models.Model):
    author = models.OneToOneField(Author, on_delete=models.CASCADE)
    country = models.ForeignKey(Country, on_delete=models.CASCADE)

# Add country to Author
Author.profile = models.OneToOneField(AuthorProfile, on_delete=models.CASCADE, null=True, blank=True)

authors = Author.objects.all().select_related('profile__country')
for author in authors:
    print(f"{author.name} is from {author.profile.country.name if author.profile else 'Unknown'}")

            

              
                Copy
              
            
          

V tem primeru select_related('profile__country') pridobi AuthorProfile in povezano tabelo Country v eni sami poizvedbi. Upoštevajte zapis z dvojnim podčrtajem (__), ki vam omogoča prečkanje drevesa relacij.

Omejitve select_related

select_related je najučinkovitejši pri relacijah ena-na-ena in tujih ključih. Ni primeren za relacije mnogo-na-mnogo ali obratne relacije tujih ključev, saj lahko pri velikih količinah povezanih podatkov povzroči velike in neučinkovite poizvedbe. Za te scenarije je boljša izbira prefetch_related.

Predstavitev prefetch_related

prefetch_related je zasnovan za optimizacijo poizvedb, ki vključujejo relacije mnogo-na-mnogo (many-to-many) in obratne relacije tujih ključev (reverse foreign key). Namesto uporabe SQL JOIN-ov, prefetch_related izvede ločene poizvedbe za vsako relacijo in nato rezultate "spoji" v Pythonu. Čeprav to vključuje več poizvedb, je lahko bolj učinkovito kot uporaba velikih JOIN-ov pri delu z velikimi količinami povezanih podatkov.

Poglejmo si scenarij, kjer ima lahko vsaka knjiga več žanrov:

            class Genre(models.Model):
    name = models.CharField(max_length=255)

class Book(models.Model):
    title = models.CharField(max_length=255)
    author = models.ForeignKey(Author, on_delete=models.CASCADE)
    genres = models.ManyToManyField(Genre)

            

              
                Copy
              
            
          

Za pridobitev seznama knjig z njihovimi žanri uporaba select_related ne bi bila primerna. Namesto tega uporabimo prefetch_related:

            books = Book.objects.all().prefetch_related('genres')
for book in books:
    genre_names = [genre.name for genre in book.genres.all()]
    print(f"{book.title} ({', '.join(genre_names)}) by {book.author.name}")

            

              
                Copy
              
            
          

V tem primeru bo Django izvedel dve poizvedbi: eno za pridobitev vseh knjig in drugo za pridobitev vseh žanrov, povezanih s temi knjigami. Nato v Pythonu učinkovito poveže žanre z ustreznimi knjigami.

prefetch_related z obratnimi tujimi ključi

prefetch_related je uporaben tudi za optimizacijo obratnih relacij tujih ključev. Poglejmo naslednji primer:

            class Author(models.Model):
    name = models.CharField(max_length=255)
    country = models.CharField(max_length=255, blank=True, null=True) # Added for clarity

    def __str__(self):
        return self.name

class Book(models.Model):
    title = models.CharField(max_length=255)
    author = models.ForeignKey(Author, related_name='books', on_delete=models.CASCADE)

            

              
                Copy
              
            
          

Za pridobitev seznama avtorjev in njihovih knjig:

            authors = Author.objects.all().prefetch_related('books')
for author in authors:
    book_titles = [book.title for book in author.books.all()]
    print(f"{author.name} has written: {', '.join(book_titles)}")

            

              
                Copy
              
            
          

Tukaj prefetch_related('books') pridobi vse knjige, povezane z vsakim avtorjem, v ločeni poizvedbi, s čimer se izognemo problemu N+1 pri dostopu do author.books.all().

Uporaba prefetch_related z querysetom

Delovanje prefetch_related lahko dodatno prilagodite tako, da podate poizvedbeni niz po meri (queryset) za pridobivanje povezanih objektov. To je še posebej uporabno, kadar morate filtrirati ali razvrstiti povezane podatke.

            from django.db.models import Prefetch

authors = Author.objects.prefetch_related(Prefetch('books', queryset=Book.objects.filter(title__icontains='django')))

for author in authors:
    django_books = author.books.all()
    print(f"{author.name} has written {len(django_books)} books about Django.")

            

              
                Copy
              
            
          

V tem primeru nam objekt Prefetch omogoča, da določimo queryset po meri, ki pridobi samo knjige, katerih naslovi vsebujejo "django".

Veriženje prefetch_related

Podobno kot pri select_related, lahko tudi klice prefetch_related verižite za optimizacijo več relacij:

            authors = Author.objects.all().prefetch_related('books__genres')

for author in authors:
  for book in author.books.all():
    genres = book.genres.all()
    print(f"{author.name} wrote {book.title} which is of genre(s) {[genre.name for genre in genres]}")

            

              
                Copy
              
            
          

Ta primer vnaprej pridobi knjige, povezane z avtorjem, in nato še žanre, povezane s temi knjigami. Z verigasto uporabo prefetch_related lahko optimizirate globoko ugnezdene relacije.

select_related proti prefetch_related: Izbira pravega orodja

Torej, kdaj uporabiti select_related in kdaj prefetch_related? Tu je preprosto vodilo:

• select_related: Uporabite za relacije ena-na-ena in tuje ključe, kjer pogosto dostopate do povezanih podatkov. V bazi podatkov izvede JOIN, zato je na splošno hitrejši za pridobivanje manjših količin povezanih podatkov.
• prefetch_related: Uporabite za relacije mnogo-na-mnogo in obratne relacije tujih ključev ali pri delu z velikimi količinami povezanih podatkov. Izvede ločene poizvedbe in uporabi Python za združevanje rezultatov, kar je lahko bolj učinkovito kot veliki JOIN-i. Uporabite ga tudi, kadar potrebujete filtriranje povezanih objektov s querysetom po meri.

Če povzamemo:

• Tip relacije: select_related (ForeignKey, OneToOne), prefetch_related (ManyToManyField, obratni ForeignKey)
• Tip poizvedbe: select_related (JOIN), prefetch_related (Ločene poizvedbe + združevanje v Pythonu)
• Velikost podatkov: select_related (Malo povezanih podatkov), prefetch_related (Veliko povezanih podatkov)

Praktični primeri in najboljše prakse

Tu je nekaj praktičnih primerov in najboljših praks za uporabo select_related in prefetch_related v resničnih scenarijih:

• Spletna trgovina: Pri prikazu podrobnosti o izdelku uporabite select_related za pridobitev kategorije in proizvajalca izdelka. Uporabite prefetch_related za pridobitev slik izdelka ali povezanih izdelkov.
• Družbena omrežja: Pri prikazu profila uporabnika uporabite prefetch_related za pridobitev njegovih objav in sledilcev. Uporabite select_related za pridobitev informacij o profilu uporabnika.
• Sistem za upravljanje z vsebinami (CMS): Pri prikazu članka uporabite select_related za pridobitev avtorja in kategorije. Uporabite prefetch_related za pridobitev oznak (tagov) in komentarjev članka.

Splošne najboljše prakse:

• Profilirajte svoje poizvedbe: Uporabite Django Debug Toolbar ali druga orodja za profilacijo, da prepoznate počasne poizvedbe in potencialne probleme N+1.
• Začnite preprosto: Začnite z naivno implementacijo in jo nato optimizirajte na podlagi rezultatov profiliranja.
• Temeljito testirajte: Zagotovite, da vaše optimizacije ne uvajajo novih napak ali poslabšanja delovanja.
• Razmislite o predpomnjenju (caching): Za pogosto dostopane podatke razmislite o uporabi mehanizmov predpomnjenja (npr. Djangov cache framework ali Redis) za nadaljnje izboljšanje delovanja.
• Uporabljajte indekse v bazi podatkov: To je nujno za optimalno delovanje poizvedb, zlasti v produkcijskem okolju.

Napredne tehnike optimizacije

Poleg select_related in prefetch_related obstajajo tudi druge napredne tehnike, ki jih lahko uporabite za optimizacijo poizvedb v Django ORM:

• only() in defer(): Ti metodi vam omogočata, da določite, katera polja želite pridobiti iz baze podatkov. Uporabite only() za pridobitev samo potrebnih polj in defer() za izključitev polj, ki jih ne potrebujete takoj.
• values() in values_list(): Ti metodi vam omogočata pridobivanje podatkov v obliki slovarjev ali n-teric, namesto instanc modelov Django. To je lahko bolj učinkovito, kadar potrebujete le podnabor polj modela.
• Surove SQL poizvedbe: V nekaterih primerih Django ORM morda ni najučinkovitejši način za pridobivanje podatkov. Za zapletene ali visoko optimizirane poizvedbe lahko uporabite surove SQL poizvedbe.
• Optimizacije, specifične za bazo podatkov: Različne baze podatkov (npr. PostgreSQL, MySQL) imajo različne tehnike optimizacije. Raziščite in izkoristite funkcije, specifične za vašo bazo podatkov, za nadaljnje izboljšanje delovanja.

Premisleki o internacionalizaciji

Pri razvoju aplikacij Django za globalno občinstvo je pomembno upoštevati internacionalizacijo (i18n) in lokalizacijo (l10n). To lahko na več načinov vpliva na vaše poizvedbe v bazo podatkov:

• Jezikovno specifični podatki: Morda boste morali v bazi podatkov shranjevati prevode vsebine. Uporabite Djangov i18n framework za upravljanje prevodov in zagotovite, da vaše poizvedbe pridobijo pravilno jezikovno različico podatkov.
• Nabori znakov in kolacije: Izberite ustrezne nabore znakov in kolacije za vašo bazo podatkov, da podprete širok nabor jezikov in znakov.
• Časovni pasovi: Pri delu z datumi in časi bodite pozorni na časovne pasove. Datume in čase shranjujte v UTC in jih pri prikazu pretvorite v lokalni časovni pas uporabnika.
• Oblikovanje valut: Pri prikazu cen uporabite ustrezne simbole valut in oblikovanje glede na lokalne nastavitve uporabnika.

Zaključek

Optimizacija poizvedb v Django ORM je bistvenega pomena za gradnjo skalabilnih in zmogljivih spletnih aplikacij. Z razumevanjem in učinkovito uporabo select_related in prefetch_related lahko znatno zmanjšate število poizvedb v bazo podatkov in izboljšate splošno odzivnost vaše aplikacije. Ne pozabite profiliranja poizvedb, temeljitega testiranja optimizacij in upoštevanja drugih naprednih tehnik za nadaljnje izboljšanje delovanja. Z upoštevanjem teh najboljših praks lahko zagotovite, da vaša aplikacija Django ponuja gladko in učinkovito uporabniško izkušnjo, ne glede na njeno velikost ali kompleksnost. Upoštevajte tudi, da sta dober dizajn baze podatkov in pravilno nastavljeni indeksi nujna za optimalno delovanje.