Django ORM क्वेरी ऑप्टिमायझेशन: select_related विरुद्ध prefetch_related

तुमचा Django ॲप्लिकेशन जसजसा वाढत जातो, तसतशी उत्तम कामगिरी टिकवून ठेवण्यासाठी कार्यक्षम डेटाबेस क्वेरी महत्त्वपूर्ण ठरतात. Django ORM डेटाबेस हिट्स कमी करण्यासाठी आणि क्वेरीचा वेग सुधारण्यासाठी शक्तिशाली साधने प्रदान करते. हे साध्य करण्यासाठी select_related आणि prefetch_related ही दोन प्रमुख तंत्रे आहेत. हा सर्वसमावेशक मार्गदर्शक या संकल्पना स्पष्ट करेल, व्यावहारिक उदाहरणांसह त्यांचा वापर दर्शवेल आणि तुम्हाला तुमच्या विशिष्ट गरजांसाठी योग्य साधन निवडण्यात मदत करेल.

N+1 समस्येबद्दल समजून घेणे

select_related आणि prefetch_related मध्ये खोलवर जाण्यापूर्वी, ते सोडवत असलेल्या समस्येबद्दल समजून घेणे आवश्यक आहे: N+1 क्वेरी समस्या. हे तेव्हा घडते जेव्हा तुमचा ॲप्लिकेशन ऑब्जेक्ट्सचा एक संच मिळवण्यासाठी एक प्रारंभिक क्वेरी कार्यान्वित करतो, आणि नंतर प्रत्येक ऑब्जेक्टसाठी संबंधित डेटा पुनर्प्राप्त करण्यासाठी अतिरिक्त क्वेरी (N क्वेरी, जिथे N ऑब्जेक्ट्सची संख्या आहे) करतो.

लेखक आणि पुस्तकांचे प्रतिनिधित्व करणाऱ्या मॉडेल्सचे एक साधे उदाहरण विचारात घ्या:

            class Author(models.Model):
    name = models.CharField(max_length=255)

class Book(models.Model):
    title = models.CharField(max_length=255)
    author = models.ForeignKey(Author, on_delete=models.CASCADE)

            

              
                Copy
              
            
          

आता, कल्पना करा की तुम्हाला पुस्तकांची यादी त्यांच्या संबंधित लेखकांसह दाखवायची आहे. एक साधा दृष्टिकोन असा दिसू शकतो:

            books = Book.objects.all()
for book in books:
    print(f"{book.title} by {book.author.name}")

            

              
                Copy
              
            
          

हा कोड सर्व पुस्तके मिळवण्यासाठी एक क्वेरी आणि नंतर प्रत्येक पुस्तकासाठी त्याचा लेखक मिळवण्यासाठी एक क्वेरी तयार करेल. जर तुमच्याकडे 100 पुस्तके असतील, तर तुम्ही 101 क्वेरी कार्यान्वित कराल, ज्यामुळे लक्षणीय कार्यक्षमतेचा भार वाढेल. हीच N+1 समस्या आहे.

select_related ची ओळख

select_related चा वापर वन-टू-वन (one-to-one) आणि फॉरेन की (foreign key) संबंध असलेल्या क्वेरी ऑप्टिमाइझ करण्यासाठी केला जातो. हे सुरुवातीच्या क्वेरीमध्ये संबंधित टेबल(टेबल्स) जॉईन करून काम करते, ज्यामुळे संबंधित डेटा एकाच डेटाबेस हिटमध्ये प्रभावीपणे मिळवला जातो.

आपल्या लेखक आणि पुस्तकांच्या उदाहरणाकडे परत येऊया. N+1 समस्या दूर करण्यासाठी, आपण select_related चा वापर अशा प्रकारे करू शकतो:

            books = Book.objects.all().select_related('author')
for book in books:
    print(f"{book.title} by {book.author.name}")

            

              
                Copy
              
            
          

आता, Django एकच, अधिक जटिल क्वेरी कार्यान्वित करेल जी Book आणि Author टेबल्सना जॉईन करते. जेव्हा तुम्ही लूपमध्ये book.author.name ॲक्सेस करता, तेव्हा डेटा आधीपासूनच उपलब्ध असतो आणि कोणतीही अतिरिक्त डेटाबेस क्वेरी केली जात नाही.

एकाधिक संबंधांसह select_related वापरणे

select_related अनेक संबंधांमधून जाऊ शकते. उदाहरणार्थ, जर तुमच्याकडे एका मॉडेलमध्ये दुसऱ्या मॉडेलसाठी फॉरेन की असेल, ज्यामध्ये तिसऱ्या मॉडेलसाठी फॉरेन की असेल, तर तुम्ही सर्व संबंधित डेटा एकाच वेळी मिळवण्यासाठी select_related वापरू शकता.

            class Country(models.Model):
    name = models.CharField(max_length=255)

class AuthorProfile(models.Model):
    author = models.OneToOneField(Author, on_delete=models.CASCADE)
    country = models.ForeignKey(Country, on_delete=models.CASCADE)

# Add country to Author
Author.profile = models.OneToOneField(AuthorProfile, on_delete=models.CASCADE, null=True, blank=True)

authors = Author.objects.all().select_related('profile__country')
for author in authors:
    print(f"{author.name} is from {author.profile.country.name if author.profile else 'Unknown'}")

            

              
                Copy
              
            
          

या प्रकरणात, select_related('profile__country') हे AuthorProfile आणि संबंधित Country एकाच क्वेरीमध्ये मिळवते. दुहेरी अंडरस्कोर (__) नोटेशनकडे लक्ष द्या, जे तुम्हाला संबंधांच्या ट्री (relationship tree) मधून जाण्याची परवानगी देते.

select_related च्या मर्यादा

select_related हे वन-टू-वन आणि फॉरेन की संबंधांसाठी सर्वात प्रभावी आहे. हे मेनी-टू-मेनी (many-to-many) संबंध किंवा रिव्हर्स फॉरेन की संबंधांसाठी योग्य नाही, कारण मोठ्या संबंधित डेटासेट हाताळताना यामुळे मोठ्या आणि अकार्यक्षम क्वेरी होऊ शकतात. अशा परिस्थितींसाठी, prefetch_related हा एक चांगला पर्याय आहे.

prefetch_related ची ओळख

prefetch_related हे मेनी-टू-मेनी (many-to-many) आणि रिव्हर्स फॉरेन की (reverse foreign key) संबंध असलेल्या क्वेरी ऑप्टिमाइझ करण्यासाठी डिझाइन केलेले आहे. जॉइन्स वापरण्याऐवजी, prefetch_related प्रत्येक संबंधासाठी स्वतंत्र क्वेरी करते आणि नंतर परिणाम "जॉईन" करण्यासाठी पायथनचा वापर करते. जरी यात अनेक क्वेरी समाविष्ट असल्या तरी, मोठ्या संबंधित डेटासेट हाताळताना हे जॉइन्स वापरण्यापेक्षा अधिक कार्यक्षम असू शकते.

अशी परिस्थिती विचारात घ्या जिथे प्रत्येक पुस्तकाचे अनेक प्रकार (genres) असू शकतात:

            class Genre(models.Model):
    name = models.CharField(max_length=255)

class Book(models.Model):
    title = models.CharField(max_length=255)
    author = models.ForeignKey(Author, on_delete=models.CASCADE)
    genres = models.ManyToManyField(Genre)

            

              
                Copy
              
            
          

पुस्तकांची यादी त्यांच्या प्रकारांसह मिळवण्यासाठी, select_related वापरणे योग्य ठरणार नाही. त्याऐवजी, आपण prefetch_related वापरतो:

            books = Book.objects.all().prefetch_related('genres')
for book in books:
    genre_names = [genre.name for genre in book.genres.all()]
    print(f"{book.title} ({', '.join(genre_names)}) by {book.author.name}")

            

              
                Copy
              
            
          

या प्रकरणात, Django दोन क्वेरी कार्यान्वित करेल: एक सर्व पुस्तके मिळवण्यासाठी आणि दुसरी त्या पुस्तकांशी संबंधित सर्व प्रकार मिळवण्यासाठी. त्यानंतर ते प्रकारांना त्यांच्या संबंधित पुस्तकांशी कार्यक्षमतेने जोडण्यासाठी पायथनचा वापर करते.

रिव्हर्स फॉरेन की सह prefetch_related

prefetch_related हे रिव्हर्स फॉरेन की संबंध ऑप्टिमाइझ करण्यासाठी देखील उपयुक्त आहे. खालील उदाहरण विचारात घ्या:

            class Author(models.Model):
    name = models.CharField(max_length=255)
    country = models.CharField(max_length=255, blank=True, null=True) # Added for clarity

    def __str__(self):
        return self.name

class Book(models.Model):
    title = models.CharField(max_length=255)
    author = models.ForeignKey(Author, related_name='books', on_delete=models.CASCADE)

            

              
                Copy
              
            
          

लेखकांची आणि त्यांच्या पुस्तकांची यादी मिळवण्यासाठी:

            authors = Author.objects.all().prefetch_related('books')
for author in authors:
    book_titles = [book.title for book in author.books.all()]
    print(f"{author.name} has written: {', '.join(book_titles)}")

            

              
                Copy
              
            
          

येथे, prefetch_related('books') प्रत्येक लेखकाशी संबंधित सर्व पुस्तके एका स्वतंत्र क्वेरीमध्ये मिळवते, ज्यामुळे author.books.all() ॲक्सेस करताना N+1 समस्या टाळली जाते.

क्वेरीसेटसह prefetch_related वापरणे

संबंधित ऑब्जेक्ट्स मिळवण्यासाठी तुम्ही कस्टम क्वेरीसेट देऊन prefetch_related च्या वर्तनात अधिक बदल करू शकता. जेव्हा तुम्हाला संबंधित डेटा फिल्टर किंवा ऑर्डर करण्याची आवश्यकता असते तेव्हा हे विशेषतः उपयुक्त आहे.

            from django.db.models import Prefetch

authors = Author.objects.prefetch_related(Prefetch('books', queryset=Book.objects.filter(title__icontains='django')))

for author in authors:
    django_books = author.books.all()
    print(f"{author.name} has written {len(django_books)} books about Django.")

            

              
                Copy
              
            
          

या उदाहरणात, Prefetch ऑब्जेक्ट आपल्याला एक कस्टम क्वेरीसेट निर्दिष्ट करण्याची परवानगी देतो जो केवळ "django" शब्द असलेल्या शीर्षकांची पुस्तके मिळवतो.

prefetch_related ची साखळी

select_related प्रमाणेच, आपण अनेक संबंध ऑप्टिमाइझ करण्यासाठी prefetch_related कॉल्सची साखळी तयार करू शकता:

            authors = Author.objects.all().prefetch_related('books__genres')

for author in authors:
  for book in author.books.all():
    genres = book.genres.all()
    print(f"{author.name} wrote {book.title} which is of genre(s) {[genre.name for genre in genres]}")

            

              
                Copy
              
            
          

हे उदाहरण लेखकाशी संबंधित पुस्तके प्रीफेच करते, आणि नंतर त्या पुस्तकांशी संबंधित प्रकार प्रीफेच करते. साखळीबद्ध prefetch_related वापरल्याने तुम्हाला खोलवर गुंफलेले संबंध ऑप्टिमाइझ करता येतात.

select_related विरुद्ध prefetch_related: योग्य साधन निवडणे

तर, तुम्ही select_related केव्हा वापरावे आणि prefetch_related केव्हा वापरावे? येथे एक सोपी मार्गदर्शक तत्त्वे आहेत:

• select_related: वन-टू-वन आणि फॉरेन की संबंधांसाठी वापरा जिथे तुम्हाला संबंधित डेटा वारंवार ॲक्सेस करण्याची आवश्यकता असते. हे डेटाबेसमध्ये एक जॉईन करते, त्यामुळे कमी प्रमाणात संबंधित डेटा मिळवण्यासाठी हे सामान्यतः वेगवान असते.
• prefetch_related: मेनी-टू-मेनी आणि रिव्हर्स फॉरेन की संबंधांसाठी किंवा मोठ्या संबंधित डेटासेट हाताळताना वापरा. हे स्वतंत्र क्वेरी करते आणि परिणाम जॉईन करण्यासाठी पायथनचा वापर करते, जे मोठ्या जॉइन्सपेक्षा अधिक कार्यक्षम असू शकते. संबंधित ऑब्जेक्ट्सवर कस्टम क्वेरीसेट फिल्टरिंग वापरण्याची आवश्यकता असेल तेव्हा देखील याचा वापर करा.

थोडक्यात:

• संबंधाचा प्रकार: select_related (ForeignKey, OneToOne), prefetch_related (ManyToManyField, reverse ForeignKey)
• क्वेरीचा प्रकार: select_related (JOIN), prefetch_related (स्वतंत्र क्वेरी + पायथन जॉईन)
• डेटाचा आकार: select_related (लहान संबंधित डेटा), prefetch_related (मोठा संबंधित डेटा)

व्यावहारिक उदाहरणे आणि सर्वोत्तम पद्धती

वास्तविक-जगातील परिस्थितीत select_related आणि prefetch_related वापरण्यासाठी येथे काही व्यावहारिक उदाहरणे आणि सर्वोत्तम पद्धती आहेत:

• ई-कॉमर्स: उत्पादनाचे तपशील दाखवताना, उत्पादनाची श्रेणी आणि निर्माता मिळवण्यासाठी select_related वापरा. उत्पादनाच्या प्रतिमा किंवा संबंधित उत्पादने मिळवण्यासाठी prefetch_related वापरा.
• सोशल मीडिया: वापरकर्त्याचे प्रोफाइल दाखवताना, वापरकर्त्याच्या पोस्ट्स आणि फॉलोअर्स मिळवण्यासाठी prefetch_related वापरा. वापरकर्त्याची प्रोफाइल माहिती पुनर्प्राप्त करण्यासाठी select_related वापरा.
• कंटेंट मॅनेजमेंट सिस्टम (CMS): लेख दाखवताना, लेखक आणि श्रेणी मिळवण्यासाठी select_related वापरा. लेखाचे टॅग आणि टिप्पण्या मिळवण्यासाठी prefetch_related वापरा.

सर्वसाधारण सर्वोत्तम पद्धती:

• तुमच्या क्वेरींचे प्रोफाइल करा: संथ क्वेरी आणि संभाव्य N+1 समस्या ओळखण्यासाठी Django चे डीबग टूलबार किंवा इतर प्रोफाइलिंग साधने वापरा.
• साधेपणापासून सुरुवात करा: एका सामान्य अंमलबजावणीसह प्रारंभ करा आणि नंतर प्रोफाइलिंग परिणामांवर आधारित ऑप्टिमाइझ करा.
• पूर्णपणे चाचणी करा: तुमच्या ऑप्टिमायझेशनमुळे नवीन बग किंवा कार्यक्षमतेत घट होणार नाही याची खात्री करा.
• कॅशिंगचा विचार करा: वारंवार ॲक्सेस केलेल्या डेटासाठी, कार्यक्षमता आणखी सुधारण्यासाठी कॅशिंग यंत्रणा (उदा. Django चे कॅशे फ्रेमवर्क किंवा Redis) वापरण्याचा विचार करा.
• डेटाबेसमध्ये इंडेक्स वापरा: उत्तम क्वेरी कार्यक्षमतेसाठी, विशेषतः प्रोडक्शनमध्ये, हे आवश्यक आहे.

प्रगत ऑप्टिमायझेशन तंत्र

select_related आणि prefetch_related च्या पलीकडे, तुमच्या Django ORM क्वेरी ऑप्टिमाइझ करण्यासाठी तुम्ही इतर प्रगत तंत्रे वापरू शकता:

• only() आणि defer(): या पद्धती तुम्हाला डेटाबेसमधून कोणती फील्ड पुनर्प्राप्त करायची हे निर्दिष्ट करण्याची परवानगी देतात. फक्त आवश्यक फील्ड पुनर्प्राप्त करण्यासाठी only() वापरा, आणि ज्या फील्डची त्वरित आवश्यकता नाही ती वगळण्यासाठी defer() वापरा.
• values() आणि values_list(): या पद्धती तुम्हाला Django मॉडेल इन्स्टन्सऐवजी डिक्शनरी किंवा टपल्स म्हणून डेटा पुनर्प्राप्त करण्याची परवानगी देतात. जेव्हा तुम्हाला मॉडेलच्या फील्डच्या फक्त एका उपसंचाची आवश्यकता असते तेव्हा हे अधिक कार्यक्षम असू शकते.
• रॉ SQL क्वेरी: काही प्रकरणांमध्ये, Django ORM डेटा पुनर्प्राप्त करण्याचा सर्वात कार्यक्षम मार्ग असू शकत नाही. तुम्ही जटिल किंवा अत्यंत ऑप्टिमाइझ केलेल्या क्वेरीसाठी रॉ SQL क्वेरी वापरू शकता.
• डेटाबेस-विशिष्ट ऑप्टिमायझेशन: भिन्न डेटाबेसमध्ये (उदा. PostgreSQL, MySQL) भिन्न ऑप्टिमायझेशन तंत्रे असतात. कार्यक्षमता आणखी सुधारण्यासाठी डेटाबेस-विशिष्ट वैशिष्ट्यांचा शोध घ्या आणि त्यांचा फायदा घ्या.

आंतरराष्ट्रीयीकरणाबद्दल विचार

जागतिक प्रेक्षकांसाठी Django ॲप्लिकेशन्स विकसित करताना, आंतरराष्ट्रीयीकरण (i18n) आणि स्थानिकीकरण (l10n) विचारात घेणे महत्त्वाचे आहे. याचा तुमच्या डेटाबेस क्वेरीवर अनेक प्रकारे परिणाम होऊ शकतो:

• भाषा-विशिष्ट डेटा: तुम्हाला तुमच्या डेटाबेसमध्ये सामग्रीची भाषांतरे संग्रहित करण्याची आवश्यकता असू शकते. भाषांतरे व्यवस्थापित करण्यासाठी आणि तुमच्या क्वेरी डेटाची योग्य भाषा आवृत्ती पुनर्प्राप्त करतात याची खात्री करण्यासाठी Django चे i18n फ्रेमवर्क वापरा.
• कॅरॅक्टर सेट्स आणि कोलेशन्स: विविध भाषा आणि वर्णांना समर्थन देण्यासाठी तुमच्या डेटाबेससाठी योग्य कॅरॅक्टर सेट्स आणि कोलेशन्स निवडा.
• टाइम झोन: तारखा आणि वेळा हाताळताना, टाइम झोनबद्दल जागरूक रहा. तारखा आणि वेळा UTC मध्ये संग्रहित करा आणि त्या प्रदर्शित करताना वापरकर्त्याच्या स्थानिक टाइम झोनमध्ये रूपांतरित करा.
• चलन स्वरूपन: किमती प्रदर्शित करताना, वापरकर्त्याच्या लोकॅलवर आधारित योग्य चलन चिन्हे आणि स्वरूपन वापरा.

निष्कर्ष

स्केलेबल आणि कार्यक्षम वेब ॲप्लिकेशन्स तयार करण्यासाठी Django ORM क्वेरी ऑप्टिमाइझ करणे आवश्यक आहे. select_related आणि prefetch_related समजून घेऊन आणि प्रभावीपणे वापरून, तुम्ही डेटाबेस क्वेरींची संख्या लक्षणीयरीत्या कमी करू शकता आणि तुमच्या ॲप्लिकेशनची एकूण प्रतिसादक्षमता सुधारू शकता. तुमच्या क्वेरींचे प्रोफाइल करणे, तुमच्या ऑप्टिमायझेशनची पूर्णपणे चाचणी करणे आणि कार्यक्षमता आणखी वाढवण्यासाठी इतर प्रगत तंत्रांचा विचार करणे लक्षात ठेवा. या सर्वोत्तम पद्धतींचे पालन करून, तुम्ही खात्री करू शकता की तुमचा Django ॲप्लिकेशन त्याच्या आकाराची किंवा गुंतागुंतीची पर्वा न करता एक सहज आणि कार्यक्षम वापरकर्ता अनुभव देतो. हे देखील लक्षात घ्या की चांगला डेटाबेस डिझाइन आणि योग्यरित्या कॉन्फिगर केलेले इंडेक्स उत्तम कार्यक्षमतेसाठी आवश्यक आहेत.