Tối ưu hóa Truy vấn Django ORM: select_related so với prefetch_related

Khi ứng dụng Django của bạn phát triển, các truy vấn cơ sở dữ liệu hiệu quả trở nên cực kỳ quan trọng để duy trì hiệu suất tối ưu. Django ORM cung cấp các công cụ mạnh mẽ để giảm thiểu số lần truy cập cơ sở dữ liệu và cải thiện tốc độ truy vấn. Hai kỹ thuật chính để đạt được điều này là select_related và prefetch_related. Hướng dẫn toàn diện này sẽ giải thích các khái niệm này, trình bày cách sử dụng chúng với các ví dụ thực tế và giúp bạn chọn công cụ phù hợp cho nhu cầu cụ thể của mình.

Hiểu về Vấn đề N+1

Trước khi đi sâu vào select_related và prefetch_related, điều cần thiết là phải hiểu vấn đề mà chúng giải quyết: vấn đề truy vấn N+1. Điều này xảy ra khi ứng dụng của bạn thực hiện một truy vấn ban đầu để lấy một tập hợp các đối tượng, và sau đó thực hiện các truy vấn bổ sung (N truy vấn, trong đó N là số lượng đối tượng) để lấy dữ liệu liên quan cho mỗi đối tượng.

Hãy xem xét một ví dụ đơn giản với các model đại diện cho tác giả và sách:

            class Author(models.Model):
    name = models.CharField(max_length=255)

class Book(models.Model):
    title = models.CharField(max_length=255)
    author = models.ForeignKey(Author, on_delete=models.CASCADE)

            

              
                Copy
              
            
          

Bây giờ, hãy tưởng tượng bạn muốn hiển thị một danh sách các cuốn sách cùng với tác giả tương ứng. Một cách tiếp cận ngây thơ có thể trông như thế này:

            books = Book.objects.all()
for book in books:
    print(f"{book.title} by {book.author.name}")

            

              
                Copy
              
            
          

Đoạn mã này sẽ tạo ra một truy vấn để lấy tất cả sách và sau đó là một truy vấn cho mỗi cuốn sách để lấy tác giả của nó. Nếu bạn có 100 cuốn sách, bạn sẽ thực hiện 101 truy vấn, dẫn đến chi phí hiệu suất đáng kể. Đây chính là vấn đề N+1.

Giới thiệu về select_related

select_related được sử dụng để tối ưu hóa các truy vấn liên quan đến các mối quan hệ một-một (one-to-one) và khóa ngoại (foreign key). Nó hoạt động bằng cách kết hợp (join) các bảng liên quan trong truy vấn ban đầu, giúp lấy dữ liệu liên quan một cách hiệu quả chỉ trong một lần truy cập cơ sở dữ liệu.

Hãy quay lại ví dụ về tác giả và sách của chúng ta. Để loại bỏ vấn đề N+1, chúng ta có thể sử dụng select_related như sau:

            books = Book.objects.all().select_related('author')
for book in books:
    print(f"{book.title} by {book.author.name}")

            

              
                Copy
              
            
          

Bây giờ, Django sẽ thực hiện một truy vấn duy nhất, phức tạp hơn, kết hợp bảng Book và Author. Khi bạn truy cập book.author.name trong vòng lặp, dữ liệu đã có sẵn và không có truy vấn cơ sở dữ liệu bổ sung nào được thực hiện.

Sử dụng select_related với Nhiều Mối quan hệ

select_related có thể duyệt qua nhiều mối quan hệ. Ví dụ: nếu bạn có một model với khóa ngoại đến một model khác, và model đó lại có khóa ngoại đến một model khác nữa, bạn có thể sử dụng select_related để lấy tất cả dữ liệu liên quan trong một lần.

            class Country(models.Model):
    name = models.CharField(max_length=255)

class AuthorProfile(models.Model):
    author = models.OneToOneField(Author, on_delete=models.CASCADE)
    country = models.ForeignKey(Country, on_delete=models.CASCADE)

# Add country to Author
Author.profile = models.OneToOneField(AuthorProfile, on_delete=models.CASCADE, null=True, blank=True)

authors = Author.objects.all().select_related('profile__country')
for author in authors:
    print(f"{author.name} is from {author.profile.country.name if author.profile else 'Unknown'}")

            

              
                Copy
              
            
          

Trong trường hợp này, select_related('profile__country') lấy AuthorProfile và Country liên quan trong một truy vấn duy nhất. Lưu ý ký hiệu gạch dưới kép (__), cho phép bạn duyệt qua cây quan hệ.

Hạn chế của select_related

select_related hiệu quả nhất với các mối quan hệ một-một và khóa ngoại. Nó không phù hợp với các mối quan hệ nhiều-nhiều hoặc các mối quan hệ khóa ngoại ngược, vì nó có thể dẫn đến các truy vấn lớn và không hiệu quả khi xử lý các tập dữ liệu liên quan lớn. Đối với những trường hợp này, prefetch_related là một lựa chọn tốt hơn.

Giới thiệu về prefetch_related

prefetch_related được thiết kế để tối ưu hóa các truy vấn liên quan đến các mối quan hệ nhiều-nhiều (many-to-many) và khóa ngoại ngược (reverse foreign key). Thay vì sử dụng các phép nối (join), prefetch_related thực hiện các truy vấn riêng biệt cho mỗi mối quan hệ và sau đó sử dụng Python để "nối" các kết quả lại. Mặc dù điều này liên quan đến nhiều truy vấn, nó có thể hiệu quả hơn việc sử dụng join khi xử lý các tập dữ liệu liên quan lớn.

Hãy xem xét một kịch bản trong đó mỗi cuốn sách có thể có nhiều thể loại:

            class Genre(models.Model):
    name = models.CharField(max_length=255)

class Book(models.Model):
    title = models.CharField(max_length=255)
    author = models.ForeignKey(Author, on_delete=models.CASCADE)
    genres = models.ManyToManyField(Genre)

            

              
                Copy
              
            
          

Để lấy danh sách các cuốn sách cùng với thể loại của chúng, việc sử dụng select_related sẽ không phù hợp. Thay vào đó, chúng ta sử dụng prefetch_related:

            books = Book.objects.all().prefetch_related('genres')
for book in books:
    genre_names = [genre.name for genre in book.genres.all()]
    print(f"{book.title} ({', '.join(genre_names)}) by {book.author.name}")

            

              
                Copy
              
            
          

Trong trường hợp này, Django sẽ thực hiện hai truy vấn: một để lấy tất cả sách và một truy vấn khác để lấy tất cả các thể loại liên quan đến những cuốn sách đó. Sau đó, nó sử dụng Python để liên kết các thể loại với sách tương ứng một cách hiệu quả.

prefetch_related với Khóa ngoại ngược

prefetch_related cũng hữu ích để tối ưu hóa các mối quan hệ khóa ngoại ngược. Hãy xem xét ví dụ sau:

            class Author(models.Model):
    name = models.CharField(max_length=255)
    country = models.CharField(max_length=255, blank=True, null=True) # Added for clarity

    def __str__(self):
        return self.name

class Book(models.Model):
    title = models.CharField(max_length=255)
    author = models.ForeignKey(Author, related_name='books', on_delete=models.CASCADE)

            

              
                Copy
              
            
          

Để lấy danh sách các tác giả và sách của họ:

            authors = Author.objects.all().prefetch_related('books')
for author in authors:
    book_titles = [book.title for book in author.books.all()]
    print(f"{author.name} has written: {', '.join(book_titles)}")

            

              
                Copy
              
            
          

Ở đây, prefetch_related('books') lấy tất cả các cuốn sách liên quan đến mỗi tác giả trong một truy vấn riêng biệt, tránh được vấn đề N+1 khi truy cập author.books.all().

Sử dụng prefetch_related với một queryset

Bạn có thể tùy chỉnh thêm hành vi của prefetch_related bằng cách cung cấp một queryset tùy chỉnh để lấy các đối tượng liên quan. Điều này đặc biệt hữu ích khi bạn cần lọc hoặc sắp xếp dữ liệu liên quan.

            from django.db.models import Prefetch

authors = Author.objects.prefetch_related(Prefetch('books', queryset=Book.objects.filter(title__icontains='django')))

for author in authors:
    django_books = author.books.all()
    print(f"{author.name} has written {len(django_books)} books about Django.")

            

              
                Copy
              
            
          

Trong ví dụ này, đối tượng Prefetch cho phép chúng ta chỉ định một queryset tùy chỉnh chỉ lấy những cuốn sách có tiêu đề chứa "django".

Nối chuỗi prefetch_related

Tương tự như select_related, bạn có thể nối chuỗi các lệnh gọi prefetch_related để tối ưu hóa nhiều mối quan hệ:

            authors = Author.objects.all().prefetch_related('books__genres')

for author in authors:
  for book in author.books.all():
    genres = book.genres.all()
    print(f"{author.name} wrote {book.title} which is of genre(s) {[genre.name for genre in genres]}")

            

              
                Copy
              
            
          

Ví dụ này tìm nạp trước các sách liên quan đến tác giả, và sau đó là các thể loại liên quan đến những cuốn sách đó. Việc sử dụng prefetch_related nối chuỗi cho phép bạn tối ưu hóa các mối quan hệ lồng sâu.

select_related so với prefetch_related: Chọn Công cụ Phù hợp

Vậy, khi nào bạn nên sử dụng select_related và khi nào nên sử dụng prefetch_related? Dưới đây là một hướng dẫn đơn giản:

• select_related: Sử dụng cho các mối quan hệ một-một và khóa ngoại nơi bạn cần truy cập dữ liệu liên quan thường xuyên. Nó thực hiện một phép nối (join) trong cơ sở dữ liệu, vì vậy nó thường nhanh hơn để truy xuất một lượng nhỏ dữ liệu liên quan.
• prefetch_related: Sử dụng cho các mối quan hệ nhiều-nhiều và khóa ngoại ngược, hoặc khi xử lý các tập dữ liệu liên quan lớn. Nó thực hiện các truy vấn riêng biệt và sử dụng Python để nối các kết quả, điều này có thể hiệu quả hơn so với các phép nối lớn. Cũng nên sử dụng khi bạn cần áp dụng bộ lọc queryset tùy chỉnh trên các đối tượng liên quan.

Tóm lại:

• Loại Mối quan hệ: select_related (ForeignKey, OneToOne), prefetch_related (ManyToManyField, khóa ngoại ngược)
• Loại Truy vấn: select_related (JOIN), prefetch_related (Truy vấn Riêng biệt + Nối bằng Python)
• Kích thước Dữ liệu: select_related (Dữ liệu liên quan nhỏ), prefetch_related (Dữ liệu liên quan lớn)

Ví dụ Thực tế và Các Phương pháp Hay nhất

Dưới đây là một số ví dụ thực tế và các phương pháp hay nhất để sử dụng select_related và prefetch_related trong các kịch bản thực tế:

• Thương mại điện tử: Khi hiển thị chi tiết sản phẩm, sử dụng select_related để lấy danh mục và nhà sản xuất của sản phẩm. Sử dụng prefetch_related để lấy hình ảnh sản phẩm hoặc các sản phẩm liên quan.
• Mạng xã hội: Khi hiển thị hồ sơ của người dùng, sử dụng prefetch_related để lấy các bài đăng và người theo dõi của người dùng. Sử dụng select_related để truy xuất thông tin hồ sơ của người dùng.
• Hệ thống Quản lý Nội dung (CMS): Khi hiển thị một bài viết, sử dụng select_related để lấy tác giả và danh mục. Sử dụng prefetch_related để lấy các thẻ và bình luận của bài viết.

Các Phương pháp Hay nhất Chung:

• Phân tích Truy vấn của Bạn: Sử dụng thanh công cụ gỡ lỗi của Django hoặc các công cụ phân tích khác để xác định các truy vấn chậm và các vấn đề N+1 tiềm ẩn.
• Bắt đầu Đơn giản: Bắt đầu với một cách triển khai ngây thơ và sau đó tối ưu hóa dựa trên kết quả phân tích.
• Kiểm thử Kỹ lưỡng: Đảm bảo rằng các tối ưu hóa của bạn không gây ra lỗi mới hoặc làm giảm hiệu suất.
• Cân nhắc Caching: Đối với dữ liệu được truy cập thường xuyên, hãy cân nhắc sử dụng các cơ chế bộ nhớ đệm (ví dụ: framework cache của Django hoặc Redis) để cải thiện hiệu suất hơn nữa.
• Sử dụng chỉ mục (index) trong cơ sở dữ liệu: Đây là điều bắt buộc để có hiệu suất truy vấn tối ưu, đặc biệt là trong môi trường production.

Các Kỹ thuật Tối ưu hóa Nâng cao

Ngoài select_related và prefetch_related, có các kỹ thuật nâng cao khác bạn có thể sử dụng để tối ưu hóa các truy vấn Django ORM của mình:

• only() và defer(): Các phương thức này cho phép bạn chỉ định các trường cần truy xuất từ cơ sở dữ liệu. Sử dụng only() để chỉ truy xuất các trường cần thiết, và defer() để loại trừ các trường không cần thiết ngay lập tức.
• values() và values_list(): Các phương thức này cho phép bạn truy xuất dữ liệu dưới dạng từ điển hoặc tuple, thay vì các đối tượng model của Django. Điều này có thể hiệu quả hơn khi bạn chỉ cần một tập hợp con các trường của model.
• Truy vấn SQL Thô: Trong một số trường hợp, Django ORM có thể không phải là cách hiệu quả nhất để truy xuất dữ liệu. Bạn có thể sử dụng các truy vấn SQL thô cho các truy vấn phức tạp hoặc được tối ưu hóa cao.
• Tối ưu hóa Cụ thể cho Cơ sở dữ liệu: Các cơ sở dữ liệu khác nhau (ví dụ: PostgreSQL, MySQL) có các kỹ thuật tối ưu hóa khác nhau. Nghiên cứu và tận dụng các tính năng cụ thể của cơ sở dữ liệu để cải thiện hiệu suất hơn nữa.

Những Lưu ý về Quốc tế hóa

Khi phát triển các ứng dụng Django cho khán giả toàn cầu, điều quan trọng là phải xem xét quốc tế hóa (i18n) và địa phương hóa (l10n). Điều này có thể ảnh hưởng đến các truy vấn cơ sở dữ liệu của bạn theo nhiều cách:

• Dữ liệu theo Ngôn ngữ Cụ thể: Bạn có thể cần lưu trữ các bản dịch nội dung trong cơ sở dữ liệu của mình. Sử dụng framework i18n của Django để quản lý các bản dịch và đảm bảo rằng các truy vấn của bạn truy xuất đúng phiên bản ngôn ngữ của dữ liệu.
• Bộ ký tự và Đối chiếu (Collation): Chọn bộ ký tự và đối chiếu phù hợp cho cơ sở dữ liệu của bạn để hỗ trợ nhiều loại ngôn ngữ và ký tự.
• Múi giờ: Khi xử lý ngày và giờ, hãy lưu ý đến các múi giờ. Lưu trữ ngày và giờ ở định dạng UTC và chuyển đổi chúng sang múi giờ địa phương của người dùng khi hiển thị.
• Định dạng Tiền tệ: Khi hiển thị giá cả, hãy sử dụng các ký hiệu tiền tệ và định dạng phù hợp dựa trên ngôn ngữ của người dùng.

Kết luận

Tối ưu hóa các truy vấn Django ORM là điều cần thiết để xây dựng các ứng dụng web có khả năng mở rộng và hiệu suất cao. Bằng cách hiểu và sử dụng hiệu quả select_related và prefetch_related, bạn có thể giảm đáng kể số lượng truy vấn cơ sở dữ liệu và cải thiện khả năng phản hồi tổng thể của ứng dụng. Hãy nhớ phân tích các truy vấn của bạn, kiểm thử kỹ lưỡng các tối ưu hóa và xem xét các kỹ thuật nâng cao khác để nâng cao hiệu suất hơn nữa. Bằng cách tuân theo các phương pháp hay nhất này, bạn có thể đảm bảo rằng ứng dụng Django của mình mang lại trải nghiệm người dùng mượt mà và hiệu quả, bất kể quy mô hay độ phức tạp của nó. Cũng cần lưu ý rằng thiết kế cơ sở dữ liệu tốt và các chỉ mục được cấu hình đúng cách là điều bắt buộc để có hiệu suất tối ưu.