Tìm kiếm Kiến trúc Nơ-ron: Tự động hóa Thiết kế Mô hình Học sâu

Học sâu đã cách mạng hóa nhiều lĩnh vực, từ thị giác máy tính và xử lý ngôn ngữ tự nhiên đến robot và khám phá thuốc. Tuy nhiên, việc thiết kế các kiến trúc học sâu hiệu quả đòi hỏi chuyên môn, thời gian và tài nguyên tính toán đáng kể. Tìm kiếm Kiến trúc Nơ-ron (Neural Architecture Search - NAS) nổi lên như một giải pháp hứa hẹn, tự động hóa quá trình tìm kiếm các kiến trúc mạng nơ-ron tối ưu. Bài viết này cung cấp một cái nhìn tổng quan toàn diện về NAS, khám phá các nguyên tắc, thuật toán, thách thức và định hướng tương lai của nó cho khán giả toàn cầu.

Tìm kiếm Kiến trúc Nơ-ron (NAS) là gì?

Tìm kiếm Kiến trúc Nơ-ron (NAS) là một phân ngành của AutoML (Học máy Tự động) tập trung vào việc tự động thiết kế và tối ưu hóa các kiến trúc mạng nơ-ron. Thay vì dựa vào trực giác của con người hay phương pháp thử và sai, các thuật toán NAS khám phá một cách có hệ thống không gian thiết kế của các kiến trúc khả thi, đánh giá hiệu suất của chúng và xác định các ứng cử viên hứa hẹn nhất. Quá trình này nhằm mục đích tìm ra các kiến trúc đạt được hiệu suất tiên tiến nhất cho các tác vụ và bộ dữ liệu cụ thể, đồng thời giảm bớt gánh nặng cho các chuyên gia con người.

Theo truyền thống, thiết kế một mạng nơ-ron là một quá trình thủ công đòi hỏi chuyên môn đáng kể. Các nhà khoa học dữ liệu và kỹ sư học máy sẽ thử nghiệm với các loại lớp khác nhau (lớp tích chập, lớp hồi quy, v.v.), các mẫu kết nối và các siêu tham số để tìm ra kiến trúc hoạt động tốt nhất cho một vấn đề nhất định. NAS tự động hóa quá trình này, cho phép ngay cả những người không chuyên cũng có thể tạo ra các mô hình học sâu hiệu suất cao.

Tại sao NAS lại quan trọng?

NAS mang lại một số lợi thế đáng kể:

• Tự động hóa: Giảm sự phụ thuộc vào chuyên môn của con người trong việc thiết kế kiến trúc mạng nơ-ron.
• Hiệu suất: Có thể khám phá ra các kiến trúc vượt trội hơn so với các kiến trúc được thiết kế thủ công, dẫn đến độ chính xác và hiệu quả được cải thiện.
• Tùy chỉnh: Cho phép tạo ra các kiến trúc chuyên biệt phù hợp với các tác vụ và bộ dữ liệu cụ thể.
• Hiệu quả: Tối ưu hóa việc sử dụng tài nguyên bằng cách tìm ra các kiến trúc đạt được hiệu suất mong muốn với ít tham số và tài nguyên tính toán hơn.
• Khả năng tiếp cận: Dân chủ hóa học sâu bằng cách giúp các cá nhân và tổ chức có chuyên môn hạn chế dễ dàng phát triển và triển khai các mô hình hiệu suất cao hơn.

Các thành phần chính của NAS

Một thuật toán NAS điển hình bao gồm ba thành phần thiết yếu:

1. Không gian Tìm kiếm: Xác định tập hợp các kiến trúc mạng nơ-ron khả thi mà thuật toán có thể khám phá. Điều này bao gồm việc xác định các loại lớp, kết nối của chúng và các siêu tham số.
2. Chiến lược Tìm kiếm: Chỉ định cách thuật toán khám phá không gian tìm kiếm. Điều này bao gồm các kỹ thuật như tìm kiếm ngẫu nhiên, học tăng cường, thuật toán tiến hóa và các phương pháp dựa trên gradient.
3. Chiến lược Đánh giá: Xác định cách hiệu suất của mỗi kiến trúc được đánh giá. Điều này thường bao gồm việc huấn luyện kiến trúc trên một tập con của dữ liệu và đo lường hiệu suất của nó trên một tập hợp xác thực.

1. Không gian Tìm kiếm

Không gian tìm kiếm là một thành phần quan trọng của NAS, vì nó xác định phạm vi của các kiến trúc mà thuật toán có thể khám phá. Một không gian tìm kiếm được thiết kế tốt phải đủ biểu cảm để nắm bắt một loạt các kiến trúc có tiềm năng hiệu suất cao, đồng thời cũng phải đủ hạn chế để cho phép khám phá hiệu quả. Các yếu tố phổ biến trong không gian tìm kiếm bao gồm:

• Các loại lớp: Xác định các loại lớp có thể được sử dụng trong kiến trúc, chẳng hạn như lớp tích chập, lớp hồi quy, lớp kết nối đầy đủ và lớp gộp. Việc lựa chọn các loại lớp thường phụ thuộc vào tác vụ cụ thể. Đối với nhận dạng hình ảnh, các lớp tích chập thường được sử dụng. Đối với dữ liệu chuỗi thời gian, các lớp hồi quy được ưu tiên.
• Các mẫu kết nối: Chỉ định cách các lớp được kết nối với nhau. Điều này có thể bao gồm các kết nối tuần tự, kết nối tắt (skip connections) (cho phép các lớp bỏ qua một hoặc nhiều lớp trung gian), và các kết nối dựa trên đồ thị phức tạp hơn. Ví dụ, ResNets sử dụng rộng rãi các kết nối tắt.
• Siêu tham số: Xác định các siêu tham số liên quan đến mỗi lớp, chẳng hạn như số lượng bộ lọc trong một lớp tích chập, kích thước của nhân, tốc độ học và hàm kích hoạt. Tối ưu hóa siêu tham số thường được tích hợp vào quy trình NAS.
• Không gian tìm kiếm dựa trên ô (Cell-based Search Spaces): Những không gian này xây dựng các mạng phức tạp bằng cách xếp chồng các "ô" lặp lại. Một ô có thể bao gồm một đồ thị nhỏ của các hoạt động như tích chập, gộp và các hàm kích hoạt phi tuyến. NAS sau đó tập trung vào việc tìm kiếm cấu trúc tối ưu *bên trong* ô, cấu trúc này sau đó được lặp lại. Cách tiếp cận này giảm đáng kể không gian tìm kiếm so với việc tìm kiếm toàn bộ kiến trúc mạng.

Việc thiết kế không gian tìm kiếm là một lựa chọn thiết kế quan trọng. Một không gian tìm kiếm rộng hơn có khả năng cho phép khám phá các kiến trúc mới lạ và hiệu quả hơn, nhưng cũng làm tăng chi phí tính toán của quá trình tìm kiếm. Một không gian tìm kiếm hẹp hơn có thể được khám phá hiệu quả hơn, nhưng có thể hạn chế khả năng của thuật toán trong việc tìm ra các kiến trúc thực sự sáng tạo.

2. Chiến lược Tìm kiếm

Chiến lược tìm kiếm xác định cách thuật toán NAS khám phá không gian tìm kiếm đã xác định. Các chiến lược tìm kiếm khác nhau có những điểm mạnh và điểm yếu khác nhau, ảnh hưởng đến hiệu quả và hiệu suất của quá trình tìm kiếm. Một số chiến lược tìm kiếm phổ biến bao gồm:

• Tìm kiếm ngẫu nhiên: Phương pháp đơn giản nhất, lấy mẫu ngẫu nhiên các kiến trúc từ không gian tìm kiếm và đánh giá hiệu suất của chúng. Mặc dù dễ thực hiện, nó có thể không hiệu quả đối với các không gian tìm kiếm lớn.
• Học tăng cường (RL): Sử dụng một tác nhân học tăng cường để học một chính sách tạo ra các kiến trúc. Tác nhân nhận được phần thưởng dựa trên hiệu suất của các kiến trúc được tạo ra. Bộ điều khiển, thường là một RNN, đưa ra các hành động xác định kiến trúc. Kiến trúc sau đó được huấn luyện, và hiệu suất của nó được sử dụng làm phần thưởng để cập nhật bộ điều khiển. Đây là một trong những phương pháp NAS tiên phong, nhưng tốn kém về mặt tính toán.
• Thuật toán tiến hóa (EA): Lấy cảm hứng từ sự tiến hóa sinh học, các thuật toán này duy trì một quần thể các kiến trúc và cải thiện chúng lặp đi lặp lại thông qua các quá trình như đột biến và lai ghép. Các kiến trúc được chọn dựa trên độ phù hợp của chúng (hiệu suất). Một quần thể các mạng nơ-ron phát triển theo thời gian, với các kiến trúc hoạt động tốt nhất sống sót và sinh sản, trong khi các kiến trúc yếu hơn bị loại bỏ.
• Các phương pháp dựa trên Gradient: Định hình lại bài toán tìm kiếm kiến trúc thành một bài toán tối ưu hóa liên tục, cho phép sử dụng các kỹ thuật tối ưu hóa dựa trên gradient. Cách tiếp cận này thường bao gồm việc học một tập hợp các tham số kiến trúc xác định kết nối và các loại lớp trong mạng. DARTS (Differentiable Architecture Search) là một ví dụ nổi bật, biểu diễn kiến trúc dưới dạng một đồ thị có hướng không chu trình và nới lỏng các lựa chọn rời rạc (ví dụ: áp dụng hoạt động nào) thành các lựa chọn liên tục.
• Tối ưu hóa Bayes: Sử dụng một mô hình xác suất để dự đoán hiệu suất của các kiến trúc chưa thấy dựa trên hiệu suất của các kiến trúc đã được đánh giá trước đó. Điều này cho phép thuật toán khám phá không gian tìm kiếm một cách hiệu quả bằng cách tập trung vào các vùng hứa hẹn.

Sự lựa chọn chiến lược tìm kiếm phụ thuộc vào các yếu tố như kích thước và độ phức tạp của không gian tìm kiếm, tài nguyên tính toán có sẵn, và sự đánh đổi mong muốn giữa thăm dò và khai thác. Các phương pháp dựa trên gradient đã trở nên phổ biến do hiệu quả của chúng, nhưng RL và EA có thể hiệu quả hơn để khám phá các không gian tìm kiếm phức tạp hơn.

3. Chiến lược Đánh giá

Chiến lược đánh giá xác định cách hiệu suất của mỗi kiến trúc được đánh giá. Điều này thường bao gồm việc huấn luyện kiến trúc trên một tập con của dữ liệu (tập huấn luyện) và đo lường hiệu suất của nó trên một tập hợp xác thực riêng biệt. Quá trình đánh giá có thể tốn kém về mặt tính toán, vì nó đòi hỏi phải huấn luyện mỗi kiến trúc từ đầu. Một số kỹ thuật có thể được sử dụng để giảm chi phí tính toán của việc đánh giá:

• Đánh giá độ trung thực thấp: Huấn luyện các kiến trúc trong một khoảng thời gian ngắn hơn hoặc trên một tập con nhỏ hơn của dữ liệu để có được ước tính sơ bộ về hiệu suất của chúng. Điều này cho phép loại bỏ nhanh chóng các kiến trúc hoạt động kém.
• Chia sẻ trọng số: Chia sẻ trọng số giữa các kiến trúc khác nhau trong không gian tìm kiếm. Điều này làm giảm số lượng tham số cần được huấn luyện cho mỗi kiến trúc, tăng tốc đáng kể quá trình đánh giá. Các phương pháp One-Shot NAS như ENAS (Efficient Neural Architecture Search) tận dụng việc chia sẻ trọng số.
• Tác vụ ủy nhiệm: Đánh giá các kiến trúc trên một tác vụ đơn giản hóa hoặc liên quan ít tốn kém tính toán hơn so với tác vụ ban đầu. Ví dụ, đánh giá các kiến trúc trên một bộ dữ liệu nhỏ hơn hoặc với độ phân giải thấp hơn.
• Dự đoán hiệu suất: Huấn luyện một mô hình thay thế để dự đoán hiệu suất của các kiến trúc dựa trên cấu trúc của chúng. Điều này cho phép đánh giá các kiến trúc mà không cần thực sự huấn luyện chúng.

Sự lựa chọn chiến lược đánh giá liên quan đến sự đánh đổi giữa độ chính xác và chi phí tính toán. Các kỹ thuật đánh giá độ trung thực thấp có thể tăng tốc quá trình tìm kiếm nhưng có thể dẫn đến các ước tính hiệu suất không chính xác. Chia sẻ trọng số và dự đoán hiệu suất có thể chính xác hơn nhưng đòi hỏi chi phí bổ sung để huấn luyện các trọng số được chia sẻ hoặc mô hình thay thế.

Các loại phương pháp NAS

Các thuật toán NAS có thể được phân loại dựa trên một số yếu tố, bao gồm không gian tìm kiếm, chiến lược tìm kiếm và chiến lược đánh giá. Dưới đây là một số danh mục phổ biến:

• Tìm kiếm dựa trên ô (Cell-Based) so với Tìm kiếm vĩ mô (Macro-Architecture): Tìm kiếm dựa trên ô tập trung vào việc thiết kế cấu trúc tối ưu của một ô lặp lại, sau đó được xếp chồng lên nhau để tạo ra toàn bộ mạng. Tìm kiếm vĩ mô khám phá cấu trúc tổng thể của mạng, bao gồm số lượng lớp và kết nối của chúng.
• Tìm kiếm hộp đen (Black-Box) so với Tìm kiếm hộp trắng (White-Box): Tìm kiếm hộp đen coi việc đánh giá kiến trúc như một hộp đen, chỉ quan sát đầu vào và đầu ra mà không có quyền truy cập vào các hoạt động bên trong của kiến trúc. Học tăng cường và thuật toán tiến hóa thường được sử dụng cho tìm kiếm hộp đen. Tìm kiếm hộp trắng tận dụng các hoạt động bên trong của kiến trúc, chẳng hạn như gradient, để hướng dẫn quá trình tìm kiếm. Các phương pháp dựa trên gradient được sử dụng cho tìm kiếm hộp trắng.
• Tìm kiếm một lần (One-Shot) so với Tìm kiếm nhiều lần (Multi-Trial): Tìm kiếm một lần huấn luyện một “siêu mạng” duy nhất bao gồm tất cả các kiến trúc khả thi trong không gian tìm kiếm. Kiến trúc tối ưu sau đó được chọn bằng cách trích xuất một mạng con từ siêu mạng. Tìm kiếm nhiều lần huấn luyện mỗi kiến trúc một cách độc lập.
• Tìm kiếm khả vi (Differentiable) so với Tìm kiếm không khả vi (Non-Differentiable): Các phương pháp tìm kiếm khả vi, như DARTS, nới lỏng bài toán tìm kiếm kiến trúc thành một bài toán tối ưu hóa liên tục, cho phép sử dụng phương pháp hạ gradient. Các phương pháp tìm kiếm không khả vi, như học tăng cường và thuật toán tiến hóa, dựa vào các kỹ thuật tối ưu hóa rời rạc.

Thách thức và Hạn chế của NAS

Mặc dù có nhiều hứa hẹn, NAS phải đối mặt với một số thách thức và hạn chế:

• Chi phí tính toán: Việc huấn luyện và đánh giá nhiều kiến trúc có thể tốn kém về mặt tính toán, đòi hỏi tài nguyên và thời gian đáng kể. Điều này đặc biệt đúng đối với các không gian tìm kiếm phức tạp và các chiến lược đánh giá có độ trung thực cao.
• Khả năng tổng quát hóa: Các kiến trúc được khám phá bởi NAS có thể không tổng quát hóa tốt cho các bộ dữ liệu hoặc tác vụ khác. Việc quá khớp (overfitting) với bộ dữ liệu cụ thể được sử dụng trong quá trình tìm kiếm là một vấn đề phổ biến.
• Thiết kế không gian tìm kiếm: Thiết kế một không gian tìm kiếm phù hợp là một nhiệm vụ đầy thách thức. Một không gian tìm kiếm quá hạn chế có thể giới hạn khả năng của thuật toán trong việc tìm kiếm các kiến trúc tối ưu, trong khi một không gian tìm kiếm quá rộng có thể làm cho quá trình tìm kiếm trở nên bất khả thi.
• Tính ổn định: Các thuật toán NAS có thể nhạy cảm với các cài đặt siêu tham số và khởi tạo ngẫu nhiên. Điều này có thể dẫn đến kết quả không nhất quán và gây khó khăn cho việc tái tạo các phát hiện.
• Khả năng diễn giải: Các kiến trúc được khám phá bởi NAS thường phức tạp và khó diễn giải. Điều này có thể gây khó khăn trong việc hiểu tại sao một kiến trúc cụ thể hoạt động tốt và làm thế nào để cải thiện nó hơn nữa.

Ứng dụng của NAS

NAS đã được áp dụng thành công cho một loạt các tác vụ và lĩnh vực, bao gồm:

• Phân loại hình ảnh: NAS đã được sử dụng để khám phá các kiến trúc tiên tiến cho các tác vụ phân loại hình ảnh, chẳng hạn như ImageNet và CIFAR-10. Các ví dụ bao gồm NASNet, AmoebaNet và EfficientNet.
• Phát hiện đối tượng: NAS đã được áp dụng cho các tác vụ phát hiện đối tượng, nơi nó đã được sử dụng để thiết kế các bộ phát hiện đối tượng hiệu quả và chính xác hơn.
• Phân đoạn ngữ nghĩa: NAS đã được sử dụng để khám phá các kiến trúc cho phân đoạn ngữ nghĩa, bao gồm việc gán nhãn cho mỗi pixel trong một hình ảnh.
• Xử lý ngôn ngữ tự nhiên (NLP): NAS đã được sử dụng để thiết kế các kiến trúc cho các tác vụ NLP khác nhau, chẳng hạn như dịch máy, phân loại văn bản và mô hình hóa ngôn ngữ. Ví dụ, nó đã được sử dụng để tối ưu hóa kiến trúc của các mạng nơ-ron hồi quy và transformer.
• Nhận dạng giọng nói: NAS đã được áp dụng cho các tác vụ nhận dạng giọng nói, nơi nó đã được sử dụng để thiết kế các mô hình âm học chính xác và hiệu quả hơn.
• Robot: NAS có thể được sử dụng để tối ưu hóa các chính sách điều khiển của robot, cho phép robot học các tác vụ phức tạp hiệu quả hơn.
• Khám phá thuốc: NAS có tiềm năng được sử dụng trong khám phá thuốc để thiết kế các phân tử có các đặc tính mong muốn. Ví dụ, nó có thể được sử dụng để tối ưu hóa cấu trúc của các phân tử nhằm cải thiện ái lực liên kết của chúng với một protein mục tiêu.

Định hướng Tương lai của NAS

Lĩnh vực NAS đang phát triển nhanh chóng, với một số hướng nghiên cứu hứa hẹn:

• NAS hiệu quả: Phát triển các thuật toán NAS hiệu quả hơn, đòi hỏi ít tài nguyên tính toán và thời gian hơn. Điều này bao gồm các kỹ thuật như chia sẻ trọng số, đánh giá độ trung thực thấp và dự đoán hiệu suất.
• NAS có khả năng chuyển giao: Thiết kế các thuật toán NAS có thể khám phá các kiến trúc có khả năng tổng quát hóa tốt cho các bộ dữ liệu và tác vụ khác. Điều này bao gồm các kỹ thuật như học meta (meta-learning) và thích ứng miền (domain adaptation).
• NAS có thể diễn giải: Phát triển các thuật toán NAS tạo ra các kiến trúc dễ diễn giải và dễ hiểu hơn. Điều này bao gồm các kỹ thuật như trực quan hóa và AI có thể giải thích (explainable AI).
• NAS cho các thiết bị tài nguyên hạn chế: Phát triển các thuật toán NAS có thể thiết kế các kiến trúc phù hợp để triển khai trên các thiết bị tài nguyên hạn chế, chẳng hạn như điện thoại di động và hệ thống nhúng. Điều này bao gồm các kỹ thuật như lượng tử hóa mạng và cắt tỉa (pruning).
• NAS cho phần cứng cụ thể: Tối ưu hóa các kiến trúc mạng nơ-ron để tận dụng các kiến trúc phần cứng cụ thể, chẳng hạn như GPU, TPU và FPGA.
• Kết hợp NAS với các kỹ thuật AutoML khác: Tích hợp NAS với các kỹ thuật AutoML khác, chẳng hạn như tối ưu hóa siêu tham số và kỹ thuật đặc trưng, để tạo ra các quy trình học máy tự động toàn diện hơn.
• Thiết kế không gian tìm kiếm tự động: Phát triển các kỹ thuật để tự động thiết kế chính không gian tìm kiếm. Điều này có thể bao gồm việc học các loại lớp, mẫu kết nối và siêu tham số tối ưu để đưa vào không gian tìm kiếm.
• NAS ngoài học có giám sát: Mở rộng NAS sang các mô hình học tập khác, chẳng hạn như học không giám sát, học tăng cường và học tự giám sát.

Tác động Toàn cầu và Cân nhắc về Đạo đức

Những tiến bộ trong NAS có tác động toàn cầu đáng kể, mang lại tiềm năng dân chủ hóa học sâu và giúp nó có thể tiếp cận được với nhiều đối tượng hơn. Tuy nhiên, điều quan trọng là phải xem xét các tác động đạo đức của việc thiết kế mô hình tự động:

• Khuếch đại thiên vị: Các thuật toán NAS có thể vô tình khuếch đại các thiên vị có trong dữ liệu huấn luyện, dẫn đến các kết quả phân biệt đối xử. Điều quan trọng là phải đảm bảo rằng dữ liệu huấn luyện mang tính đại diện và không thiên vị.
• Thiếu minh bạch: Các kiến trúc phức tạp được khám phá bởi NAS có thể khó diễn giải, gây khó khăn trong việc hiểu cách chúng đưa ra quyết định. Sự thiếu minh bạch này có thể làm dấy lên những lo ngại về trách nhiệm giải trình và sự công bằng.
• Mất việc làm: Việc tự động hóa thiết kế mô hình có thể dẫn đến mất việc làm cho các nhà khoa học dữ liệu và kỹ sư học máy. Điều quan trọng là phải xem xét các tác động kinh tế và xã hội của tự động hóa và đầu tư vào các chương trình đào tạo lại và nâng cao kỹ năng.
• Tác động môi trường: Chi phí tính toán của NAS có thể góp phần vào lượng khí thải carbon. Điều quan trọng là phải phát triển các thuật toán NAS tiết kiệm năng lượng hơn và sử dụng các nguồn năng lượng tái tạo để cung cấp năng lượng cho quá trình huấn luyện.

Giải quyết những cân nhắc về đạo đức này là điều cần thiết để đảm bảo rằng NAS được sử dụng một cách có trách nhiệm và vì lợi ích của tất cả mọi người.

Ví dụ Thực tế: Phân loại Hình ảnh với Mô hình do NAS tạo ra

Hãy xem xét một kịch bản trong đó một tổ chức phi chính phủ nhỏ ở một quốc gia đang phát triển muốn cải thiện dự báo năng suất cây trồng bằng hình ảnh vệ tinh. Họ thiếu nguồn lực để thuê các kỹ sư học sâu có kinh nghiệm. Bằng cách sử dụng một nền tảng AutoML dựa trên đám mây tích hợp NAS, họ có thể:

1. Tải lên bộ dữ liệu đã được gán nhãn của họ: Bộ dữ liệu bao gồm các hình ảnh vệ tinh của đất nông nghiệp, được gán nhãn với năng suất cây trồng tương ứng.
2. Xác định vấn đề: Chỉ định rằng họ muốn thực hiện phân loại hình ảnh để dự đoán năng suất (ví dụ: "năng suất cao", "năng suất trung bình", "năng suất thấp").
3. Để NAS thực hiện công việc: Nền tảng AutoML tận dụng NAS để tự động khám phá các kiến trúc mạng nơ-ron khác nhau được tối ưu hóa cho bộ dữ liệu và vấn đề cụ thể của họ.
4. Triển khai mô hình tốt nhất: Sau quá trình tìm kiếm, nền tảng cung cấp mô hình do NAS tạo ra hoạt động tốt nhất, sẵn sàng để triển khai. Tổ chức phi chính phủ sau đó có thể sử dụng mô hình này để dự đoán năng suất cây trồng ở các khu vực mới, giúp nông dân tối ưu hóa các phương pháp canh tác và cải thiện an ninh lương thực.

Ví dụ này nêu bật cách NAS có thể trao quyền cho các tổ chức có nguồn lực hạn chế để tận dụng sức mạnh của học sâu.

Kết luận

Tìm kiếm Kiến trúc Nơ-ron (NAS) là một kỹ thuật AutoML mạnh mẽ giúp tự động hóa việc thiết kế các mô hình học sâu. Bằng cách khám phá một cách có hệ thống không gian thiết kế của các kiến trúc khả thi, các thuật toán NAS có thể khám phá các mô hình hiệu suất cao vượt trội hơn các mô hình được thiết kế thủ công. Mặc dù NAS phải đối mặt với những thách thức liên quan đến chi phí tính toán, khả năng tổng quát hóa và khả năng diễn giải, nghiên cứu đang diễn ra đang giải quyết những hạn chế này và mở đường cho các thuật toán NAS hiệu quả hơn, có khả năng chuyển giao và dễ diễn giải hơn. Khi lĩnh vực này tiếp tục phát triển, NAS được dự đoán sẽ đóng một vai trò ngày càng quan trọng trong việc dân chủ hóa học sâu và cho phép ứng dụng của nó vào một loạt các tác vụ và lĩnh vực, mang lại lợi ích cho các cá nhân và tổ chức trên toàn cầu. Điều quan trọng là phải xem xét các tác động đạo đức cùng với những tiến bộ công nghệ để đảm bảo sự đổi mới và triển khai có trách nhiệm các công cụ mạnh mẽ này.