ஆட்டோஎம்எல்: தானியங்கு மாடல் தேர்வுக்கான ஒரு விரிவான வழிகாட்டி

இன்றைய தரவுகளால் இயங்கும் உலகில், இயந்திர கற்றல் (ML) பல்வேறு தொழில்களில் உள்ள வணிகங்களுக்கு ஒரு இன்றியமையாத கருவியாக மாறியுள்ளது. இருப்பினும், பயனுள்ள ML மாடல்களை உருவாக்குவதற்கும் பயன்படுத்துவதற்கும் பெரும்பாலும் குறிப்பிடத்தக்க நிபுணத்துவம், நேரம் மற்றும் வளங்கள் தேவைப்படுகின்றன. இங்குதான் தானியங்கு இயந்திர கற்றல் (AutoML) வருகிறது. AutoML, ML மாடல்களை உருவாக்குதல் மற்றும் பயன்படுத்துதலின் முழு செயல்முறையையும் தானியக்கமாக்குவதன் மூலம் ML-ஐ ஜனநாயகப்படுத்த முயல்கிறது, இதன் மூலம் விரிவான ML நிபுணத்துவம் இல்லாதவர்கள் உட்பட பரந்த பார்வையாளர்களுக்கு இது அணுகக்கூடியதாகிறது.

இந்த விரிவான வழிகாட்டி AutoML-இன் முக்கிய கூறுகளில் ஒன்றான தானியங்கு மாடல் தேர்வில் கவனம் செலுத்துகிறது. AutoML-இன் இந்த முக்கியமான அம்சத்துடன் தொடர்புடைய கருத்துக்கள், நுட்பங்கள், நன்மைகள் மற்றும் சவால்களை நாங்கள் ஆராய்வோம்.

தானியங்கு மாடல் தேர்வு என்றால் என்ன?

தானியங்கு மாடல் தேர்வு என்பது ஒரு கொடுக்கப்பட்ட தரவுத்தொகுப்பு மற்றும் பணிக்காக, பல மாடல் தேர்வுகளிலிருந்து சிறந்த செயல்திறன் கொண்ட ML மாடலை தானாகவே அடையாளம் காணும் செயல்முறையாகும். இது வெவ்வேறு மாடல் கட்டமைப்புகள், அல்காரிதம்கள் மற்றும் அவற்றின் தொடர்புடைய ஹைப்பர்பராமீட்டர்களை ஆராய்ந்து, சரிபார்ப்பு தரவுத்தொகுப்பில் முன்வரையறுக்கப்பட்ட செயல்திறன் அளவீட்டை (எ.கா., துல்லியம், துல்லியம், ரீகால், F1-ஸ்கோர், AUC) அதிகரிக்கும் உகந்த உள்ளமைவைக் கண்டறிவதை உள்ளடக்கியது. பாரம்பரிய மாடல் தேர்வைப் போலல்லாமல், இது கைமுறை பரிசோதனை மற்றும் நிபுணர் அறிவை பெரிதும் நம்பியுள்ளது, தானியங்கு மாடல் தேர்வு அல்காரிதம்கள் மற்றும் நுட்பங்களைப் பயன்படுத்தி மாடல் வெளியைத் திறமையாகத் தேடி, நம்பிக்கைக்குரிய மாடல்களை அடையாளம் காட்டுகிறது.

இதை இப்படி நினைத்துப் பாருங்கள்: ஒரு குறிப்பிட்ட மரவேலைத் திட்டத்திற்கு சிறந்த கருவியைத் தேர்ந்தெடுக்க வேண்டும் என்று கற்பனை செய்து கொள்ளுங்கள். உங்களிடம் வெவ்வேறு ரம்பங்கள், உளி மற்றும் தளவாடங்கள் நிறைந்த ஒரு கருவிப்பெட்டி உள்ளது. தானியங்கு மாடல் தேர்வு என்பது உங்கள் திட்டத்தில் ஒவ்வொரு கருவியையும் தானாகவே சோதித்து, முடிவின் தரத்தை அளந்து, பின்னர் வேலைக்கு சிறந்த கருவியைப் பரிந்துரைக்கும் ஒரு அமைப்பைக் கொண்டிருப்பது போன்றது. இது ஒவ்வொரு கருவியையும் கைமுறையாக முயற்சி செய்து எது சிறப்பாகச் செயல்படுகிறது என்பதைக் கண்டறியும் நேரத்தையும் முயற்சியையும் மிச்சப்படுத்துகிறது.

தானியங்கு மாடல் தேர்வு ஏன் முக்கியமானது?

தானியங்கு மாடல் தேர்வு பல குறிப்பிடத்தக்க நன்மைகளை வழங்குகிறது:

• அதிகரித்த செயல்திறன்: வெவ்வேறு மாடல்கள் மற்றும் ஹைப்பர்பராமீட்டர்களுடன் கைமுறையாக பரிசோதனை செய்யும் நேரத்தை எடுத்துக்கொள்ளும் மற்றும் மீண்டும் மீண்டும் செய்யும் செயல்முறையை தானியக்கமாக்குகிறது. இது தரவு விஞ்ஞானிகளை ML பைப்லைனின் மற்ற முக்கிய அம்சங்களில், அதாவது தரவு தயாரித்தல் மற்றும் ஃபீச்சர் இன்ஜினியரிங் போன்றவற்றில் கவனம் செலுத்த அனுமதிக்கிறது.
• மேம்பட்ட செயல்திறன்: ஒரு பரந்த மாடல் வெளியை முறையாக ஆராய்வதன் மூலம், அனுபவம் வாய்ந்த தரவு விஞ்ஞானிகளால் கைமுறையாக தேர்ந்தெடுக்கப்பட்ட மாடல்களை விட சிறந்த செயல்திறன் கொண்ட மாடல்களை தானியங்கு மாடல் தேர்வு பெரும்பாலும் அடையாளம் காண முடியும். இது சிறந்த முடிவுகளுக்கு வழிவகுக்கும் தெளிவற்ற மாடல் சேர்க்கைகள் மற்றும் ஹைப்பர்பராமீட்டர் அமைப்புகளை வெளிக்கொணர முடியும்.
• குறைக்கப்பட்ட சார்பு: கைமுறை மாடல் தேர்வு தரவு விஞ்ஞானியின் தனிப்பட்ட சார்புகள் மற்றும் விருப்பங்களால் பாதிக்கப்படலாம். தானியங்கு மாடல் தேர்வு முன்வரையறுக்கப்பட்ட செயல்திறன் அளவீடுகளின் அடிப்படையில் மாடல்களை புறநிலையாக மதிப்பீடு செய்வதன் மூலம் இந்த சார்பைக் குறைக்கிறது.
• ML-இன் ஜனநாயகம்: தானியங்கு மாடல் தேர்வு உட்பட AutoML, வரையறுக்கப்பட்ட ML நிபுணத்துவம் கொண்ட தனிநபர்கள் மற்றும் நிறுவனங்களுக்கு ML-ஐ அணுகக்கூடியதாக ஆக்குகிறது. இது குடிமக்கள் தரவு விஞ்ஞானிகள் மற்றும் கள நிபுணர்களுக்கு பற்றாக்குறையான மற்றும் விலையுயர்ந்த ML நிபுணர்களை நம்பாமல் ML-இன் ஆற்றலைப் பயன்படுத்த அதிகாரம் அளிக்கிறது.
• சந்தைக்கு விரைவான நேரம்: ஆட்டோமேஷன் மாடல் மேம்பாட்டு வாழ்க்கைச் சுழற்சியை வேகப்படுத்துகிறது, நிறுவனங்கள் ML தீர்வுகளை விரைவாகப் பயன்படுத்தவும் போட்டி நன்மையைப் பெறவும் உதவுகிறது.

தானியங்கு மாடல் தேர்வில் உள்ள முக்கிய நுட்பங்கள்

மாடல் வெளியைத் திறமையாகத் தேடவும், சிறந்த செயல்திறன் கொண்ட மாடல்களை அடையாளம் காணவும் தானியங்கு மாடல் தேர்வில் பல நுட்பங்கள் பயன்படுத்தப்படுகின்றன. இவற்றில் அடங்குவன:

1. ஹைப்பர்பராமீட்டர் தேர்வுமுறை

ஹைப்பர்பராமீட்டர் தேர்வுமுறை என்பது ஒரு கொடுக்கப்பட்ட ML மாடலுக்கான உகந்த ஹைப்பர்பராமீட்டர்களின் தொகுப்பைக் கண்டறியும் செயல்முறையாகும். ஹைப்பர்பராமீட்டர்கள் தரவுகளிலிருந்து கற்றுக்கொள்ளப்படாத, ஆனால் மாடலைப் பயிற்றுவிப்பதற்கு முன் அமைக்கப்படும் அளவுருக்கள் ஆகும். ஹைப்பர்பராமீட்டர்களின் எடுத்துக்காட்டுகளில் நியூரல் நெட்வொர்க்கில் கற்றல் விகிதம், ரேண்டம் ஃபாரஸ்டில் மரங்களின் எண்ணிக்கை மற்றும் சப்போர்ட் வெக்டார் மெஷினில் ஒழுங்குமுறைப்படுத்தல் வலிமை ஆகியவை அடங்கும்.

ஹைப்பர்பராமீட்டர் தேர்வுமுறைக்கு பல அல்காரிதம்கள் பயன்படுத்தப்படுகின்றன, அவற்றுள்:

• கிரிட் தேடல் (Grid Search): முன்வரையறுக்கப்பட்ட ஹைப்பர்பராமீட்டர் மதிப்புகளின் கட்டத்தை முழுமையாகத் தேடுகிறது. செயல்படுத்த எளிதானது என்றாலும், உயர்-பரிமாண ஹைப்பர்பராமீட்டர் வெளிகளுக்கு இது கணினி ரீதியாக செலவாகும்.
• சீரற்ற தேடல் (Random Search): முன்வரையறுக்கப்பட்ட விநியோகங்களிலிருந்து ஹைப்பர்பராமீட்டர் மதிப்புகளை சீரற்ற முறையில் மாதிரியாக எடுக்கிறது. பெரும்பாலும் கிரிட் தேடலை விட திறமையானது, குறிப்பாக உயர்-பரிமாண வெளிகளுக்கு.
• பேசியன் தேர்வுமுறை (Bayesian Optimization): புறநிலைச் சார்பின் (எ.கா., சரிபார்ப்பு துல்லியம்) ஒரு நிகழ்தகவு மாதிரியைக் கட்டமைத்து, மதிப்பீடு செய்ய அடுத்த ஹைப்பர்பராமீட்டர் மதிப்புகளை புத்திசாலித்தனமாகத் தேர்ந்தெடுக்க அதைப் பயன்படுத்துகிறது. பொதுவாக கிரிட் தேடல் மற்றும் சீரற்ற தேடலை விட திறமையானது, குறிப்பாக விலையுயர்ந்த புறநிலைச் சார்புகளுக்கு. எடுத்துக்காட்டுகளில் காஸியன் செயல்முறைகள் மற்றும் மர-கட்டமைக்கப்பட்ட பார்சன் மதிப்பீட்டாளர் (TPE) ஆகியவை அடங்கும்.
• பரிணாம அல்காரிதம்கள் (Evolutionary Algorithms): உயிரியல் பரிணாமத்தால் ஈர்க்கப்பட்ட இந்த அல்காரிதம்கள், வேட்பாளர் தீர்வுகளின் (அதாவது, ஹைப்பர்பராமீட்டர் உள்ளமைவுகள்) ஒரு தொகுப்பை பராமரித்து, தேர்வு, குறுக்குவெட்டு மற்றும் மாற்றம் மூலம் அவற்றை மீண்டும் மீண்டும் மேம்படுத்துகின்றன. எடுத்துக்காட்டு: மரபணு அல்காரிதம்கள்.

எடுத்துக்காட்டு: படங்களை வகைப்படுத்த ஒரு சப்போர்ட் வெக்டார் மெஷினை (SVM) பயிற்றுவிப்பதாகக் கருதுங்கள். தேர்வுமுறை செய்யப்பட வேண்டிய ஹைப்பர்பராமீட்டர்களில் கர்னல் வகை (லீனியர், ரேடியல் பேசிஸ் ஃபங்ஷன் (RBF), பாலினோமியல்), ஒழுங்குமுறைப்படுத்தல் அளவுரு C மற்றும் கர்னல் குணகம் காமா ஆகியவை அடங்கும். பேசியன் தேர்வுமுறையைப் பயன்படுத்தி, ஒரு AutoML அமைப்பு இந்த ஹைப்பர்பராமீட்டர்களின் சேர்க்கைகளை புத்திசாலித்தனமாக மாதிரியாக எடுத்து, அந்த அமைப்புகளுடன் ஒரு SVM-ஐப் பயிற்றுவித்து, ஒரு சரிபார்ப்புத் தொகுப்பில் அதன் செயல்திறனை மதிப்பீடு செய்து, பின்னர் அடுத்த ஹைப்பர்பராமீட்டர் சேர்க்கையைத் தேர்ந்தெடுப்பதற்கு வழிகாட்ட அந்த முடிவுகளைப் பயன்படுத்தும். உகந்த செயல்திறன் கொண்ட ஒரு ஹைப்பர்பராமீட்டர் உள்ளமைவு கண்டுபிடிக்கப்படும் வரை இந்த செயல்முறை தொடர்கிறது.

2. நியூரல் ஆர்க்கிடெக்சர் தேடல் (NAS)

நியூரல் ஆர்க்கிடெக்சர் தேடல் (NAS) என்பது நியூரல் நெட்வொர்க் கட்டமைப்புகளை தானாகவே வடிவமைக்கும் ஒரு நுட்பமாகும். கட்டமைப்பை கைமுறையாக வடிவமைப்பதற்குப் பதிலாக, NAS அல்காரிதம்கள் வெவ்வேறு அடுக்குகள், இணைப்புகள் மற்றும் செயல்பாடுகளின் சேர்க்கைகளை ஆராய்வதன் மூலம் உகந்த கட்டமைப்பைத் தேடுகின்றன. NAS பெரும்பாலும் குறிப்பிட்ட பணிகள் மற்றும் தரவுத்தொகுப்புகளுக்கு ஏற்றவாறு கட்டமைப்புகளைக் கண்டறியப் பயன்படுகிறது.

NAS அல்காரிதம்களை மூன்று வகைகளாகப் பிரிக்கலாம்:

• வலுவூட்டல் கற்றல் அடிப்படையிலான NAS: நியூரல் நெட்வொர்க் கட்டமைப்புகளை உருவாக்க ஒரு ஏஜெண்டைப் பயிற்றுவிக்க வலுவூட்டல் கற்றலைப் பயன்படுத்துகிறது. உருவாக்கப்பட்ட கட்டமைப்பின் செயல்திறனின் அடிப்படையில் ஏஜென்ட் ஒரு வெகுமதியைப் பெறுகிறது.
• பரிணாம அல்காரிதம் அடிப்படையிலான NAS: நியூரல் நெட்வொர்க் கட்டமைப்புகளின் ஒரு தொகுப்பைப் பரிணமிக்க பரிணாம அல்காரிதம்களைப் பயன்படுத்துகிறது. கட்டமைப்புகள் அவற்றின் செயல்திறனின் அடிப்படையில் மதிப்பீடு செய்யப்படுகின்றன, மேலும் சிறந்த செயல்திறன் கொண்ட கட்டமைப்புகள் அடுத்த தலைமுறைக்கான பெற்றோர்களாகத் தேர்ந்தெடுக்கப்படுகின்றன.
• கிரேடியன்ட் அடிப்படையிலான NAS: நியூரல் நெட்வொர்க்கின் கட்டமைப்பை நேரடியாக தேர்வுமுறை செய்ய கிரேடியன்ட் டெசென்டைப் பயன்படுத்துகிறது. இந்த அணுகுமுறை பொதுவாக வலுவூட்டல் கற்றல் அடிப்படையிலான மற்றும் பரிணாம அல்காரிதம் அடிப்படையிலான NAS-ஐ விட திறமையானது.

எடுத்துக்காட்டு: கூகிளின் ஆட்டோஎம்எல் விஷன், பட அங்கீகாரப் பணிகளுக்காக உகந்ததாக்கப்பட்ட தனிப்பயன் நியூரல் நெட்வொர்க் கட்டமைப்புகளைக் கண்டறிய NAS-ஐப் பயன்படுத்துகிறது. இந்த கட்டமைப்புகள் பெரும்பாலும் குறிப்பிட்ட தரவுத்தொகுப்புகளில் கைமுறையாக வடிவமைக்கப்பட்ட கட்டமைப்புகளை விட சிறப்பாக செயல்படுகின்றன.

3. மெட்டா-லேர்னிங்

மெட்டா-லேர்னிங், "கற்க கற்றுக்கொள்வது" என்றும் அழைக்கப்படுகிறது, இது ML மாடல்களை முந்தைய அனுபவங்களிலிருந்து கற்றுக்கொள்ள உதவும் ஒரு நுட்பமாகும். தானியங்கு மாடல் தேர்வின் பின்னணியில், முந்தைய மாடல் தேர்வுப் பணிகளிலிருந்து பெறப்பட்ட அறிவைப் பயன்படுத்தி ஒரு புதிய பணிக்கான சிறந்த மாடலைத் தேடுவதை விரைவுபடுத்த மெட்டா-லேர்னிங் பயன்படுத்தப்படலாம். எடுத்துக்காட்டாக, ஒரு மெட்டா-லேர்னிங் அமைப்பு, குறிப்பிட்ட குணாதிசயங்களைக் கொண்ட தரவுத்தொகுப்புகளில் (எ.கா., உயர் பரிமாணம், சமநிலையற்ற வகுப்புகள்) சில வகை மாடல்கள் சிறப்பாக செயல்பட முனைகின்றன என்பதைக் கற்றுக்கொள்ளலாம்.

மெட்டா-லேர்னிங் அணுகுமுறைகள் பொதுவாக தரவுத்தொகுப்பின் குணாதிசயங்களின் அடிப்படையில் வெவ்வேறு மாடல்களின் செயல்திறனைக் கணிக்கும் ஒரு மெட்டா-மாடலை உருவாக்குவதை உள்ளடக்கியது. இந்த மெட்டா-மாடல் பின்னர் ஒரு புதிய தரவுத்தொகுப்பிற்கான சிறந்த மாடலைத் தேடுவதற்கு வழிகாட்டப் பயன்படலாம், சிறப்பாக செயல்படும் என்று கணிக்கப்பட்ட மாடல்களுக்கு முன்னுரிமை அளிப்பதன் மூலம்.

எடுத்துக்காட்டு: நூற்றுக்கணக்கான வெவ்வேறு தரவுத்தொகுப்புகளில் மாடல்களைப் பயிற்றுவிக்கப் பயன்படுத்தப்பட்ட ஒரு AutoML அமைப்பைக் கற்பனை செய்து பாருங்கள். மெட்டா-லேர்னிங்கைப் பயன்படுத்தி, அந்த அமைப்பு வகைப்படுத்தப்பட்ட அம்சங்களைக் கொண்ட தரவுத்தொகுப்புகளில் டெசிஷன் ட்ரீஸ் சிறப்பாக செயல்பட முனைகிறது என்பதையும், எண் அம்சங்களைக் கொண்ட தரவுத்தொகுப்புகளில் நியூரல் நெட்வொர்க்குகள் சிறப்பாக செயல்பட முனைகிறது என்பதையும் கற்றுக்கொள்ளலாம். ஒரு புதிய தரவுத்தொகுப்புடன் வழங்கப்படும்போது, அமைப்பு இந்த அறிவைப் பயன்படுத்தி தரவுத்தொகுப்பின் குணாதிசயங்களின் அடிப்படையில் டெசிஷன் ட்ரீஸ் அல்லது நியூரல் நெட்வொர்க்குகளுக்கு முன்னுரிமை அளிக்க முடியும்.

4. என்செம்பிள் முறைகள்

என்செம்பிள் முறைகள் பல ML மாடல்களை இணைத்து ஒற்றை, மிகவும் வலுவான மாடலை உருவாக்குகின்றன. தானியங்கு மாடல் தேர்வில், தேடல் செயல்பாட்டின் போது அடையாளம் காணப்பட்ட பல நம்பிக்கைக்குரிய மாடல்களின் கணிப்புகளை இணைக்க என்செம்பிள் முறைகளைப் பயன்படுத்தலாம். இது பெரும்பாலும் மேம்பட்ட செயல்திறன் மற்றும் பொதுமைப்படுத்தல் திறனுக்கு வழிவகுக்கும்.

பொதுவான என்செம்பிள் முறைகள் பின்வருமாறு:

• பேக்கிங் (Bagging): பயிற்சித் தரவின் வெவ்வேறு துணைத் தொகுப்புகளில் பல மாடல்களைப் பயிற்றுவித்து அவற்றின் கணிப்புகளை சராசரியாகக் கணக்கிடுகிறது.
• பூஸ்டிங் (Boosting): மாடல்களை வரிசையாகப் பயிற்றுவிக்கிறது, ஒவ்வொரு மாடலும் முந்தைய மாடல்களால் செய்யப்பட்ட பிழைகளை சரிசெய்வதில் கவனம் செலுத்துகிறது.
• ஸ்டாக்கிங் (Stacking): பல அடிப்படை மாடல்களின் கணிப்புகளை இணைக்கும் ஒரு மெட்டா-மாடலைப் பயிற்றுவிக்கிறது.

எடுத்துக்காட்டு: ஒரு AutoML அமைப்பு மூன்று நம்பிக்கைக்குரிய மாடல்களை அடையாளம் காணலாம்: ஒரு ரேண்டம் ஃபாரஸ்ட், ஒரு கிரேடியன்ட் பூஸ்டிங் மெஷின், மற்றும் ஒரு நியூரல் நெட்வொர்க். ஸ்டாக்கிங்கைப் பயன்படுத்தி, இந்த மூன்று மாடல்களின் கணிப்புகளை இணைக்க ஒரு லாஜிஸ்டிக் ரிக்ரஷன் மாடலைப் பயிற்றுவிக்க முடியும். இதன் விளைவாக வரும் ஸ்டாக்டு மாடல் எந்தவொரு தனிப்பட்ட மாடலையும் விட சிறப்பாக செயல்படும்.

தானியங்கு மாடல் தேர்வு பணிப்பாய்வு

தானியங்கு மாடல் தேர்வுக்கான வழக்கமான பணிப்பாய்வு பின்வரும் படிகளை உள்ளடக்கியது:

1. தரவு முன்செயலாக்கம்: மாடல் பயிற்சிக்காக தரவை சுத்தம் செய்து தயார் செய்தல். இதில் விடுபட்ட மதிப்புகளைக் கையாளுதல், வகைப்படுத்தப்பட்ட அம்சங்களை குறியீடாக்குதல் மற்றும் எண் அம்சங்களை அளவிடுதல் ஆகியவை அடங்கும்.
2. ஃபீச்சர் இன்ஜினியரிங்: தரவிலிருந்து தொடர்புடைய அம்சங்களைப் பிரித்தெடுத்து மாற்றுதல். இதில் புதிய அம்சங்களை உருவாக்குதல், மிக முக்கியமான அம்சங்களைத் தேர்ந்தெடுத்தல் மற்றும் தரவின் பரிமாணத்தைக் குறைத்தல் ஆகியவை அடங்கும்.
3. மாடல் வெளி வரையறை: கருத்தில் கொள்ள வேண்டிய வேட்பாளர் மாடல்களின் தொகுப்பை வரையறுத்தல். இதில் பயன்படுத்தப்பட வேண்டிய மாடல்களின் வகைகளைக் குறிப்பிடுதல் (எ.கா., லீனியர் மாடல்கள், மரம் சார்ந்த மாடல்கள், நியூரல் நெட்வொர்க்குகள்) மற்றும் ஒவ்வொரு மாடலுக்கும் ஆராயப்பட வேண்டிய ஹைப்பர்பராமீட்டர்களின் வரம்பைக் குறிப்பிடுதல் ஆகியவை அடங்கும்.
4. தேடல் உத்தி தேர்வு: மாடல் வெளியை ஆராய்வதற்கான பொருத்தமான தேடல் உத்தியைத் தேர்ந்தெடுத்தல். இதில் ஹைப்பர்பராமீட்டர் தேர்வுமுறை நுட்பங்கள், நியூரல் ஆர்க்கிடெக்சர் தேடல் அல்காரிதம்கள் அல்லது மெட்டா-லேர்னிங் அணுகுமுறைகளைப் பயன்படுத்துதல் ஆகியவை அடங்கும்.
5. மாடல் மதிப்பீடு: சரிபார்ப்பு தரவுத்தொகுப்பில் ஒவ்வொரு வேட்பாளர் மாடலின் செயல்திறனை மதிப்பீடு செய்தல். இதில் துல்லியம், துல்லியம், ரீகால், F1-ஸ்கோர், AUC அல்லது பிற பணி சார்ந்த அளவீடுகளைப் பயன்படுத்துதல் ஆகியவை அடங்கும்.
6. மாடல் தேர்வு: சரிபார்ப்பு தரவுத்தொகுப்பில் அதன் செயல்திறனின் அடிப்படையில் சிறந்த செயல்திறன் கொண்ட மாடலைத் தேர்ந்தெடுத்தல்.
7. மாடல் வரிசைப்படுத்தல்: தேர்ந்தெடுக்கப்பட்ட மாடலை ஒரு உற்பத்தி சூழலில் வரிசைப்படுத்துதல்.
8. மாடல் கண்காணிப்பு: வரிசைப்படுத்தப்பட்ட மாடலின் செயல்திறனை காலப்போக்கில் கண்காணித்து, அதன் துல்லியத்தை பராமரிக்க தேவைப்படும்போது மாடலை மீண்டும் பயிற்றுவித்தல்.

தானியங்கு மாடல் தேர்வுக்கான கருவிகள் மற்றும் தளங்கள்

தானியங்கு மாடல் தேர்வுக்காக பல கருவிகள் மற்றும் தளங்கள் உள்ளன, திறந்த மூல மற்றும் வணிக ரீதியானவை. இங்கே சில பிரபலமான விருப்பங்கள் உள்ளன:

• ஆட்டோ-எஸ்கேலேர்ன் (Auto-sklearn): scikit-learn மீது கட்டமைக்கப்பட்ட ஒரு திறந்த மூல AutoML நூலகம். இது பேசியன் தேர்வுமுறை மற்றும் மெட்டா-லேர்னிங்கைப் பயன்படுத்தி சிறந்த செயல்திறன் கொண்ட மாடல் மற்றும் ஹைப்பர்பராமீட்டர்களை தானாகவே தேடுகிறது.
• TPOT (Tree-based Pipeline Optimization Tool): ML பைப்லைன்களை தேர்வுமுறை செய்ய மரபணு நிரலாக்கத்தைப் பயன்படுத்தும் ஒரு திறந்த மூல AutoML நூலகம்.
• H2O AutoML: பரந்த அளவிலான ML அல்காரிதம்களை ஆதரிக்கும் மற்றும் ML மாடல்களை உருவாக்குவதற்கும் வரிசைப்படுத்துவதற்கும் பயனர் நட்பு இடைமுகத்தை வழங்கும் ஒரு திறந்த மூல AutoML தளம்.
• கூகிள் கிளவுட் ஆட்டோஎம்எல் (Google Cloud AutoML): எந்தவொரு குறியீட்டையும் எழுதாமல் தனிப்பயன் ML மாடல்களை உருவாக்க பயனர்களை அனுமதிக்கும் கிளவுட் அடிப்படையிலான AutoML சேவைகளின் தொகுப்பு.
• மைக்ரோசாப்ட் அஸூர் மெஷின் லேர்னிங் (Microsoft Azure Machine Learning): தானியங்கு மாடல் தேர்வு மற்றும் ஹைப்பர்பராமீட்டர் தேர்வுமுறை உள்ளிட்ட AutoML திறன்களை வழங்கும் ஒரு கிளவுட் அடிப்படையிலான ML தளம்.
• அமேசான் சேஜ்மேக்கர் ஆட்டோபைலட் (Amazon SageMaker Autopilot): ML மாடல்களை தானாகவே உருவாக்கி, பயிற்றுவித்து, சரிசெய்யும் ஒரு கிளவுட் அடிப்படையிலான AutoML சேவை.

தானியங்கு மாடல் தேர்வில் உள்ள சவால்கள் மற்றும் பரிசீலனைகள்

தானியங்கு மாடல் தேர்வு பல நன்மைகளை வழங்கினாலும், இது பல சவால்களையும் பரிசீலனைகளையும் முன்வைக்கிறது:

• கணினி செலவு: ஒரு பரந்த மாடல் வெளியைத் தேடுவது கணினி ரீதியாக செலவாகும், குறிப்பாக சிக்கலான மாடல்கள் மற்றும் பெரிய தரவுத்தொகுப்புகளுக்கு.
• ஓவர்ஃபிட்டிங் (Overfitting): தானியங்கு மாடல் தேர்வு அல்காரிதம்கள் சில நேரங்களில் சரிபார்ப்பு தரவுத்தொகுப்பிற்கு ஓவர்ஃபிட் ஆகலாம், இது காணப்படாத தரவுகளில் மோசமான பொதுமைப்படுத்தல் செயல்திறனுக்கு வழிவகுக்கும். குறுக்கு-சரிபார்ப்பு மற்றும் ஒழுங்குமுறைப்படுத்தல் போன்ற நுட்பங்கள் இந்த அபாயத்தைக் குறைக்க உதவும்.
• விளக்கத்தன்மை (Interpretability): தானியங்கு மாடல் தேர்வு அல்காரிதம்களால் தேர்ந்தெடுக்கப்பட்ட மாடல்களை சில நேரங்களில் விளக்குவது கடினமாக இருக்கும், இது அவை ஏன் சில கணிப்புகளைச் செய்கின்றன என்பதைப் புரிந்துகொள்வதை சவாலாக ஆக்குகிறது. விளக்கத்தன்மை முக்கியமான பயன்பாடுகளில் இது ஒரு கவலையாக இருக்கலாம்.
• தரவுக் கசிவு (Data Leakage): மாடல் தேர்வு செயல்பாட்டின் போது தரவுக் கசிவைத் தவிர்ப்பது முக்கியம். இதன் பொருள் சரிபார்ப்பு தரவுத்தொகுப்பு மாடல் தேர்வு செயல்முறையை எந்த வகையிலும் பாதிக்கப் பயன்படுத்தப்படவில்லை என்பதை உறுதி செய்வதாகும்.
• ஃபீச்சர் இன்ஜினியரிங் வரம்புகள்: தற்போதைய AutoML கருவிகள் ஃபீச்சர் இன்ஜினியரிங்கை தானியக்கமாக்குவதில் வரம்புகளைக் கொண்டுள்ளன. சில கருவிகள் தானியங்கு அம்சம் தேர்வு மற்றும் மாற்றத்தை வழங்கினாலும், மிகவும் சிக்கலான ஃபீச்சர் இன்ஜினியரிங் பணிகளுக்கு இன்னும் கைமுறை தலையீடு தேவைப்படலாம்.
• பிளாக் பாக்ஸ் தன்மை (Black Box Nature): சில AutoML அமைப்புகள் "பிளாக் பாக்ஸ்களாக" செயல்படுகின்றன, இது அடிப்படை முடிவெடுக்கும் செயல்முறையைப் புரிந்துகொள்வதை கடினமாக்குகிறது. நம்பிக்கையை வளர்ப்பதற்கும் பொறுப்பான AI-ஐ உறுதி செய்வதற்கும் வெளிப்படைத்தன்மை மற்றும் விளக்கத்தன்மை முக்கியமானவை.
• சமநிலையற்ற தரவுத்தொகுப்புகளைக் கையாளுதல்: பல நிஜ உலக தரவுத்தொகுப்புகள் சமநிலையற்றவை, அதாவது ஒரு வகுப்பில் மற்ற(வை)களை விட கணிசமாகக் குறைவான மாதிரிகள் உள்ளன. AutoML அமைப்புகள் சமநிலையற்ற தரவுத்தொகுப்புகளை திறம்பட கையாள வேண்டும், எடுத்துக்காட்டாக, ஓவர்சாம்பிளிங், அண்டர்சாம்பிளிங் அல்லது செலவு-உணர்திறன் கற்றல் போன்ற நுட்பங்களைப் பயன்படுத்துவதன் மூலம்.

தானியங்கு மாடல் தேர்வைப் பயன்படுத்துவதற்கான சிறந்த நடைமுறைகள்

தானியங்கு மாடல் தேர்வை திறம்பட பயன்படுத்த, பின்வரும் சிறந்த நடைமுறைகளைக் கவனியுங்கள்:

• உங்கள் தரவைப் புரிந்து கொள்ளுங்கள்: தரவு வகைகள், விநியோகங்கள் மற்றும் அம்சங்களுக்கு இடையிலான உறவுகள் உட்பட அதன் குணாதிசயங்களைப் புரிந்துகொள்ள உங்கள் தரவை முழுமையாக பகுப்பாய்வு செய்யுங்கள். இந்த புரிதல் பொருத்தமான மாடல்கள் மற்றும் ஹைப்பர்பராமீட்டர்களைத் தேர்வுசெய்ய உதவும்.
• தெளிவான மதிப்பீட்டு அளவீடுகளை வரையறுக்கவும்: உங்கள் வணிக இலக்குகளுடன் ஒத்துப்போகும் மதிப்பீட்டு அளவீடுகளைத் தேர்வுசெய்க. மாடல் செயல்திறனின் வெவ்வேறு அம்சங்களை மதிப்பிடுவதற்கு பல அளவீடுகளைப் பயன்படுத்துவதைக் கருத்தில் கொள்ளுங்கள்.
• குறுக்கு-சரிபார்ப்பைப் பயன்படுத்தவும்: உங்கள் மாடல்களின் செயல்திறனை மதிப்பிடுவதற்கும் சரிபார்ப்புத் தரவுத்தொகுப்பிற்கு ஓவர்ஃபிட் ஆவதைத் தவிர்ப்பதற்கும் குறுக்கு-சரிபார்ப்பைப் பயன்படுத்தவும்.
• உங்கள் மாடல்களை ஒழுங்குபடுத்துங்கள்: ஓவர்ஃபிட்டிங்கைத் தடுக்கவும் பொதுமைப்படுத்தல் செயல்திறனை மேம்படுத்தவும் ஒழுங்குமுறைப்படுத்தல் நுட்பங்களைப் பயன்படுத்தவும்.
• மாடல் செயல்திறனைக் கண்காணிக்கவும்: உங்கள் வரிசைப்படுத்தப்பட்ட மாடல்களின் செயல்திறனைத் தொடர்ந்து கண்காணித்து, அவற்றின் துல்லியத்தைப் பராமரிக்க தேவைக்கேற்ப அவற்றை மீண்டும் பயிற்றுவிக்கவும்.
• விளக்கக்கூடிய AI (XAI): மாடல் கணிப்புகளின் விளக்கத்தன்மை மற்றும் புரிந்துகொள்ளும் தன்மையை வழங்கும் கருவிகள் மற்றும் நுட்பங்களுக்கு முன்னுரிமை அளியுங்கள்.
• வர்த்தக பரிமாற்றங்களைக் கருத்தில் கொள்ளுங்கள்: வெவ்வேறு மாடல்கள் மற்றும் ஹைப்பர்பராமீட்டர்களுக்கு இடையிலான வர்த்தக பரிமாற்றங்களைப் புரிந்து கொள்ளுங்கள். எடுத்துக்காட்டாக, மிகவும் சிக்கலான மாடல்கள் அதிக துல்லியத்தை வழங்கக்கூடும், ஆனால் விளக்குவதற்கு கடினமாகவும் ஓவர்ஃபிட்டிங்கிற்கு அதிக வாய்ப்புள்ளதாகவும் இருக்கலாம்.
• மனிதன்-சுழற்சியில் அணுகுமுறை (Human-in-the-Loop Approach): தானியங்கு மாடல் தேர்வை மனித நிபுணத்துவத்துடன் இணைக்கவும். நம்பிக்கைக்குரிய மாடல்களை அடையாளம் காண AutoML-ஐப் பயன்படுத்தவும், ஆனால் முடிவுகளை மதிப்பாய்வு செய்யவும், மாடல்களைச் சரிசெய்யவும், அவை பயன்பாட்டின் குறிப்பிட்ட தேவைகளைப் பூர்த்தி செய்வதை உறுதிசெய்யவும் தரவு விஞ்ஞானிகளை ஈடுபடுத்துங்கள்.

தானியங்கு மாடல் தேர்வின் எதிர்காலம்

தானியங்கு மாடல் தேர்வுத் துறை வேகமாக வளர்ந்து வருகிறது, தற்போதைய அணுகுமுறைகளின் சவால்கள் மற்றும் வரம்புகளை நிவர்த்தி செய்வதில் தொடர்ச்சியான ஆராய்ச்சி மற்றும் மேம்பாடு கவனம் செலுத்துகிறது. சில நம்பிக்கைக்குரிய எதிர்கால திசைகள் பின்வருமாறு:

• மிகவும் திறமையான தேடல் அல்காரிதம்கள்: மாடல் வெளியை விரைவாகவும் திறமையாகவும் ஆராயக்கூடிய மிகவும் திறமையான தேடல் அல்காரிதம்களை உருவாக்குதல்.
• மேம்பட்ட மெட்டா-லேர்னிங் நுட்பங்கள்: ஒரு புதிய பணிக்கான சிறந்த மாடலைத் தேடுவதை விரைவுபடுத்த முந்தைய மாடல் தேர்வுப் பணிகளிலிருந்து அறிவைப் பயன்படுத்தக்கூடிய மிகவும் அதிநவீன மெட்டா-லேர்னிங் நுட்பங்களை உருவாக்குதல்.
• தானியங்கு ஃபீச்சர் இன்ஜினியரிங்: தரவிலிருந்து தொடர்புடைய அம்சங்களைத் தானாகவே பிரித்தெடுத்து மாற்றக்கூடிய மிகவும் சக்திவாய்ந்த தானியங்கு ஃபீச்சர் இன்ஜினியரிங் நுட்பங்களை உருவாக்குதல்.
• விளக்கக்கூடிய ஆட்டோஎம்எல் (Explainable AutoML): மாடல் கணிப்புகளின் அதிக வெளிப்படைத்தன்மை மற்றும் விளக்கத்தன்மையை வழங்கும் AutoML அமைப்புகளை உருவாக்குதல்.
• கிளவுட் தளங்களுடன் ஒருங்கிணைப்பு: அளவிடக்கூடிய மற்றும் செலவு குறைந்த மாடல் மேம்பாடு மற்றும் வரிசைப்படுத்தலை செயல்படுத்த கிளவுட் தளங்களுடன் AutoML கருவிகளின் தடையற்ற ஒருங்கிணைப்பு.
• சார்பு மற்றும் நேர்மையை நிவர்த்தி செய்தல்: தரவு மற்றும் மாடல்களில் உள்ள சார்பைக் கண்டறிந்து தணிக்கக்கூடிய AutoML அமைப்புகளை உருவாக்குதல், நேர்மை மற்றும் நெறிமுறைக் கருத்தாய்வுகள் நிவர்த்தி செய்யப்படுவதை உறுதி செய்தல்.
• பல்வேறு தரவு வகைகளுக்கான ஆதரவு: நேரத் தொடர் தரவு, உரைத் தரவு மற்றும் வரைபடத் தரவு உள்ளிட்ட பரந்த அளவிலான தரவு வகைகளை ஆதரிக்க AutoML திறன்களை விரிவுபடுத்துதல்.

முடிவுரை

தானியங்கு மாடல் தேர்வு என்பது ML திட்டங்களின் செயல்திறனையும் திறனையும் கணிசமாக மேம்படுத்தக்கூடிய ஒரு சக்திவாய்ந்த நுட்பமாகும். வெவ்வேறு மாடல்கள் மற்றும் ஹைப்பர்பராமீட்டர்களுடன் கைமுறையாக பரிசோதனை செய்யும் நேரத்தை எடுத்துக்கொள்ளும் மற்றும் மீண்டும் மீண்டும் செய்யும் செயல்முறையை தானியக்கமாக்குவதன் மூலம், தானியங்கு மாடல் தேர்வு தரவு விஞ்ஞானிகளை ML பைப்லைனின் மற்ற முக்கிய அம்சங்களில், அதாவது தரவு தயாரித்தல் மற்றும் ஃபீச்சர் இன்ஜினியரிங் போன்றவற்றில் கவனம் செலுத்த உதவுகிறது. இது வரையறுக்கப்பட்ட ML நிபுணத்துவம் கொண்ட தனிநபர்கள் மற்றும் நிறுவனங்களுக்கு ML-ஐ அணுகக்கூடியதாக ஆக்குவதன் மூலம் அதை ஜனநாயகப்படுத்துகிறது. AutoML துறை தொடர்ந்து உருவாகும்போது, இன்னும் அதிநவீன மற்றும் சக்திவாய்ந்த தானியங்கு மாடல் தேர்வு நுட்பங்கள் தோன்றும் என்று நாம் எதிர்பார்க்கலாம், இது நாம் ML மாடல்களை உருவாக்கும் மற்றும் வரிசைப்படுத்தும் முறையை மேலும் மாற்றும்.

தானியங்கு மாடல் தேர்வின் கருத்துக்கள், நுட்பங்கள், நன்மைகள் மற்றும் சவால்களைப் புரிந்துகொள்வதன் மூலம், சிறந்த ML மாடல்களை உருவாக்கவும் உங்கள் வணிக இலக்குகளை அடையவும் இந்த தொழில்நுட்பத்தை நீங்கள் திறம்படப் பயன்படுத்தலாம்.