பைதான் இயந்திர மொழிபெயர்ப்பு: சீக்வென்ஸ்-டு-சீக்வென்ஸ் மாடல்களை உருவாக்குதல்

இன்றைய பெருகிய முறையில் ஒன்றோடொன்று இணைக்கப்பட்ட உலகில், வெவ்வேறு மொழிகளில் புரிந்துகொண்டு தொடர்புகொள்வதற்கான திறன் முன்னெப்போதையும் விட மிகவும் முக்கியமானது. இயந்திர மொழிபெயர்ப்பு (MT), ஒரு மொழியிலிருந்து மற்றொரு மொழிக்கு உரையை தானாக மொழிபெயர்ப்பது, மொழித் தடைகளை உடைத்து உலகளாவிய தகவல்தொடர்புக்கு உதவுவதில் ஒரு முக்கிய கருவியாக மாறியுள்ளது. பைதான், அதன் வளமான நூலகங்கள் மற்றும் கட்டமைப்புகளின் சுற்றுச்சூழல் அமைப்புடன், சக்திவாய்ந்த MT அமைப்புகளை உருவாக்குவதற்கான ஒரு சிறந்த தளத்தை வழங்குகிறது. இந்த வலைப்பதிவு இடுகை பைதான் இயந்திர மொழிபெயர்ப்பு உலகிற்குள் ஆழமாகச் செல்கிறது, நவீன MT-யில் ஒரு மேலாதிக்க அணுகுமுறையான சீக்வென்ஸ்-டு-சீக்வென்ஸ் (seq2seq) மாடல்களில் கவனம் செலுத்துகிறது.

இயந்திர மொழிபெயர்ப்பு என்றால் என்ன?

இயந்திர மொழிபெயர்ப்பு என்பது ஒரு மூல மொழியிலிருந்து (எ.கா., பிரெஞ்சு) ஒரு இலக்கு மொழிக்கு (எ.கா., ஆங்கிலம்) உரையை அதன் பொருளைப் பாதுகாத்து மாற்றும் செயல்முறையை தானியக்கமாக்குவதை நோக்கமாகக் கொண்டுள்ளது. ஆரம்பகால MT அமைப்புகள் விதி அடிப்படையிலான அணுகுமுறைகளை நம்பியிருந்தன, இதில் இலக்கண விதிகள் மற்றும் அகராதிகளை கைமுறையாக வரையறுப்பது அடங்கும். இருப்பினும், இந்த அமைப்புகள் பெரும்பாலும் பலவீனமானவையாக இருந்தன மற்றும் இயற்கை மொழியின் சிக்கல்களையும் நுணுக்கங்களையும் கையாள்வதில் சிரமப்பட்டன.

நவீன MT அமைப்புகள், குறிப்பாக நரம்பியல் நெட்வொர்க்குகளை அடிப்படையாகக் கொண்டவை, குறிப்பிடத்தக்க முன்னேற்றத்தை அடைந்துள்ளன. இந்த அமைப்புகள் பரந்த அளவிலான இணை உரைத் தரவுகளை (அதாவது, ஒன்றுக்கொன்று மொழிபெயர்க்கப்பட்ட பல மொழிகளில் உள்ள உரைகள்) பகுப்பாய்வு செய்வதன் மூலம் மொழிபெயர்க்க கற்றுக்கொள்கின்றன.

இயந்திர மொழிபெயர்ப்பிற்கான சீக்வென்ஸ்-டு-சீக்வென்ஸ் (Seq2Seq) மாடல்கள்

சீக்வென்ஸ்-டு-சீக்வென்ஸ் மாடல்கள் இயந்திர மொழிபெயர்ப்புத் துறையில் புரட்சியை ஏற்படுத்தியுள்ளன. அவை மாறுபட்ட நீளங்களின் உள்ளீடு மற்றும் வெளியீட்டு வரிசைகளைக் கையாள பிரத்யேகமாக வடிவமைக்கப்பட்ட ஒரு வகை நரம்பியல் நெட்வொர்க் கட்டமைப்பாகும். இது MT-க்கு ஏற்றதாக அமைகிறது, ஏனெனில் மூல மற்றும் இலக்கு வாக்கியங்கள் பெரும்பாலும் வெவ்வேறு நீளங்களையும் கட்டமைப்புகளையும் கொண்டுள்ளன.

என்கோடர்-டிகோடர் கட்டமைப்பு

seq2seq மாடல்களின் மையத்தில் என்கோடர்-டிகோடர் கட்டமைப்பு உள்ளது. இந்த கட்டமைப்பு இரண்டு முக்கிய கூறுகளைக் கொண்டுள்ளது:

• என்கோடர்: என்கோடர் உள்ளீட்டு வரிசையை (மூல வாக்கியம்) எடுத்து அதை ஒரு நிலையான நீள திசையன் பிரதிநிதித்துவமாக மாற்றுகிறது, இது சூழல் திசையன் அல்லது சிந்தனை திசையன் என்றும் அழைக்கப்படுகிறது. இந்த திசையன் முழு உள்ளீட்டு வரிசையின் பொருளையும் உள்ளடக்கியது.
• டிகோடர்: டிகோடர் என்கோடர் தயாரித்த சூழல் திசையனை எடுத்து வெளியீட்டு வரிசையை (இலக்கு வாக்கியம்) ஒரு நேரத்தில் ஒரு வார்த்தையாக உருவாக்குகிறது.

என்கோடரை ஒரு சுருக்கமாகவும் டிகோடரை ஒரு மறு எழுத்தாளராகவும் சிந்தியுங்கள். என்கோடர் முழு உள்ளீட்டையும் படித்து அதை ஒரு திசையனில் சுருக்கமாகக் கூறுகிறது. டிகோடர் பின்னர் இந்தச் சுருக்கத்தைப் பயன்படுத்தி உரையை இலக்கு மொழியில் மீண்டும் எழுதுகிறது.

ரெக்கரண்ட் நியூரல் நெட்வொர்க்குகள் (RNNs)

ரெக்கரண்ட் நியூரல் நெட்வொர்க்குகள் (RNNs), குறிப்பாக LSTMs (நீண்ட குறுகிய கால நினைவகம்) மற்றும் GRUs (கேட்டட் ரெக்கரண்ட் யூனிட்கள்), என்கோடர் மற்றும் டிகோடர் இரண்டிற்கும் கட்டுமானத் தொகுதிகளாக பொதுவாகப் பயன்படுத்தப்படுகின்றன. RNN-கள் வரிசைமுறைத் தரவைச் செயலாக்குவதற்கு மிகவும் பொருத்தமானவை, ஏனெனில் அவை கடந்த உள்ளீடுகளைப் பற்றிய தகவல்களைப் பிடிக்கும் ஒரு மறைக்கப்பட்ட நிலையை பராமரிக்கின்றன. இது ஒரு வாக்கியத்தில் உள்ள சொற்களுக்கு இடையிலான சார்புகளைக் கையாள அனுமதிக்கிறது.

என்கோடர் RNN மூல வாக்கியத்தை வார்த்தைக்கு வார்த்தையாகப் படித்து, ஒவ்வொரு படியிலும் அதன் மறைக்கப்பட்ட நிலையைப் புதுப்பிக்கிறது. என்கோடரின் இறுதி மறைக்கப்பட்ட நிலை சூழல் திசையனாக மாறுகிறது, இது டிகோடருக்கு அனுப்பப்படுகிறது.

டிகோடர் RNN சூழல் திசையனை அதன் ஆரம்ப மறைக்கப்பட்ட நிலையாகத் தொடங்கி இலக்கு வாக்கியத்தை வார்த்தைக்கு வார்த்தையாக உருவாக்குகிறது. ஒவ்வொரு படியிலும், டிகோடர் முந்தைய வார்த்தையையும் அதன் மறைக்கப்பட்ட நிலையையும் உள்ளீடாக எடுத்து அடுத்த வார்த்தையையும் புதுப்பிக்கப்பட்ட மறைக்கப்பட்ட நிலையையும் உருவாக்குகிறது. டிகோடர் ஒரு சிறப்பு வாக்கியத்தின் இறுதி டோக்கனை (எ.கா., <EOS>) உருவாக்கும் வரை செயல்முறை தொடர்கிறது, இது மொழிபெயர்ப்பின் முடிவைக் குறிக்கிறது.

உதாரணம்: "Hello world" என்பதை ஆங்கிலத்திலிருந்து பிரெஞ்சுக்கு மொழிபெயர்ப்பது

ஒரு seq2seq மாடல் "Hello world" என்ற எளிய சொற்றொடரை ஆங்கிலத்திலிருந்து பிரெஞ்சுக்கு எப்படி மொழிபெயர்க்கலாம் என்பதை விளக்குவோம்:

1. என்கோடிங்: என்கோடர் RNN "Hello" மற்றும் "world" என்ற வார்த்தைகளை வரிசையாகப் படிக்கிறது. "world" ஐச் செயல்படுத்திய பிறகு, அதன் இறுதி மறைக்கப்பட்ட நிலை முழு சொற்றொடரின் பொருளையும் குறிக்கிறது.
2. சூழல் திசையன்: இந்த இறுதி மறைக்கப்பட்ட நிலை சூழல் திசையனாக மாறுகிறது.
3. டிகோடிங்: டிகோடர் RNN சூழல் திசையனைப் பெற்று பிரெஞ்சு மொழிபெயர்ப்பை உருவாக்கத் தொடங்குகிறது. அது முதலில் "Bonjour", பின்னர் "le", இறுதியாக "monde" ஐ உருவாக்கலாம். இது வாக்கியத்தின் முடிவைக் குறிக்க <EOS> டோக்கனையும் உருவாக்கும்.
4. வெளியீடு: இறுதி வெளியீடு "Bonjour le monde <EOS>" ஆக இருக்கும். <EOS> டோக்கனை அகற்றிய பிறகு, மாடல் சொற்றொடரை வெற்றிகரமாக மொழிபெயர்த்துள்ளது.

அட்டென்ஷன் மெக்கானிசம்

மேலே விவரிக்கப்பட்ட அடிப்படை seq2seq மாடல் நியாயமான முறையில் சிறப்பாக செயல்பட முடியும் என்றாலும், அது ஒரு இடையூறால் பாதிக்கப்படுகிறது: மூல வாக்கியத்தின் முழுப் பொருளும் ஒரே, நிலையான-நீள திசையனில் சுருக்கப்படுகிறது. இது நீண்ட மற்றும் சிக்கலான வாக்கியங்களுக்கு சிக்கலாக இருக்கலாம், ஏனெனில் சூழல் திசையன் அனைத்து தொடர்புடைய தகவல்களையும் கைப்பற்ற முடியாமல் போகலாம்.

அட்டென்ஷன் மெக்கானிசம், டிகோடிங் செயல்முறையின் ஒவ்வொரு படியிலும் மூல வாக்கியத்தின் வெவ்வேறு பகுதிகளில் கவனம் செலுத்த டிகோடரை அனுமதிப்பதன் மூலம் இந்த இடையூறை நிவர்த்தி செய்கிறது. சூழல் திசையனை மட்டுமே நம்புவதற்குப் பதிலாக, டிகோடர் வெவ்வேறு நேரப் படிகளில் என்கோடரின் மறைக்கப்பட்ட நிலைகளில் கவனம் செலுத்துகிறது. இது தற்போது உருவாக்கப்படும் வார்த்தைக்கு மிகவும் பொருத்தமான மூல வாக்கியத்தின் பகுதிகளில் டிகோடர் தேர்ந்தெடுக்கப்பட்ட முறையில் கவனம் செலுத்த அனுமதிக்கிறது.

அட்டென்ஷன் எப்படி வேலை செய்கிறது

அட்டென்ஷன் மெக்கானிசம் பொதுவாக பின்வரும் படிகளை உள்ளடக்கியது:

1. அட்டென்ஷன் எடைகளைக் கணக்கிடுங்கள்: டிகோடர் அட்டென்ஷன் எடைகளின் தொகுப்பைக் கணக்கிடுகிறது, இது தற்போதைய டிகோடிங் படிக்கு மூல வாக்கியத்தில் உள்ள ஒவ்வொரு வார்த்தையின் முக்கியத்துவத்தையும் குறிக்கிறது. இந்த எடைகள் பொதுவாக டிகோடரின் தற்போதைய மறைக்கப்பட்ட நிலையை ஒவ்வொரு நேரப் படியிலும் என்கோடரின் மறைக்கப்பட்ட நிலைகளுடன் ஒப்பிடும் ஒரு ஸ்கோரிங் செயல்பாட்டைப் பயன்படுத்தி கணக்கிடப்படுகின்றன.
2. சூழல் திசையனைக் கணக்கிடுங்கள்: அட்டென்ஷன் எடைகள் என்கோடரின் மறைக்கப்பட்ட நிலைகளின் எடையிடப்பட்ட சராசரியைக் கணக்கிடப் பயன்படுத்தப்படுகின்றன. இந்த எடையிடப்பட்ட சராசரி சூழல் திசையனாக மாறுகிறது, இது அடுத்த வார்த்தையை உருவாக்க டிகோடரால் பயன்படுத்தப்படுகிறது.
3. அட்டென்ஷனுடன் டிகோடிங்: டிகோடர் சூழல் திசையன் (அட்டென்ஷன் மெக்கானிசத்திலிருந்து பெறப்பட்டது) *மற்றும்* அதன் முந்தைய மறைக்கப்பட்ட நிலையைப் பயன்படுத்தி அடுத்த வார்த்தையைக் கணிக்கும்.

மூல வாக்கியத்தின் வெவ்வேறு பகுதிகளில் கவனம் செலுத்துவதன் மூலம், அட்டென்ஷன் மெக்கானிசம் டிகோடருக்கு மேலும் நுணுக்கமான மற்றும் சூழல்-குறிப்பிட்ட தகவல்களைப் பிடிக்க உதவுகிறது, இது மேம்பட்ட மொழிபெயர்ப்பு தரத்திற்கு வழிவகுக்கிறது.

அட்டென்ஷனின் நன்மைகள்

• மேம்படுத்தப்பட்ட துல்லியம்: அட்டென்ஷன் மாடலை உள்ளீட்டு வாக்கியத்தின் தொடர்புடைய பகுதிகளில் கவனம் செலுத்த அனுமதிக்கிறது, இது மிகவும் துல்லியமான மொழிபெயர்ப்புகளுக்கு வழிவகுக்கிறது.
• நீண்ட வாக்கியங்களை சிறப்பாகக் கையாளுதல்: தகவல் இடையூறைத் தவிர்ப்பதன் மூலம், அட்டென்ஷன் மாடலை நீண்ட வாக்கியங்களை மிகவும் திறம்பட கையாள உதவுகிறது.
• விளக்கத்தன்மை: மொழிபெயர்ப்பின் போது மாடல் மூல வாக்கியத்தின் எந்தப் பகுதிகளில் கவனம் செலுத்துகிறது என்பது பற்றிய நுண்ணறிவுகளை அட்டென்ஷன் எடைகள் வழங்குகின்றன. மாடல் அதன் முடிவுகளை எவ்வாறு எடுக்கிறது என்பதைப் புரிந்துகொள்ள இது உதவும்.

பைத்தானில் ஒரு இயந்திர மொழிபெயர்ப்பு மாடலை உருவாக்குதல்

டென்சர்ஃப்ளோ அல்லது பைடார்ச் போன்ற நூலகத்தைப் பயன்படுத்தி பைத்தானில் ஒரு இயந்திர மொழிபெயர்ப்பு மாடலை உருவாக்குவதில் உள்ள படிகளை கோடிட்டுக் காட்டுவோம்.

1. தரவு தயாரித்தல்

முதல் படி தரவைத் தயாரிப்பதாகும். இதில் ஒரு பெரிய இணை உரைத் தரவுத்தொகுப்பைச் சேகரிப்பது அடங்கும், அங்கு ஒவ்வொரு எடுத்துக்காட்டும் மூல மொழியில் ஒரு வாக்கியத்தையும் இலக்கு மொழியில் அதன் தொடர்புடைய மொழிபெயர்ப்பையும் கொண்டுள்ளது. இயந்திர மொழிபெயர்ப்பு பட்டறை (WMT) போன்ற பொதுவில் கிடைக்கும் தரவுத்தொகுப்புகள் பெரும்பாலும் இந்த நோக்கத்திற்காகப் பயன்படுத்தப்படுகின்றன.

தரவு தயாரித்தல் பொதுவாக பின்வரும் படிகளை உள்ளடக்கியது:

• டோக்கனைசேஷன்: வாக்கியங்களை தனிப்பட்ட வார்த்தைகள் அல்லது துணை வார்த்தைகளாகப் பிரித்தல். பொதுவான டோக்கனைசேஷன் நுட்பங்களில் வைட்ஸ்பேஸ் டோக்கனைசேஷன் மற்றும் பைட்-ஜோடி குறியாக்கம் (BPE) ஆகியவை அடங்கும்.
• சொல்லகராதி உருவாக்குதல்: தரவுத்தொகுப்பில் உள்ள அனைத்து தனித்துவமான டோக்கன்களின் சொல்லகராதியை உருவாக்குதல். ஒவ்வொரு டோக்கனுக்கும் ஒரு தனிப்பட்ட குறியீட்டு எண் ஒதுக்கப்படுகிறது.
• பேடிங்: வாக்கியங்களின் முடிவில் பேடிங் டோக்கன்களைச் சேர்ப்பதன் மூலம் அவை அனைத்தையும் ஒரே நீளமாக்குதல். இது தொகுதி செயலாக்கத்திற்கு அவசியம்.
• பயிற்சி, சரிபார்ப்பு மற்றும் சோதனை கணங்களை உருவாக்குதல்: தரவை மூன்று கணங்களாகப் பிரித்தல்: மாடலுக்குப் பயிற்சி அளிக்க ஒரு பயிற்சி கணம், பயிற்சியின் போது செயல்திறனைக் கண்காணிக்க ஒரு சரிபார்ப்பு கணம் மற்றும் இறுதி மாடலை மதிப்பீடு செய்ய ஒரு சோதனை கணம்.

உதாரணமாக, நீங்கள் ஆங்கிலத்திலிருந்து ஸ்பானிஷ் மொழிக்கு மொழிபெயர்க்க ஒரு மாடலைப் பயிற்றுவித்தால், உங்களுக்கு ஆங்கில வாக்கியங்கள் மற்றும் அவற்றின் தொடர்புடைய ஸ்பானிஷ் மொழிபெயர்ப்புகளின் தரவுத்தொகுப்பு தேவைப்படும். நீங்கள் அனைத்து உரையையும் சிற்றெழுத்துகளாக மாற்றுவதன் மூலமும், நிறுத்தற்குறிகளை அகற்றுவதன் மூலமும், வாக்கியங்களை வார்த்தைகளாக டோக்கனைஸ் செய்வதன் மூலமும் தரவை முன்கூட்டியே செயலாக்கலாம். பின்னர், நீங்கள் இரு மொழிகளிலும் உள்ள அனைத்து தனித்துவமான வார்த்தைகளின் சொல்லகராதியை உருவாக்கி, வாக்கியங்களை ஒரு நிலையான நீளத்திற்கு பேட் செய்வீர்கள்.

2. மாடல் செயல்படுத்தல்

அடுத்த படி டென்சர்ஃப்ளோ அல்லது பைடார்ச் போன்ற டீப் லேர்னிங் கட்டமைப்பைப் பயன்படுத்தி அட்டென்ஷனுடன் seq2seq மாடலைச் செயல்படுத்துவதாகும். இது என்கோடர், டிகோடர் மற்றும் அட்டென்ஷன் மெக்கானிசத்தை வரையறுப்பதை உள்ளடக்கியது.

இங்கே குறியீட்டின் எளிமைப்படுத்தப்பட்ட சுருக்கம் (சூடோகோட் பயன்படுத்தி):

# Define the encoder
class Encoder(nn.Module):
    def __init__(self, input_dim, embedding_dim, hidden_dim, num_layers):
        # ... (Initialization of layers like Embedding and LSTM)

    def forward(self, input_sequence):
        # ... (Process input sequence through embedding and LSTM)
        return hidden_states, last_hidden_state

# Define the attention mechanism
class Attention(nn.Module):
    def __init__(self, hidden_dim):
        # ... (Initialization of layers for calculating attention weights)

    def forward(self, decoder_hidden, encoder_hidden_states):
        # ... (Calculate attention weights and context vector)
        return context_vector, attention_weights

# Define the decoder
class Decoder(nn.Module):
    def __init__(self, output_dim, embedding_dim, hidden_dim, num_layers, attention):
        # ... (Initialization of layers like Embedding, LSTM, and fully connected layer)

    def forward(self, input_word, hidden_state, encoder_hidden_states):
        # ... (Process input word through embedding and LSTM)
        # ... (Apply attention mechanism)
        # ... (Predict next word)
        return predicted_word, hidden_state

# Define the Seq2Seq model
class Seq2Seq(nn.Module):
    def __init__(self, encoder, decoder):
        # ... (Initialization of encoder and decoder)

    def forward(self, source_sequence, target_sequence):
        # ... (Encode source sequence)
        # ... (Decode and generate target sequence)
        return predicted_sequence

3. மாடலுக்குப் பயிற்சி அளித்தல்

மாடல் செயல்படுத்தப்பட்டவுடன், அது பயிற்சித் தரவுகளில் பயிற்சி அளிக்கப்பட வேண்டும். இது மாடலுக்கு மூல வாக்கியங்களையும் அவற்றின் தொடர்புடைய இலக்கு வாக்கியங்களையும் ஊட்டி, கணிக்கப்பட்ட மொழிபெயர்ப்புகளுக்கும் உண்மையான மொழிபெயர்ப்புகளுக்கும் இடையிலான வேறுபாட்டைக் குறைக்க மாடலின் அளவுருக்களைச் சரிசெய்வதை உள்ளடக்கியது.

பயிற்சி செயல்முறை பொதுவாக பின்வரும் படிகளை உள்ளடக்கியது:

• இழப்பு செயல்பாட்டை வரையறுத்தல்: கணிக்கப்பட்ட மற்றும் உண்மையான மொழிபெயர்ப்புகளுக்கு இடையிலான வேறுபாட்டை அளவிடும் ஒரு இழப்பு செயல்பாட்டைத் தேர்வுசெய்க. பொதுவான இழப்பு செயல்பாடுகளில் கிராஸ்-என்ட்ரோபி இழப்பு அடங்கும்.
• ஆப்டிமைசரை வரையறுத்தல்: இழப்பு செயல்பாட்டைக் குறைக்க மாடலின் அளவுருக்களைப் புதுப்பிக்கும் ஒரு தேர்வுமுறை வழிமுறையைத் தேர்வுசெய்க. பொதுவான ஆப்டிமைசர்களில் ஆடம் மற்றும் SGD ஆகியவை அடங்கும்.
• பயிற்சி வளையம்: பயிற்சித் தரவுகளில் மீண்டும் மீண்டும், மூல மற்றும் இலக்கு வாக்கியங்களின் தொகுதிகளுடன் மாடலை ஊட்டுதல். ஒவ்வொரு தொகுதிக்கும், இழப்பைக் கணக்கிட்டு, கிரேடியன்ட்களைக் கணக்கிட்டு, மாடலின் அளவுருக்களைப் புதுப்பிக்கவும்.
• சரிபார்ப்பு: சரிபார்ப்பு கணத்தில் மாடலின் செயல்திறனை அவ்வப்போது மதிப்பீடு செய்யுங்கள். இது பயிற்சி செயல்முறையைக் கண்காணிக்கவும், ஓவர்ஃபிட்டிங்கைத் தடுக்கவும் உதவுகிறது.

நீங்கள் வழக்கமாக பல எப்போக்களுக்கு மாடலைப் பயிற்றுவிப்பீர்கள், அங்கு ஒவ்வொரு எப்போக்கும் முழு பயிற்சித் தரவுத்தொகுப்பிலும் ஒருமுறை மீண்டும் மீண்டும் செல்வதை உள்ளடக்கியது. பயிற்சியின் போது, பயிற்சி மற்றும் சரிபார்ப்பு கணங்களில் இழப்பைக் கண்காணிப்பீர்கள். சரிபார்ப்பு இழப்பு அதிகரிக்கத் தொடங்கினால், அது மாடல் பயிற்சித் தரவுகளுக்கு ஓவர்ஃபிட்டிங் செய்வதைக் குறிக்கிறது, மேலும் நீங்கள் பயிற்சியை நிறுத்த வேண்டும் அல்லது மாடலின் ஹைப்பர்பராமீட்டர்களைச் சரிசெய்ய வேண்டும்.

4. மதிப்பீடு

பயிற்சிக்குப் பிறகு, மாடல் அதன் செயல்திறனை மதிப்பிடுவதற்கு சோதனை கணத்தில் மதிப்பீடு செய்யப்பட வேண்டும். இயந்திர மொழிபெயர்ப்பிற்கான பொதுவான மதிப்பீட்டு அளவீடுகளில் BLEU (இருமொழி மதிப்பீட்டு ஆய்வு) ஸ்கோர் மற்றும் METEOR ஆகியவை அடங்கும்.

BLEU ஸ்கோர் கணிக்கப்பட்ட மொழிபெயர்ப்புகளுக்கும் குறிப்பு மொழிபெயர்ப்புகளுக்கும் இடையிலான ஒற்றுமையை அளவிடுகிறது. இது குறிப்பு மொழிபெயர்ப்புடன் ஒப்பிடும்போது கணிக்கப்பட்ட மொழிபெயர்ப்பில் n-கிராம்களின் (n வார்த்தைகளின் வரிசைகள்) துல்லியத்தைக் கணக்கிடுகிறது.

மாடலை மதிப்பீடு செய்ய, நீங்கள் சோதனை கணத்திலிருந்து மூல வாக்கியங்களை ஊட்டி தொடர்புடைய மொழிபெயர்ப்புகளை உருவாக்குவீர்கள். பின்னர், நீங்கள் உருவாக்கப்பட்ட மொழிபெயர்ப்புகளை BLEU ஸ்கோர் அல்லது பிற மதிப்பீட்டு அளவீடுகளைப் பயன்படுத்தி குறிப்பு மொழிபெயர்ப்புகளுடன் ஒப்பிடுவீர்கள்.

5. அனுமானம்

மாடல் பயிற்சி செய்யப்பட்டு மதிப்பீடு செய்யப்பட்டவுடன், புதிய வாக்கியங்களை மொழிபெயர்க்க அதைப் பயன்படுத்தலாம். இது மாடலுக்கு ஒரு மூல வாக்கியத்தை ஊட்டி அதனுடன் தொடர்புடைய இலக்கு வாக்கியத்தை உருவாக்குவதை உள்ளடக்கியது.

அனுமான செயல்முறை பொதுவாக பின்வரும் படிகளை உள்ளடக்கியது:

• உள்ளீட்டு வாக்கியத்தை டோக்கனைஸ் செய்தல்: மூல வாக்கியத்தை வார்த்தைகள் அல்லது துணை வார்த்தைகளாக டோக்கனைஸ் செய்யவும்.
• உள்ளீட்டு வாக்கியத்தை என்கோட் செய்தல்: சூழல் திசையனைப் பெற டோக்கனைஸ் செய்யப்பட்ட வாக்கியத்தை என்கோடருக்கு ஊட்டவும்.
• இலக்கு வாக்கியத்தை டிகோட் செய்தல்: ஒரு சிறப்பு வாக்கியத்தின் தொடக்க டோக்கனுடன் (எ.கா., <SOS>) தொடங்கி, ஒரு நேரத்தில் ஒரு வார்த்தையாக இலக்கு வாக்கியத்தை உருவாக்க டிகோடரைப் பயன்படுத்தவும். ஒவ்வொரு படியிலும், டிகோடர் முந்தைய வார்த்தையையும் சூழல் திசையனையும் உள்ளீடாக எடுத்து அடுத்த வார்த்தையை உருவாக்குகிறது. டிகோடர் ஒரு சிறப்பு வாக்கியத்தின் இறுதி டோக்கனை (எ.கா., <EOS>) உருவாக்கும் வரை செயல்முறை தொடர்கிறது.
• செயலாக்கத்திற்குப் பிந்தையது: உருவாக்கப்பட்ட வாக்கியத்திலிருந்து <SOS> மற்றும் <EOS> டோக்கன்களை அகற்றி, இறுதி மொழிபெயர்ப்பைப் பெற வார்த்தைகளை டீடோக்கனைஸ் செய்யவும்.

பைத்தானில் இயந்திர மொழிபெயர்ப்பிற்கான நூலகங்கள் மற்றும் கட்டமைப்புகள்

பைதான் இயந்திர மொழிபெயர்ப்பு மாடல்களின் வளர்ச்சியை எளிதாக்கும் நூலகங்கள் மற்றும் கட்டமைப்புகளின் வளமான சுற்றுச்சூழல் அமைப்பை வழங்குகிறது. மிகவும் பிரபலமான சில விருப்பங்கள் பின்வருமாறு:

• டென்சர்ஃப்ளோ: கூகிளால் உருவாக்கப்பட்ட ஒரு சக்திவாய்ந்த மற்றும் பல்துறை டீப் லேர்னிங் கட்டமைப்பு. டென்சர்ஃப்ளோ அட்டென்ஷனுடன் கூடிய seq2seq மாடல்கள் உட்பட நரம்பியல் நெட்வொர்க்குகளை உருவாக்குவதற்கும் பயிற்சி செய்வதற்கும் பரந்த அளவிலான கருவிகள் மற்றும் API-களை வழங்குகிறது.
• பைடார்ச்: அதன் நெகிழ்வுத்தன்மை மற்றும் பயன்பாட்டின் எளிமைக்காக அறியப்பட்ட மற்றொரு பிரபலமான டீப் லேர்னிங் கட்டமைப்பு. பைடார்ச் ஆராய்ச்சி மற்றும் பரிசோதனைக்கு மிகவும் பொருத்தமானது, மேலும் இது seq2seq மாடல்களுக்கு சிறந்த ஆதரவை வழங்குகிறது.
• ஹக்கிங் ஃபேஸ் டிரான்ஸ்ஃபார்மர்ஸ்: BERT மற்றும் BART போன்ற டிரான்ஸ்ஃபார்மர் அடிப்படையிலான மாடல்கள் உட்பட முன் பயிற்சி பெற்ற மொழி மாடல்களை வழங்கும் ஒரு நூலகம், இது இயந்திர மொழிபெயர்ப்பு பணிகளுக்காக நன்றாக மாற்றியமைக்கப்படலாம்.
• OpenNMT-py: பைடார்ச்சில் எழுதப்பட்ட ஒரு திறந்த மூல நரம்பியல் இயந்திர மொழிபெயர்ப்பு கருவித்தொகுதி. இது வெவ்வேறு MT கட்டமைப்புகளை உருவாக்குவதற்கும் பரிசோதனை செய்வதற்கும் ஒரு நெகிழ்வான மற்றும் மட்டு கட்டமைப்பை வழங்குகிறது.
• Marian NMT: பைத்தானுக்கான இணைப்புகளுடன் C++ இல் எழுதப்பட்ட ஒரு வேகமான நரம்பியல் இயந்திர மொழிபெயர்ப்பு கட்டமைப்பு. இது GPU-களில் திறமையான பயிற்சி மற்றும் அனுமானத்திற்காக வடிவமைக்கப்பட்டுள்ளது.

இயந்திர மொழிபெயர்ப்பில் உள்ள சவால்கள்

சமீபத்திய ஆண்டுகளில் குறிப்பிடத்தக்க முன்னேற்றம் இருந்தபோதிலும், இயந்திர மொழிபெயர்ப்பு இன்னும் பல சவால்களை எதிர்கொள்கிறது:

• தெளிவின்மை: இயற்கை மொழி இயல்பாகவே தெளிவற்றது. வார்த்தைகளுக்கு பல அர்த்தங்கள் இருக்கலாம், மேலும் வாக்கியங்களை வெவ்வேறு வழிகளில் விளக்கலாம். இது MT அமைப்புகளுக்கு உரையைத் துல்லியமாக மொழிபெயர்ப்பதை கடினமாக்கும்.
• மரபுத்தொடர்கள் மற்றும் உருவக மொழி: மரபுத்தொடர்கள் மற்றும் உருவக மொழி (எ.கா., உருவகங்கள், உவமைகள்) MT அமைப்புகள் கையாள்வதற்கு சவாலானதாக இருக்கலாம். இந்த வெளிப்பாடுகள் பெரும்பாலும் தனிப்பட்ட வார்த்தைகளின் நேரடி அர்த்தங்களிலிருந்து வேறுபட்ட அர்த்தங்களைக் கொண்டுள்ளன.
• குறைந்த வள மொழிகள்: MT அமைப்புகளுக்கு திறம்பட பயிற்சி அளிக்க பொதுவாக பெரிய அளவிலான இணை உரைத் தரவு தேவைப்படுகிறது. இருப்பினும், குறைந்த வள மொழிகளுக்கு அத்தகைய தரவு பெரும்பாலும் பற்றாக்குறையாக உள்ளது.
• டொமைன் தழுவல்: ஒரு டொமைனில் (எ.கா., செய்திக் கட்டுரைகள்) பயிற்சி பெற்ற MT அமைப்புகள் மற்றொரு டொமைனில் (எ.கா., மருத்துவ உரைகள்) சிறப்பாக செயல்படாது. MT அமைப்புகளை புதிய டொமைன்களுக்கு ஏற்ப மாற்றுவது ஒரு தொடர்ச்சியான ஆராய்ச்சி சவாலாகும்.
• நெறிமுறை சார்ந்த பரிசீலனைகள்: MT அமைப்புகள் பயிற்சித் தரவுகளில் இருக்கும் சார்புகளை நிலைநிறுத்த முடியும். MT அமைப்புகள் நியாயமானவை மற்றும் சமமானவை என்பதை உறுதிப்படுத்த இந்த சார்புகளை நிவர்த்தி செய்வது முக்கியம். உதாரணமாக, ஒரு பயிற்சித் தரவுத்தொகுப்பு சில தொழில்களை குறிப்பிட்ட பாலினங்களுடன் தொடர்புபடுத்தினால், MT அமைப்பு இந்த ஒரே மாதிரியான எண்ணங்களை வலுப்படுத்தக்கூடும்.

இயந்திர மொழிபெயர்ப்பின் எதிர்கால திசைகள்

இயந்திர மொழிபெயர்ப்புத் துறை தொடர்ந்து உருவாகி வருகிறது. சில முக்கிய எதிர்கால திசைகள் பின்வருமாறு:

• டிரான்ஸ்ஃபார்மர் அடிப்படையிலான மாடல்கள்: BERT, BART, மற்றும் T5 போன்ற டிரான்ஸ்ஃபார்மர் அடிப்படையிலான மாடல்கள், இயந்திர மொழிபெயர்ப்பு உட்பட பரந்த அளவிலான NLP பணிகளில் அதிநவீன முடிவுகளை அடைந்துள்ளன. இந்த மாடல்கள் அட்டென்ஷன் மெக்கானிசத்தை அடிப்படையாகக் கொண்டவை மற்றும் RNN-களை விட ஒரு வாக்கியத்தில் உள்ள சொற்களுக்கு இடையிலான நீண்ட தூர சார்புகளை மிகவும் திறம்பட கைப்பற்ற முடியும்.
• ஜீரோ-ஷாட் மொழிபெயர்ப்பு: ஜீரோ-ஷாட் மொழிபெயர்ப்பு என்பது இணை உரைத் தரவு இல்லாத மொழிகளுக்கு இடையில் மொழிபெயர்ப்பதை நோக்கமாகக் கொண்டுள்ளது. இது பொதுவாக மொழிகளின் தொகுப்பில் ஒரு பன்மொழி MT மாடலைப் பயிற்றுவிப்பதன் மூலமும், பின்னர் பயிற்சியின் போது காணப்படாத மொழிகளுக்கு இடையில் மொழிபெயர்க்க அதைப் பயன்படுத்துவதன் மூலமும் அடையப்படுகிறது.
• பன்மொழி இயந்திர மொழிபெயர்ப்பு: பன்மொழி MT மாடல்கள் பல மொழிகளிலிருந்து வரும் தரவுகளில் பயிற்சி அளிக்கப்படுகின்றன, மேலும் தரவுத்தொகுப்பில் உள்ள எந்தவொரு ஜோடி மொழிகளுக்கும் இடையில் மொழிபெயர்க்க முடியும். இது ஒவ்வொரு மொழி ஜோடிக்கும் தனித்தனி மாடல்களைப் பயிற்றுவிப்பதை விட திறமையானதாக இருக்கும்.
• குறைந்த வள மொழிபெயர்ப்பை மேம்படுத்துதல்: செயற்கைத் தரவைப் பயன்படுத்துதல், இடமாற்றக் கற்றல் மற்றும் மேற்பார்வை செய்யப்படாத கற்றல் போன்ற குறைந்த வள மொழிகளுக்கான MT அமைப்புகளின் செயல்திறனை மேம்படுத்துவதற்கான பல்வேறு நுட்பங்களை ஆராய்ச்சியாளர்கள் ஆராய்ந்து வருகின்றனர்.
• சூழலை இணைத்தல்: மொழிபெயர்ப்புத் துல்லியத்தை மேம்படுத்த, MT அமைப்புகள் ஒரு வாக்கியம் தோன்றும் ஆவணம் அல்லது உரையாடல் போன்ற சூழல் சார்ந்த தகவல்களை பெருகிய முறையில் இணைத்து வருகின்றன.
• விளக்கக்கூடிய இயந்திர மொழிபெயர்ப்பு: MT அமைப்புகளை மேலும் விளக்கக்கூடியதாக மாற்றுவது குறித்து ஆராய்ச்சி நடத்தப்படுகிறது, இதனால் பயனர்கள் கணினி ஒரு குறிப்பிட்ட மொழிபெயர்ப்பை ஏன் உருவாக்கியது என்பதைப் புரிந்து கொள்ள முடியும். இது MT அமைப்புகளில் நம்பிக்கையை வளர்க்கவும் சாத்தியமான பிழைகளைக் கண்டறியவும் உதவும்.

இயந்திர மொழிபெயர்ப்பின் நிஜ உலகப் பயன்பாடுகள்

இயந்திர மொழிபெயர்ப்பு பரந்த அளவிலான நிஜ உலகப் பயன்பாடுகளில் பயன்படுத்தப்படுகிறது, அவற்றுள்:

• உலகளாவிய வணிகத் தொடர்பு: வணிகங்கள் வெவ்வேறு மொழிகளில் வாடிக்கையாளர்கள், கூட்டாளர்கள் மற்றும் ஊழியர்களுடன் தொடர்புகொள்ள உதவுகிறது. உதாரணமாக, ஒரு பன்னாட்டு நிறுவனம் மின்னஞ்சல்கள், ஆவணங்கள் மற்றும் வலைத்தளங்களை மொழிபெயர்க்க MT-ஐப் பயன்படுத்தலாம்.
• சர்வதேச பயணம்: பயணிகள் வெளிநாட்டு மொழிகளைப் புரிந்துகொள்வதற்கும் அறிமுகமில்லாத சூழல்களில் வழிநடத்துவதற்கும் உதவுதல். MT பயன்பாடுகளை அறிகுறிகள், மெனுக்கள் மற்றும் உரையாடல்களை மொழிபெயர்க்கப் பயன்படுத்தலாம்.
• உள்ளடக்க உள்ளூர்மயமாக்கல்: வெவ்வேறு மொழிகளுக்கும் கலாச்சாரங்களுக்கும் உள்ளடக்கத்தை மாற்றியமைத்தல். இதில் வலைத்தளங்கள், மென்பொருள் மற்றும் சந்தைப்படுத்தல் பொருட்களை மொழிபெயர்ப்பது அடங்கும். உதாரணமாக, ஒரு வீடியோ கேம் டெவலப்பர் வெவ்வேறு பிராந்தியங்களுக்கு தங்கள் கேம்களை உள்ளூர்மயமாக்க MT-ஐப் பயன்படுத்தலாம்.
• தகவலுக்கான அணுகல்: வெவ்வேறு மொழிகளில் தகவலுக்கான அணுகலை வழங்குதல். செய்திக் கட்டுரைகள், ஆய்வுக் கட்டுரைகள் மற்றும் பிற ஆன்லைன் உள்ளடக்கங்களை மொழிபெயர்க்க MT-ஐப் பயன்படுத்தலாம்.
• இ-காமர்ஸ்: தயாரிப்பு விளக்கங்கள், வாடிக்கையாளர் மதிப்புரைகள் மற்றும் ஆதரவுப் பொருட்களை மொழிபெயர்ப்பதன் மூலம் எல்லை தாண்டிய இ-காமர்ஸை எளிதாக்குதல்.
• கல்வி: மொழி கற்றல் மற்றும் கலாச்சாரங்களுக்கு இடையிலான புரிதலை ஆதரித்தல். பாடப்புத்தகங்கள், கல்விப் பொருட்கள் மற்றும் ஆன்லைன் படிப்புகளை மொழிபெயர்க்க MT-ஐப் பயன்படுத்தலாம்.
• அரசாங்கம் மற்றும் இராஜதந்திரம்: வெளிநாட்டு அரசாங்கங்கள் மற்றும் நிறுவனங்களுடன் தொடர்புகொள்வதில் அரசாங்க நிறுவனங்கள் மற்றும் இராஜதந்திரிகளுக்கு உதவுதல்.

முடிவுரை

இயந்திர மொழிபெயர்ப்பு சமீபத்திய ஆண்டுகளில், சீக்வென்ஸ்-டு-சீக்வென்ஸ் மாடல்கள் மற்றும் அட்டென்ஷன் மெக்கானிசத்தின் வளர்ச்சிக்கு நன்றி, குறிப்பிடத்தக்க முன்னேற்றங்களைச் செய்துள்ளது. பைதான், அதன் வளமான நூலகங்கள் மற்றும் கட்டமைப்புகளின் சுற்றுச்சூழல் அமைப்புடன், சக்திவாய்ந்த MT அமைப்புகளை உருவாக்குவதற்கான ஒரு சிறந்த தளத்தை வழங்குகிறது. சவால்கள் நீடித்தாலும், தற்போதைய ஆராய்ச்சி மற்றும் மேம்பாடு எதிர்காலத்தில் இன்னும் துல்லியமான மற்றும் பல்துறை MT அமைப்புகளுக்கு வழி வகுக்கிறது. MT தொழில்நுட்பம் தொடர்ந்து மேம்படுவதால், மொழித் தடைகளை உடைப்பதிலும், உலகளாவிய தொடர்பு மற்றும் புரிதலை வளர்ப்பதிலும் இது பெருகிய முறையில் முக்கிய பங்கு வகிக்கும்.

நீங்கள் ஒரு ஆராய்ச்சியாளராகவோ, ஒரு டெவலப்பராகவோ அல்லது இயந்திர மொழிபெயர்ப்பின் சக்தியில் ஆர்வமுள்ள ஒருவராகவோ இருந்தாலும், பைதான் அடிப்படையிலான seq2seq மாடல்களை ஆராய்வது ஒரு பலனளிக்கும் முயற்சியாகும். இந்த வலைப்பதிவு இடுகையில் விவாதிக்கப்பட்ட அறிவு மற்றும் கருவிகளுடன், உலகெங்கிலும் உள்ள மக்களை இணைக்கும் இயந்திர மொழிபெயர்ப்பு அமைப்புகளை உருவாக்க மற்றும் வரிசைப்படுத்த உங்கள் சொந்த பயணத்தை நீங்கள் தொடங்கலாம்.