நெடுவரிசை சேமிப்பகம்: பெருந்தரவுக்கான பார்குவேட் மேம்படுத்தலில் தேர்ச்சி பெறுதல்

பெருந்தரவு (big data) காலத்தில், திறமையான சேமிப்பும் மீட்டெடுப்பும் மிக முக்கியமானவை. அப்பாச்சி பார்குவேட் (Apache Parquet) போன்ற நெடுவரிசை சேமிப்பக வடிவங்கள், நவீன தரவுக் கிடங்கு (data warehousing) மற்றும் பகுப்பாய்வுகளுக்கு ஒரு மூலக்கல்லாக உருவெடுத்துள்ளன. பார்குவேட்டின் நெடுவரிசை அமைப்பு, குறிப்பாக பெரிய தரவுத்தொகுப்புகளைக் கையாளும்போது, தரவு சுருக்கம் மற்றும் வினவல் செயல்திறனில் குறிப்பிடத்தக்க மேம்பாடுகளை அனுமதிக்கிறது. இந்த வழிகாட்டி, தரவுப் பொறியாளர்கள், ஆய்வாளர்கள் மற்றும் கட்டிடக் கலைஞர்களின் உலகளாவிய பார்வையாளர்களுக்காக, பார்குவேட் மேம்படுத்தல் நுட்பங்களின் விரிவான ஆய்வை வழங்குகிறது.

நெடுவரிசை சேமிப்பகம் மற்றும் பார்குவேட்டைப் புரிந்துகொள்ளுதல்

நெடுவரிசை சேமிப்பகம் என்றால் என்ன?

பாரம்பரிய வரிசை சார்ந்த சேமிப்பக அமைப்புகள், தரவுப் பதிவுகளை வரிசையாக, ஒவ்வொரு வரிசையாக சேமிக்கின்றன. முழுப் பதிவுகளையும் மீட்டெடுப்பதற்கு இது திறமையானதாக இருந்தாலும், பகுப்பாய்விற்கு சில நெடுவரிசைகள் மட்டுமே தேவைப்படும்போது இது திறனற்றதாகிவிடுகிறது. நெடுவரிசை சேமிப்பகம், மறுபுறம், தரவை நெடுவரிசை வாரியாக சேமிக்கிறது. இதன் பொருள், ஒரு குறிப்பிட்ட நெடுவரிசைக்கான அனைத்து மதிப்புகளும் தொடர்ச்சியாக சேமிக்கப்படுகின்றன. இந்த அமைப்பு பல நன்மைகளை வழங்குகிறது:

• மேம்படுத்தப்பட்ட சுருக்கம்: ஒரு நெடுவரிசைக்குள் உள்ள ஒத்த தரவு வகைகள், ரன்-லென்த் என்கோடிங் (RLE) அல்லது டிக்ஷனரி என்கோடிங் போன்ற நுட்பங்களைப் பயன்படுத்தி மிகவும் திறம்பட சுருக்கப்படலாம்.
• குறைக்கப்பட்ட I/O: சில நெடுவரிசைகளை மட்டுமே வினவும்போது, கணினி தொடர்புடைய நெடுவரிசைத் தரவை மட்டும் படித்தால் போதும், இது I/O செயல்பாடுகளைக் கணிசமாகக் குறைத்து வினவல் செயல்திறனை மேம்படுத்துகிறது.
• மேம்படுத்தப்பட்ட பகுப்பாய்வு செயல்திறன்: நெடுவரிசை சேமிப்பகம், குறிப்பிட்ட நெடுவரிசைகளில் தரவை ஒருங்கிணைத்தல் மற்றும் வடிகட்டுதல் போன்ற பகுப்பாய்வுப் பணிகளுக்கு மிகவும் பொருத்தமானது.

அப்பாச்சி பார்குவேட் அறிமுகம்

அப்பாச்சி பார்குவேட் என்பது ஒரு திறந்த மூல, நெடுவரிசை சேமிப்பக வடிவமாகும், இது திறமையான தரவு சேமிப்பு மற்றும் மீட்டெடுப்பிற்காக வடிவமைக்கப்பட்டுள்ளது. இது அப்பாச்சி ஸ்பார்க், அப்பாச்சி ஹடூப் மற்றும் அப்பாச்சி ஆரோ போன்ற பெருந்தரவு செயலாக்க கட்டமைப்புகளுடன் பயன்படுத்த மிகவும் பொருத்தமானது. பார்குவேட்டின் முக்கிய அம்சங்கள் பின்வருமாறு:

• நெடுவரிசை சேமிப்பகம்: விவாதித்தபடி, பார்குவேட் தரவை நெடுவரிசை வாரியாக சேமிக்கிறது.
• ஸ்கீமா பரிணாமம்: பார்குவேட் ஸ்கீமா பரிணாமத்தை ஆதரிக்கிறது, இது முழு தரவுத்தொகுப்பையும் மீண்டும் எழுதாமல் நெடுவரிசைகளைச் சேர்க்க அல்லது அகற்ற உங்களை அனுமதிக்கிறது.
• சுருக்கம்: பார்குவேட் Snappy, Gzip, LZO, மற்றும் Brotli உள்ளிட்ட பல்வேறு சுருக்க கோடெக்குகளை ஆதரிக்கிறது, இது சேமிப்பக இடத்தில் குறிப்பிடத்தக்க குறைப்புகளை செயல்படுத்துகிறது.
• குறியாக்கம்: பார்குவேட், தரவுப் பண்புகளின் அடிப்படையில் சேமிப்பகத்தை மேம்படுத்த, டிக்ஷனரி என்கோடிங், ப்ளைன் என்கோடிங் மற்றும் டெல்டா என்கோடிங் போன்ற வெவ்வேறு குறியாக்கத் திட்டங்களைப் பயன்படுத்துகிறது.
• பிரடிகேட் புஷ்டவுன் (Predicate Pushdown): பார்குவேட் பிரடிகேட் புஷ்டவுனை ஆதரிக்கிறது, இது சேமிப்பக அடுக்கில் வடிகட்டுதலை நிகழ்த்த அனுமதிக்கிறது, மேலும் I/O ஐக் குறைத்து வினவல் செயல்திறனை மேம்படுத்துகிறது.

பார்குவேட்டிற்கான முக்கிய மேம்படுத்தல் நுட்பங்கள்

1. ஸ்கீமா வடிவமைப்பு மற்றும் தரவு வகைகள்

பார்குவேட் மேம்படுத்தலுக்கு கவனமான ஸ்கீமா வடிவமைப்பு முக்கியமானது. ஒவ்வொரு நெடுவரிசைக்கும் பொருத்தமான தரவு வகைகளைத் தேர்ந்தெடுப்பது சேமிப்பக திறன் மற்றும் வினவல் செயல்திறனை கணிசமாகப் பாதிக்கும்.

• சரியான தரவு வகைகளைத் தேர்ந்தெடுத்தல்: தரவை துல்லியமாகக் குறிக்கக்கூடிய மிகச்சிறிய தரவு வகையைப் பயன்படுத்தவும். எடுத்துக்காட்டாக, ஒரு நெடுவரிசை வயதுகளைக் குறித்தால், அதிகபட்ச வயது சிறிய வரம்பிற்குள் இருந்தால் `INT32` க்குப் பதிலாக `INT8` அல்லது `INT16` ஐப் பயன்படுத்தவும். இதேபோல், பண மதிப்புகளுக்கு, மிதவைப் புள்ளித் தவறுகளைத் தவிர்க்க, பொருத்தமான துல்லியம் மற்றும் அளவுகோலுடன் `DECIMAL` ஐப் பயன்படுத்துவதைக் கவனியுங்கள்.
• கூட்டுக்குள் அமைந்த தரவு கட்டமைப்புகள்: பார்குவேட் கூட்டுக்குள் அமைந்த தரவு கட்டமைப்புகளை (எ.கா., பட்டியல்கள் மற்றும் வரைபடங்கள்) ஆதரிக்கிறது. அவற்றை நியாயமாகப் பயன்படுத்துங்கள். சிக்கலான தரவைக் குறிக்க அவை பயனுள்ளதாக இருந்தாலும், அதிகப்படியான கூடுகள் வினவல் செயல்திறனைப் பாதிக்கலாம். கூட்டுக்குள் அமைந்த கட்டமைப்புகள் மிகவும் சிக்கலானதாக மாறினால், தரவை இயல்புநிலைக்குக் கொண்டுவருவதைக் கவனியுங்கள்.
• பெரிய உரை புலங்களைத் தவிர்க்கவும்: பெரிய உரை புலங்கள் சேமிப்பக இடத்தையும் வினவல் நேரத்தையும் கணிசமாக அதிகரிக்கலாம். முடிந்தால், பெரிய உரைத் தரவை ஒரு தனி சேமிப்பக அமைப்பில் சேமித்து, அதை ஒரு தனித்துவமான அடையாளங்காட்டியுடன் பார்குவேட் தரவுடன் இணைப்பதைக் கவனியுங்கள். உரையை சேமிப்பது முற்றிலும் அவசியமானால், பொருத்தமாக சுருக்கவும்.

உதாரணம்: இருப்பிடத் தரவைச் சேமிப்பதைக் கவனியுங்கள். அட்சரேகை மற்றும் தீர்க்கரேகையை தனித்தனி `DOUBLE` நெடுவரிசைகளாகச் சேமிப்பதற்குப் பதிலாக, நீங்கள் ஒரு புவிசார் தரவு வகையைப் பயன்படுத்துவதைக் கருத்தில் கொள்ளலாம் (உங்கள் செயலாக்க இயந்திரத்தால் ஆதரிக்கப்பட்டால்) அல்லது அவற்றை நன்கு வரையறுக்கப்பட்ட வடிவத்தில் (எ.கா., "அட்சரேகை,தீர்க்கரேகை") ஒற்றை `STRING` ஆக சேமிக்கலாம். இது சேமிப்பகத் திறனை மேம்படுத்தி, இடஞ்சார்ந்த வினவல்களை எளிதாக்கும்.

2. சரியான குறியாக்கத்தைத் தேர்ந்தெடுத்தல்

பார்குவேட் பல்வேறு குறியாக்கத் திட்டங்களை வழங்குகிறது, ஒவ்வொன்றும் வெவ்வேறு வகையான தரவுகளுக்குப் பொருத்தமானவை. பொருத்தமான குறியாக்கத்தைத் தேர்ந்தெடுப்பது சுருக்கம் மற்றும் வினவல் செயல்திறனை கணிசமாகப் பாதிக்கும்.

• ப்ளைன் என்கோடிங்: இது இயல்புநிலை குறியாக்கமாகும், மேலும் தரவு மதிப்புகளை அப்படியே சேமிக்கிறது. எளிதில் சுருக்க முடியாத தரவுகளுக்கு இது பொருத்தமானது.
• டிக்ஷனரி என்கோடிங்: இந்த குறியாக்கம் ஒரு நெடுவரிசைக்கான தனித்துவமான மதிப்புகளின் அகராதியை உருவாக்கி, பின்னர் உண்மையான மதிப்புகளுக்குப் பதிலாக அகராதி குறியீடுகளைச் சேமிக்கிறது. குறைந்த எண்ணிக்கையிலான தனித்துவமான மதிப்புகளைக் கொண்ட நெடுவரிசைகளுக்கு (எ.கா., நாட்டின் குறியீடுகள், தயாரிப்பு வகைகள் அல்லது நிலைக் குறியீடுகள் போன்ற வகைப்படுத்தப்பட்ட தரவு) இது மிகவும் பயனுள்ளதாக இருக்கும்.
• ரன்-லென்த் என்கோடிங் (RLE): மீண்டும் மீண்டும் வரும் மதிப்புகளின் நீண்ட வரிசைகளைக் கொண்ட நெடுவரிசைகளுக்கு RLE பொருத்தமானது. இது மதிப்பையும் அது மீண்டும் மீண்டும் வரும் எண்ணிக்கையையும் சேமிக்கிறது.
• டெல்டா என்கோடிங்: டெல்டா என்கோடிங் தொடர்ச்சியான மதிப்புகளுக்கு இடையிலான வேறுபாட்டைச் சேமிக்கிறது. நேரத் தொடர் தரவு அல்லது மதிப்புகள் ஒன்றுக்கொன்று நெருக்கமாக இருக்கும் பிற தரவுகளுக்கு இது பயனுள்ளதாக இருக்கும்.
• பிட்-பேக்டு என்கோடிங்: இந்த குறியாக்கம் பல மதிப்புகளை ஒரே பைட்டில் திறமையாக பேக் செய்கிறது, இது சேமிப்பக இடத்தைக் குறைக்கிறது, குறிப்பாக சிறிய முழு எண் மதிப்புகளுக்கு.

உதாரணம்: மின்-வணிகப் பரிவர்த்தனைகளின் "ஆர்டர் நிலை"யைக் குறிக்கும் ஒரு நெடுவரிசையைக் கவனியுங்கள் (எ.கா., "நிலுவையில் உள்ளது," "அனுப்பப்பட்டது," "வழங்கப்பட்டது," "ரத்து செய்யப்பட்டது"). இந்தச் சூழ்நிலையில் டிக்ஷனரி என்கோடிங் மிகவும் பயனுள்ளதாக இருக்கும், ஏனெனில் நெடுவரிசையில் குறைந்த எண்ணிக்கையிலான தனித்துவமான மதிப்புகள் உள்ளன. மறுபுறம், தனித்துவமான பயனர் ஐடிகளைக் கொண்ட ஒரு நெடுவரிசை டிக்ஷனரி என்கோடிங்கிலிருந்து பயனடையாது.

3. சுருக்க கோடெக்குகள்

பார்குவேட் சேமிப்பக இடத்தைக் குறைக்க பல்வேறு சுருக்க கோடெக்குகளை ஆதரிக்கிறது. கோடெக்கின் தேர்வு சேமிப்பக அளவு மற்றும் சுருக்கம் மற்றும் டிகம்பரஷன் போது CPU பயன்பாடு இரண்டையும் கணிசமாகப் பாதிக்கும்.

• Snappy: Snappy ஒரு வேகமான சுருக்க கோடெக் ஆகும், இது சுருக்க விகிதம் மற்றும் வேகத்திற்கு இடையில் ஒரு நல்ல சமநிலையை வழங்குகிறது. இது பெரும்பாலும் ஒரு நல்ல இயல்புநிலை தேர்வாகும்.
• Gzip: Gzip, Snappy ஐ விட அதிக சுருக்க விகிதங்களை வழங்குகிறது, ஆனால் வேகம் குறைவானது. இது அடிக்கடி அணுகப்படாத தரவுகளுக்கு அல்லது சேமிப்பக இடம் ஒரு முதன்மைக் கவலையாக இருக்கும்போது பொருத்தமானது.
• LZO: LZO என்பது மற்றொரு வேகமான சுருக்க கோடெக் ஆகும், இது பெரும்பாலும் ஹடூப் சூழல்களில் பயன்படுத்தப்படுகிறது.
• Brotli: Brotli, Gzip ஐ விட சிறந்த சுருக்க விகிதங்களை வழங்குகிறது, ஆனால் பொதுவாக வேகம் குறைவானது. சேமிப்பக இடம் மிகவும் குறைவாக இருக்கும்போது மற்றும் CPU பயன்பாடு ஒரு குறைவான கவலையாக இருக்கும்போது இது ஒரு நல்ல தேர்வாக இருக்கும்.
• Zstandard (Zstd): Zstd பரந்த அளவிலான சுருக்க நிலைகளை வழங்குகிறது, இது வேகத்திற்காக சுருக்க விகிதத்தை வர்த்தகம் செய்ய உங்களை அனுமதிக்கிறது. இது பெரும்பாலும் ஒத்த சுருக்க நிலைகளில் Gzip ஐ விட சிறந்த செயல்திறனை வழங்குகிறது.
• சுருக்கப்படாதது: பிழைத்திருத்தம் அல்லது குறிப்பிட்ட செயல்திறன்-முக்கியமான சூழ்நிலைகளுக்கு, நீங்கள் தரவை சுருக்கப்படாமல் சேமிக்கத் தேர்வு செய்யலாம், ஆனால் இது பொதுவாக பெரிய தரவுத்தொகுப்புகளுக்கு பரிந்துரைக்கப்படவில்லை.

உதாரணம்: நிகழ்நேர பகுப்பாய்வுகளில் பயன்படுத்தப்படும் அடிக்கடி அணுகப்படும் தரவுகளுக்கு, Snappy அல்லது குறைந்த சுருக்க நிலை கொண்ட Zstd ஒரு நல்ல தேர்வாக இருக்கும். அடிக்கடி அணுகப்படாத காப்பகத் தரவுகளுக்கு, Gzip அல்லது Brotli மிகவும் பொருத்தமானதாக இருக்கும்.

4. பிரித்தல் (Partitioning)

பிரித்தல் என்பது ஒன்று அல்லது அதற்கு மேற்பட்ட நெடுவரிசைகளின் மதிப்புகளின் அடிப்படையில் ஒரு தரவுத்தொகுப்பை சிறிய, மேலும் நிர்வகிக்கக்கூடிய பகுதிகளாகப் பிரிப்பதை உள்ளடக்கியது. இது வினவல்களை தொடர்புடைய பிரிவுகளுக்கு மட்டும் கட்டுப்படுத்த உங்களை அனுமதிக்கிறது, இது I/O ஐ கணிசமாகக் குறைத்து வினவல் செயல்திறனை மேம்படுத்துகிறது.

• பிரித்தல் நெடுவரிசைகளைத் தேர்ந்தெடுத்தல்: வினவல் வடிப்பான்களில் அடிக்கடி பயன்படுத்தப்படும் பிரித்தல் நெடுவரிசைகளைத் தேர்ந்தெடுக்கவும். பொதுவான பிரித்தல் நெடுவரிசைகளில் தேதி, நாடு, பிராந்தியம் மற்றும் வகை ஆகியவை அடங்கும்.
• பிரித்தல் நுணுக்கம்: உங்கள் பிரிவுகளின் நுணுக்கத்தைக் கவனியுங்கள். அதிகமான பிரிவுகள் சிறிய கோப்புகளுக்கு வழிவகுக்கும், இது செயல்திறனை எதிர்மறையாகப் பாதிக்கும். மிகக் குறைவான பிரிவுகள் செயலாக்க கடினமான பெரிய பிரிவுகளுக்கு வழிவகுக்கும்.
• படிநிலை பிரித்தல்: நேரத் தொடர் தரவுகளுக்கு, படிநிலை பிரித்தலைப் பயன்படுத்துவதைக் கவனியுங்கள் (எ.கா., ஆண்டு/மாதம்/நாள்). இது குறிப்பிட்ட நேர வரம்புகளுக்கான தரவை திறமையாக வினவ உங்களை அனுமதிக்கிறது.
• உயர்-கார்டினாலிட்டி பிரித்தலைத் தவிர்க்கவும்: அதிக எண்ணிக்கையிலான தனித்துவமான மதிப்புகளைக் கொண்ட (உயர் கார்டினாலிட்டி) நெடுவரிசைகளில் பிரிப்பதைத் தவிர்க்கவும், ஏனெனில் இது அதிக எண்ணிக்கையிலான சிறிய பிரிவுகளுக்கு வழிவகுக்கும்.

உதாரணம்: விற்பனைப் பரிவர்த்தனைகளின் தரவுத்தொகுப்பிற்கு, நீங்கள் `ஆண்டு` மற்றும் `மாதம்` ஆகியவற்றால் பிரிக்கலாம். இது ஒரு குறிப்பிட்ட மாதம் அல்லது ஆண்டிற்கான விற்பனைத் தரவை திறமையாக வினவ உங்களை அனுமதிக்கும். நீங்கள் அடிக்கடி நாடு வாரியாக விற்பனைத் தரவை வினவினால், `நாடு` ஐயும் ஒரு பிரித்தல் நெடுவரிசையாகச் சேர்க்கலாம்.

5. கோப்பு அளவு மற்றும் தொகுதி அளவு

பார்குவேட் கோப்புகள் பொதுவாக தொகுதிகளாகப் பிரிக்கப்படுகின்றன. தொகுதி அளவு வினவல் செயலாக்கத்தின் போது இணையின் அளவைப் பாதிக்கிறது. உகந்த கோப்பு அளவு மற்றும் தொகுதி அளவு குறிப்பிட்ட பயன்பாட்டு வழக்கு மற்றும் அடிப்படைக் கட்டமைப்பைப் பொறுத்தது.

• கோப்பு அளவு: பொதுவாக, உகந்த செயல்திறனுக்கு பெரிய கோப்பு அளவுகள் (எ.கா., 128MB முதல் 1GB வரை) விரும்பப்படுகின்றன. சிறிய கோப்புகள் மெட்டாடேட்டா மேலாண்மை மற்றும் அதிகரித்த I/O செயல்பாடுகள் காரணமாக கூடுதல் சுமைக்கு வழிவகுக்கும்.
• தொகுதி அளவு: தொகுதி அளவு பொதுவாக HDFS தொகுதி அளவுக்கு அமைக்கப்படுகிறது (எ.கா., 128MB அல்லது 256MB).
• ஒருங்கிணைத்தல்: செயல்திறனை மேம்படுத்த, சிறிய பார்குவேட் கோப்புகளைத் தவறாமல் பெரிய கோப்புகளாக ஒருங்கிணைக்கவும்.

6. பிரடிகேட் புஷ்டவுன் (Predicate Pushdown)

பிரடிகேட் புஷ்டவுன் என்பது ஒரு சக்திவாய்ந்த மேம்படுத்தல் நுட்பமாகும், இது தரவு நினைவகத்தில் படிக்கப்படுவதற்கு முன்பு, சேமிப்பக அடுக்கில் வடிகட்டுதலை நிகழ்த்த அனுமதிக்கிறது. இது I/O ஐ கணிசமாகக் குறைத்து வினவல் செயல்திறனை மேம்படுத்துகிறது.

• பிரடிகேட் புஷ்டவுனை இயக்கு: உங்கள் வினவல் இயந்திரத்தில் (எ.கா., அப்பாச்சி ஸ்பார்க்) பிரடிகேட் புஷ்டவுன் இயக்கப்பட்டிருப்பதை உறுதிசெய்யவும்.
• வடிப்பான்களை திறம்பட பயன்படுத்தவும்: படிக்க வேண்டிய தரவின் அளவைக் கட்டுப்படுத்த உங்கள் வினவல்களில் வடிப்பான்களைப் பயன்படுத்தவும்.
• பிரித்தல் நீக்கம் (Partition Pruning): பிரடிகேட் புஷ்டவுன், பிரித்தல் நீக்கத்திற்கும் பயன்படுத்தப்படலாம், அங்கு முழுப் பிரிவுகளும் வினவல் வடிப்பானைப் பூர்த்தி செய்யாவிட்டால் தவிர்க்கப்படும்.

7. தரவு தவிர்ப்பு நுட்பங்கள்

பிரடிகேட் புஷ்டவுனைத் தவிர, I/O ஐ மேலும் குறைக்க மற்ற தரவு தவிர்ப்பு நுட்பங்களைப் பயன்படுத்தலாம். குறைந்தபட்சம்/அதிகபட்சம் குறியீடுகள், ப்ளூம் ஃபில்டர்கள் மற்றும் மண்டல வரைபடங்கள் ஆகியவை நெடுவரிசை புள்ளிவிவரங்கள் அல்லது முன்-கணக்கிடப்பட்ட குறியீடுகளின் அடிப்படையில் பொருத்தமற்ற தரவைப் படிப்பதைத் தவிர்ப்பதற்கான சில உத்திகள்.

• குறைந்தபட்சம்/அதிகபட்சம் குறியீடுகள்: ஒரு தரவுத் தொகுதிக்குள் ஒவ்வொரு நெடுவரிசைக்கும் குறைந்தபட்ச மற்றும் அதிகபட்ச மதிப்புகளைச் சேமிப்பது, வினவல் வரம்பிற்கு வெளியே வரும் தொகுதிகளைத் தவிர்க்க வினவல் இயந்திரத்தை அனுமதிக்கிறது.
• ப்ளூம் ஃபில்டர்கள்: ப்ளூம் ஃபில்டர்கள் ஒரு உறுப்பு ஒரு தொகுப்பின் உறுப்பினரா என்பதைச் சோதிக்க ஒரு நிகழ்தகவு வழியை வழங்குகின்றன. பொருந்தும் மதிப்புகளைக் கொண்டிருக்க வாய்ப்பில்லாத தொகுதிகளைத் தவிர்க்க அவை பயன்படுத்தப்படலாம்.
• மண்டல வரைபடங்கள்: குறைந்தபட்சம்/அதிகபட்சம் குறியீடுகளைப் போலவே, மண்டல வரைபடங்களும் ஒரு தொகுதிக்குள் உள்ள தரவைப் பற்றிய கூடுதல் புள்ளிவிவரங்களைச் சேமித்து, மேலும் நுட்பமான தரவு தவிர்ப்பை செயல்படுத்துகின்றன.

8. வினவல் இயந்திர மேம்படுத்தல்

பார்குவேட் வினவல்களின் செயல்திறன் பயன்படுத்தப்படும் வினவல் இயந்திரத்தையும் (எ.கா., அப்பாச்சி ஸ்பார்க், அப்பாச்சி ஹைவ், அப்பாச்சி இம்பாலா) சார்ந்துள்ளது. உங்கள் குறிப்பிட்ட வினவல் இயந்திரத்திற்கான வினவல்களை எவ்வாறு மேம்படுத்துவது என்பதைப் புரிந்துகொள்வது முக்கியம்.

• வினவல் திட்டங்களை மேம்படுத்துதல்: சாத்தியமான இடையூறுகளைக் கண்டறிந்து வினவல் செயலாக்கத்தை மேம்படுத்த வினவல் திட்டங்களை பகுப்பாய்வு செய்யுங்கள்.
• இணைப்பு மேம்படுத்தல்: இணைக்கப்படும் தரவுத்தொகுப்புகளின் அளவைப் பொறுத்து பொருத்தமான இணைப்பு உத்திகளைப் பயன்படுத்தவும் (எ.கா., பிராட்காஸ்ட் ஹாஷ் ஜாயின், ஷஃபிள் ஹாஷ் ஜாயின்).
• தற்காலிக சேமிப்பு (Caching): I/O ஐக் குறைக்க, அடிக்கடி அணுகப்படும் தரவை நினைவகத்தில் தற்காலிகமாக சேமிக்கவும்.
• வள ஒதுக்கீடு: உகந்த செயல்திறனை உறுதிசெய்ய, வினவல் இயந்திரத்திற்கு வளங்களை (எ.கா., நினைவகம், CPU) முறையாக ஒதுக்கவும்.

9. தரவு இருப்பிடம் (Data Locality)

தரவு இருப்பிடம் என்பது செயலாக்க முனைகளுக்கு தரவின் அருகாமையைக் குறிக்கிறது. தரவு அதைச் செயலாக்கும் அதே முனைகளில் உள்நாட்டில் சேமிக்கப்படும்போது, I/O குறைக்கப்படுகிறது, மேலும் செயல்திறன் மேம்படுத்தப்படுகிறது.

• தரவு மற்றும் செயலாக்கத்தை ஒரே இடத்தில் வைத்தல்: உங்கள் பார்குவேட் தரவு உங்கள் வினவல் இயந்திரத்தை இயக்கும் அதே முனைகளில் சேமிக்கப்பட்டுள்ளதா என்பதை உறுதிப்படுத்தவும்.
• HDFS விழிப்புணர்வு: உங்கள் வினவல் இயந்திரத்தை HDFS இடவியல் பற்றி அறிந்திருக்கவும், உள்ளூர் முனைகளிலிருந்து தரவைப் படிப்பதற்கு முன்னுரிமை அளிக்கவும் உள்ளமைக்கவும்.

10. வழக்கமான பராமரிப்பு மற்றும் கண்காணிப்பு

பார்குவேட் மேம்படுத்தல் ஒரு தொடர்ச்சியான செயல்முறையாகும். உங்கள் பார்குவேட் தரவுத்தொகுப்புகளின் செயல்திறனைத் தவறாமல் கண்காணித்து, தேவைக்கேற்ப மாற்றங்களைச் செய்யுங்கள்.

• வினவல் செயல்திறனைக் கண்காணித்தல்: வினவல் செயலாக்க நேரங்களைக் கண்காணித்து, மெதுவாக இயங்கும் வினவல்களைக் கண்டறியவும்.
• சேமிப்பக பயன்பாட்டைக் கண்காணித்தல்: உங்கள் பார்குவேட் தரவுத்தொகுப்புகள் பயன்படுத்தும் சேமிப்பக இடத்தைக் கண்காணித்து, சுருக்கம் மற்றும் மேம்படுத்தலுக்கான வாய்ப்புகளைக் கண்டறியவும்.
• தரவுத் தரம்: உங்கள் தரவு சுத்தமாகவும் சீராகவும் இருப்பதை உறுதிசெய்யவும். தரவுத் தர சிக்கல்கள் வினவல் செயல்திறனை எதிர்மறையாகப் பாதிக்கலாம்.
• ஸ்கீமா பரிணாமம்: ஸ்கீமா பரிணாமத்திற்காக கவனமாகத் திட்டமிடுங்கள். நெடுவரிசைகளைச் சேர்ப்பது அல்லது அகற்றுவது சரியாகச் செய்யப்படாவிட்டால் செயல்திறனைப் பாதிக்கலாம்.

மேம்பட்ட பார்குவேட் மேம்படுத்தல் நுட்பங்கள்

அப்பாச்சி ஆரோவுடன் வெக்டரைஸ்டு ரீட்ஸ் (Vectorized Reads)

அப்பாச்சி ஆரோ என்பது நினைவகத்தில் உள்ள தரவிற்கான ஒரு குறுக்கு-மொழி மேம்பாட்டு தளமாகும். பார்குவேட்டை அப்பாச்சி ஆரோவுடன் ஒருங்கிணைப்பது வெக்டரைஸ்டு ரீட்ஸை அனுமதிக்கிறது, இது தரவை பெரிய தொகுதிகளாகச் செயலாக்குவதன் மூலம் வினவல் செயல்திறனை கணிசமாக மேம்படுத்துகிறது. இது ஒவ்வொரு வரிசை செயலாக்கச் சுமையையும் தவிர்க்கிறது, இது மிக வேகமான பகுப்பாய்வுப் பணிகளை செயல்படுத்துகிறது. செயலாக்கங்கள் பெரும்பாலும் பாரம்பரிய வரிசை அடிப்படையிலான மறுசெய்கையைத் தவிர்த்து, பார்குவேட் கோப்புகளிலிருந்து நேரடியாக ஆரோவின் நெடுவரிசை நினைவக வடிவத்தைப் பயன்படுத்துவதை உள்ளடக்கியது.

நெடுவரிசை மறுவரிசைப்படுத்தல்

ஒரு பார்குவேட் கோப்பிற்குள் உள்ள நெடுவரிசைகளின் பௌதிக வரிசை, சுருக்கம் மற்றும் வினவல் செயல்திறனைப் பாதிக்கலாம். ஒரே மாதிரியான பண்புகளைக் கொண்ட நெடுவரிசைகளை (எ.கா., உயர் கார்டினாலிட்டி எதிர் குறைந்த கார்டினாலிட்டி) ஒன்றாகச் சேமிக்கும் வகையில் மறுவரிசைப்படுத்துவது, குறிப்பிட்ட நெடுவரிசைக் குழுக்களை அணுகும்போது சுருக்க விகிதங்களை மேம்படுத்தி I/O ஐக் குறைக்கும். ஒரு குறிப்பிட்ட தரவுத்தொகுப்பு மற்றும் பணிச்சுமைக்கு உகந்த நெடுவரிசை வரிசையைத் தீர்மானிக்க பரிசோதனை மற்றும் விவரக்குறிப்பு முக்கியம்.

சரம் நெடுவரிசைகளுக்கான ப்ளூம் ஃபில்டர்கள்

ப்ளூம் ஃபில்டர்கள் பொதுவாக எண் நெடுவரிசைகளுக்கு பயனுள்ளதாக இருந்தாலும், அவை சரம் நெடுவரிசைகளுக்கும் நன்மை பயக்கும், குறிப்பாக சமத்துவ பயனிலைகளில் வடிகட்டும்போது (எ.கா., `WHERE product_name = 'குறிப்பிட்ட தயாரிப்பு'`). அடிக்கடி வடிகட்டப்பட்ட சரம் நெடுவரிசைகளுக்கு ப்ளூம் ஃபில்டர்களை இயக்குவது, பொருந்தும் மதிப்புகளைக் கொண்டிருக்க வாய்ப்பில்லாத தொகுதிகளைத் தவிர்ப்பதன் மூலம் I/O ஐ கணிசமாகக் குறைக்கும். செயல்திறன், சரம் மதிப்புகளின் கார்டினாலிட்டி மற்றும் விநியோகத்தைப் பொறுத்தது.

தனிப்பயன் குறியாக்கங்கள்

மிகவும் சிறப்பு வாய்ந்த தரவு வகைகள் அல்லது வடிவங்களுக்கு, தரவின் குறிப்பிட்ட பண்புகளுக்கு ஏற்றவாறு தனிப்பயன் குறியாக்கத் திட்டங்களை செயல்படுத்துவதைக் கவனியுங்கள். இது தனிப்பயன் கோடெக்குகளை உருவாக்குவது அல்லது சிறப்பு குறியாக்க வழிமுறைகளை வழங்கும் தற்போதைய நூலகங்களைப் பயன்படுத்துவதை உள்ளடக்கியிருக்கலாம். தனிப்பயன் குறியாக்கங்களின் மேம்பாடு மற்றும் பராமரிப்புக்கு குறிப்பிடத்தக்க நிபுணத்துவம் தேவைப்படுகிறது, ஆனால் குறிப்பிட்ட சூழ்நிலைகளில் கணிசமான செயல்திறன் ஆதாயங்களை அளிக்க முடியும்.

பார்குவேட் மெட்டாடேட்டா தற்காலிக சேமிப்பு

பார்குவேட் கோப்புகளில் தரவின் ஸ்கீமா, குறியாக்கம் மற்றும் புள்ளிவிவரங்களை விவரிக்கும் மெட்டாடேட்டா உள்ளது. இந்த மெட்டாடேட்டாவை நினைவகத்தில் தற்காலிகமாக சேமிப்பது வினவல் தாமதத்தை கணிசமாகக் குறைக்கும், குறிப்பாக அதிக எண்ணிக்கையிலான பார்குவேட் கோப்புகளை அணுகும் வினவல்களுக்கு. வினவல் இயந்திரங்கள் பெரும்பாலும் மெட்டாடேட்டா தற்காலிக சேமிப்பிற்கான வழிமுறைகளை வழங்குகின்றன, மேலும் செயல்திறனை அதிகரிக்க இந்த அமைப்புகளை முறையாக உள்ளமைப்பது முக்கியம்.

பார்குவேட் மேம்படுத்தலுக்கான உலகளாவிய பரிசீலனைகள்

உலகளாவிய சூழலில் பார்குவேட்டுடன் பணிபுரியும்போது, பின்வருவனவற்றைக் கருத்தில் கொள்வது அவசியம்:

• நேர மண்டலங்கள்: நேரமுத்திரைகளைச் சேமிக்கும்போது, குழப்பத்தைத் தவிர்ப்பதற்கும் வெவ்வேறு நேர மண்டலங்களில் நிலைத்தன்மையை உறுதி செய்வதற்கும் UTC (ஒருங்கிணைக்கப்பட்ட உலகளாவிய நேரம்) ஐப் பயன்படுத்தவும்.
• எழுத்துக் குறியாக்கம்: வெவ்வேறு மொழிகளிலிருந்து பரந்த அளவிலான எழுத்துக்களை ஆதரிக்க அனைத்து உரைத் தரவிற்கும் UTF-8 குறியாக்கத்தைப் பயன்படுத்தவும்.
• நாணயம்: பண மதிப்புகளைச் சேமிக்கும்போது, ஒரு நிலையான நாணயத்தைப் பயன்படுத்தவும், மிதவைப் புள்ளித் தவறுகளைத் தவிர்க்க தசம தரவு வகையைப் பயன்படுத்துவதைக் கருத்தில் கொள்ளவும்.
• தரவு ஆளுகை: வெவ்வேறு பிராந்தியங்கள் மற்றும் குழுக்களிடையே தரவுத் தரம் மற்றும் நிலைத்தன்மையை உறுதிப்படுத்த பொருத்தமான தரவு ஆளுகைக் கொள்கைகளைச் செயல்படுத்தவும்.
• இணக்கம்: தரவு தனியுரிமை விதிமுறைகள் (எ.கா., GDPR, CCPA) குறித்து எச்சரிக்கையாக இருங்கள், மேலும் உங்கள் பார்குவேட் தரவு இந்த விதிமுறைகளுக்கு இணங்க சேமிக்கப்பட்டு செயலாக்கப்படுவதை உறுதிசெய்யவும்.
• கலாச்சார வேறுபாடுகள்: உங்கள் தரவு ஸ்கீமாவை வடிவமைக்கும்போதும், தரவு வகைகளைத் தேர்ந்தெடுக்கும்போதும் கலாச்சார வேறுபாடுகளை மனதில் கொள்ளுங்கள். எடுத்துக்காட்டாக, தேதி வடிவங்கள் மற்றும் எண் வடிவங்கள் வெவ்வேறு பிராந்தியங்களில் வேறுபடலாம்.

முடிவுரை

பார்குவேட் மேம்படுத்தல் என்பது தரவுப் பண்புகள், குறியாக்கத் திட்டங்கள், சுருக்க கோடெக்குகள் மற்றும் வினவல் இயந்திர நடத்தை ஆகியவற்றைப் பற்றிய ஆழமான புரிதல் தேவைப்படும் ஒரு பன்முக செயல்முறையாகும். இந்த வழிகாட்டியில் விவாதிக்கப்பட்ட நுட்பங்களைப் பயன்படுத்துவதன் மூலம், தரவுப் பொறியாளர்கள் மற்றும் கட்டிடக் கலைஞர்கள் தங்கள் பெருந்தரவு பயன்பாடுகளின் செயல்திறனையும் திறனையும் கணிசமாக மேம்படுத்த முடியும். உகந்த மேம்படுத்தல் உத்தி குறிப்பிட்ட பயன்பாட்டு வழக்கு மற்றும் அடிப்படைக் கட்டமைப்பைப் பொறுத்தது என்பதை நினைவில் கொள்ளுங்கள். தொடர்ந்து மாறிவரும் பெருந்தரவு நிலப்பரப்பில் சிறந்த முடிவுகளை அடைய தொடர்ச்சியான கண்காணிப்பு மற்றும் பரிசோதனை முக்கியம்.