M

MLOG

தமிழ்

தரவுக் கிடங்கு மற்றும் பெரிய அளவிலான தரவு செயலாக்கத்திற்கு அப்பாச்சி ஹைவின் முழுத் திறனையும் திறக்கவும். உலகளாவிய குழுக்களுக்கான வினவல் செயல்திறன் மற்றும் வளப் பயன்பாட்டை மேம்படுத்த, மேம்படுத்தும் நுட்பங்கள், உள்ளமைவு உதவிக்குறிப்புகள் மற்றும் சிறந்த நடைமுறைகளைக் கற்றுக்கொள்ளுங்கள்.

ஹைவ் உற்பத்தித்திறனை மேம்படுத்துதல்: உலகளாவிய குழுக்களுக்கான ஒரு விரிவான வழிகாட்டி

அப்பாச்சி ஹைவ் (Apache Hive) என்பது ஹடூப் மீது கட்டமைக்கப்பட்ட ஒரு சக்திவாய்ந்த தரவுக் கிடங்கு அமைப்பாகும். இது பெரிய தரவுத்தொகுப்புகளின் தரவு சுருக்கம், வினவல் மற்றும் பகுப்பாய்வு ஆகியவற்றை செயல்படுத்துகிறது. ஹைவ் பிக் டேட்டாவுடன் வேலை செய்வதை எளிதாக்கினாலும், சரியாக மேம்படுத்தப்படாவிட்டால் அதன் செயல்திறன் ஒரு தடையாக இருக்கலாம். இந்த வழிகாட்டி, பல்வேறு சூழல்களில் செயல்படும் உலகளாவிய குழுக்களின் தேவைகளை குறிப்பாக பூர்த்தி செய்து, ஹைவ் உற்பத்தித்திறனை மேம்படுத்துவதற்கான நுட்பங்கள் மற்றும் சிறந்த நடைமுறைகளின் விரிவான கண்ணோட்டத்தை வழங்குகிறது.

ஹைவ் கட்டமைப்பு மற்றும் செயல்திறன் தடைகளைப் புரிந்துகொள்ளுதல்

மேம்படுத்தல் உத்திகளுக்குள் நுழைவதற்கு முன், ஹைவின் அடிப்படைக் கட்டமைப்பைப் புரிந்துகொள்வதும், சாத்தியமான செயல்திறன் தடைகளைக் கண்டறிவதும் முக்கியம். ஹைவ் SQL போன்ற வினவல்களை (HiveQL) MapReduce, Tez, அல்லது Spark பணிகளாக மொழிபெயர்க்கிறது, அவை பின்னர் ஹடூப் கிளஸ்டரில் செயல்படுத்தப்படுகின்றன.

முக்கிய கூறுகள் மற்றும் செயல்முறைகள்:

பொதுவான செயல்திறன் தடைகள்:

உலகளாவிய சூழல்களுக்கான உள்ளமைவு மேம்படுத்தல்

ஹைவின் செயல்திறன் அதன் உள்ளமைவைப் பெரிதும் சார்ந்துள்ளது. இந்த அமைப்புகளை மேம்படுத்துவது வினவல் செயலாக்க நேரங்களையும் வளப் பயன்பாட்டையும் கணிசமாக மேம்படுத்தும். தரவு மூலங்கள் மற்றும் குழு இருப்பிடங்களின் பன்முகத்தன்மையைக் கருத்தில் கொண்டு, இந்த உள்ளமைவுகளைக் கவனியுங்கள்:

பொதுவான உள்ளமைவு:

நினைவக மேலாண்மை:

இணைச் செயலாக்கம் (Parallel Execution):

கோப்பு வடிவம் மற்றும் சுருக்கம்:

எடுத்துக்காட்டு உள்ளமைவு துணுக்கு (hive-site.xml):

<property> <name>hive.execution.engine</name> <value>tez</value> </property> <property> <name>hive.optimize.cp</name> <value>true</value> </property> <property> <name>hive.vectorize.enabled</name> <value>true</value> </property> <property> <name>hive.tez.container.size</name> <value>4096mb</value> </property> <property> <name>hive.exec.parallel</name> <value>true</value> </property>

வினவல் மேம்படுத்தல் நுட்பங்கள்

செயல்திறனுக்கு திறமையான HiveQL வினவல்களை எழுதுவது முக்கியம். உங்கள் வினவல்களை மேம்படுத்த பல நுட்பங்கள் இங்கே:

பகிர்வு (Partitioning):

பகிர்வு ஒரு அட்டவணையை ஒரு குறிப்பிட்ட நெடுவரிசையின் (எ.கா., தேதி, பிராந்தியம்) அடிப்படையில் சிறிய பகுதிகளாகப் பிரிக்கிறது. இது தொடர்புடைய பகிர்வுகளை மட்டும் வினவ ஹைவை அனுமதிக்கிறது, ஸ்கேன் செய்யப்படும் தரவின் அளவைக் கணிசமாகக் குறைக்கிறது. இது புவியியல் பகுதி அல்லது உட்செலுத்தப்பட்ட தேதியின்படி தர்க்கரீதியாகப் பிரிக்கக்கூடிய உலகளாவிய தரவைக் கையாளும் போது *குறிப்பாக* முக்கியமானது.

எடுத்துக்காட்டு: தேதி வாரியாகப் பகிர்வு

CREATE TABLE sales ( product_id INT, sale_amount DOUBLE ) PARTITIONED BY (sale_date STRING) STORED AS ORC;

ஒரு குறிப்பிட்ட தேதிக்கான விற்பனையை வினவும்போது, ஹைவ் தொடர்புடைய பகிர்வை மட்டுமே படிக்கும்:

SELECT * FROM sales WHERE sale_date = '2023-10-27';

பக்கெட்டிங் (Bucketing):

பக்கெட்டிங் ஒரு அட்டவணையின் தரவை ஒன்று அல்லது அதற்கு மேற்பட்ட நெடுவரிசைகளின் ஹாஷ் மதிப்பின் அடிப்படையில் ஒரு குறிப்பிட்ட எண்ணிக்கையிலான பக்கெட்டுகளாகப் பிரிக்கிறது. இது பக்கெட் செய்யப்பட்ட நெடுவரிசைகளில் அட்டவணைகளை இணைக்கும்போது வினவல் செயல்திறனை மேம்படுத்துகிறது.

எடுத்துக்காட்டு: பயனர் ஐடி மூலம் பக்கெட்டிங்

CREATE TABLE users ( user_id INT, username STRING, city STRING ) CLUSTERED BY (user_id) INTO 100 BUCKETS STORED AS ORC;

பயனர் ஐடி மூலம் பக்கெட் செய்யப்பட்ட மற்றொரு அட்டவணையுடன் பயனர்களை இணைக்கும்போது, ஹைவ் தொடர்புடைய பக்கெட்டுகளை மட்டும் ஒப்பிட்டு இணைப்பை திறமையாகச் செய்ய முடியும்.

இணைப்பு மேம்படுத்தல் (Joining Optimization):

எடுத்துக்காட்டு: மேப்ஜாயின்

SELECT /*+ MAPJOIN(small_table) */ big_table.column1, small_table.column2 FROM big_table JOIN small_table ON big_table.join_key = small_table.join_key;

துணை வினவல் மேம்படுத்தல் (Subquery Optimization):

தொடர்புடைய துணை வினவல்களைப் பயன்படுத்துவதைத் தவிர்க்கவும், ஏனெனில் அவை மிகவும் திறமையற்றதாக இருக்கும். முடிந்தவரை இணைப்புகள் அல்லது தற்காலிக அட்டவணைகளைப் பயன்படுத்தி அவற்றை மீண்டும் எழுதவும். பொதுவான அட்டவணை வெளிப்பாடுகளைப் (CTEs) பயன்படுத்துவது வாசிப்புத்திறன் மற்றும் மேம்படுத்தலுக்கு உதவும்.

எடுத்துக்காட்டு: தொடர்புடைய துணை வினவலை ஒரு இணைப்புடன் மாற்றுதல்

திறமையற்றது:

SELECT order_id, (SELECT customer_name FROM customers WHERE customer_id = orders.customer_id) FROM orders;

திறமையானது:

SELECT orders.order_id, customers.customer_name FROM orders JOIN customers ON orders.customer_id = customers.customer_id;

வடிகட்டுதல் மற்றும் முன்கணிப்புகள் (Filtering and Predicates):

திரட்டல் மேம்படுத்தல் (Aggregation Optimization):

எடுத்துக்காட்டு வினவல் மேம்படுத்தல் காட்சி: இ-காமர்ஸ் விற்பனை பகுப்பாய்வு (உலகளாவிய)

பல நாடுகள் மற்றும் பிராந்தியங்களில் விற்பனைத் தரவைக் கொண்ட ஒரு இ-காமர்ஸ் நிறுவனத்தைக் கவனியுங்கள். விற்பனைத் தரவு `global_sales` எனப்படும் ஹைவ் அட்டவணையில் பின்வரும் திட்டத்துடன் சேமிக்கப்படுகிறது:

CREATE TABLE global_sales ( order_id INT, product_id INT, customer_id INT, sale_amount DOUBLE, country STRING, region STRING, sale_date STRING ) PARTITIONED BY (country, sale_date) STORED AS ORC TBLPROPERTIES ('orc.compress'='SNAPPY');

நிறுவனம் ஒரு குறிப்பிட்ட நாடு மற்றும் தேதிக்கான பிராந்தியம் வாரியாக மொத்த விற்பனைத் தொகையை பகுப்பாய்வு செய்ய விரும்புகிறது. ஒரு சாதாரண வினவல் இப்படி இருக்கலாம்:

SELECT region, SUM(sale_amount) FROM global_sales WHERE country = 'USA' AND sale_date = '2023-10-27' GROUP BY region;

மேம்படுத்தப்பட்ட வினவல்:

பின்வரும் மேம்படுத்தல்கள் பயன்படுத்தப்படலாம்:

மேம்படுத்தப்பட்ட வினவல் அப்படியே உள்ளது, ஏனெனில் பகிர்வு மற்றும் சேமிப்பக வடிவம் ஏற்கனவே மேம்படுத்தப்பட்டுள்ளன. இருப்பினும், புள்ளிவிவரங்கள் புதுப்பித்த நிலையில் இருப்பதை உறுதி செய்வது முக்கியம் (கீழே காண்க).

தரவு மேலாண்மை மற்றும் பராமரிப்பு

உகந்த செயல்திறனுக்கு உங்கள் ஹைவ் தரவைப் பராமரிப்பது முக்கியம். வழக்கமான தரவு பராமரிப்புப் பணிகள் உங்கள் தரவு சுத்தமாகவும், சீராகவும், ஒழுங்காகவும் இருப்பதை உறுதி செய்கின்றன.

புள்ளிவிவரச் சேகரிப்பு:

வினவல் செயலாக்கத் திட்டங்களை மேம்படுத்த ஹைவ் புள்ளிவிவரங்களைப் பயன்படுத்துகிறது. `ANALYZE TABLE` கட்டளையைப் பயன்படுத்தி உங்கள் அட்டவணைகளில் புள்ளிவிவரங்களை தவறாமல் சேகரிக்கவும்.

எடுத்துக்காட்டு: புள்ளிவிவரங்களைச் சேகரித்தல்

ANALYZE TABLE global_sales COMPUTE STATISTICS FOR ALL COLUMNS;

தரவுச் சுருக்கம் (Data Compaction):

காலப்போக்கில், HDFS-இல் சிறிய கோப்புகள் குவிந்து, செயல்திறன் குறைபாட்டிற்கு வழிவகுக்கும். `ALTER TABLE ... CONCATENATE` கட்டளையைப் பயன்படுத்தி அல்லது கோப்புகளை இணைக்க ஒரு MapReduce வேலையை எழுதி, சிறிய கோப்புகளை பெரிய கோப்புகளாகத் தவறாமல் சுருக்கவும். உலகளவில் விநியோகிக்கப்பட்ட மூலங்களிலிருந்து ஸ்ட்ரீமிங் தரவை உட்செலுத்தும்போது இது மிகவும் முக்கியமானது.

தரவுக் காப்பகம் (Data Archiving):

உங்கள் செயலில் உள்ள தரவுத்தொகுப்புகளின் அளவைக் குறைக்க பழைய அல்லது அடிக்கடி அணுகப்படாத தரவைக் காப்பகப்படுத்தவும். நீங்கள் தரவை அமேசான் எஸ்3 கிளேசியர் அல்லது அஸூர் ஆர்க்கைவ் ஸ்டோரேஜ் போன்ற மலிவான சேமிப்பக அடுக்குகளுக்கு நகர்த்தலாம்.

தரவு சரிபார்ப்பு (Data Validation):

தரவுத் தரம் மற்றும் நிலைத்தன்மையை உறுதிப்படுத்த தரவு சரிபார்ப்புச் சோதனைகளைச் செயல்படுத்தவும். உட்செலுத்தலின் போது தரவைச் சரிபார்க்க ஹைவ் UDF-கள் (பயனர் வரையறுத்த செயல்பாடுகள்) அல்லது வெளிப்புறக் கருவிகளைப் பயன்படுத்தவும்.

கண்காணிப்பு மற்றும் சரிசெய்தல்

சிக்கல்களைக் கண்டறிந்து தீர்க்க ஹைவின் செயல்திறனைக் கண்காணிப்பது அவசியம். உங்கள் ஹைவ் வரிசைப்படுத்தல்களைக் கண்காணிக்கவும் சரிசெய்யவும் பின்வரும் கருவிகள் மற்றும் நுட்பங்களைப் பயன்படுத்தவும்:

ஹைவ் பதிவுகள் (Hive Logs):

பிழைகள், எச்சரிக்கைகள் மற்றும் செயல்திறன் தடைகளுக்கு ஹைவின் பதிவுகளை ஆராயுங்கள். பதிவுகள் வினவல் செயலாக்கம், வளப் பயன்பாடு மற்றும் சாத்தியமான சிக்கல்கள் பற்றிய மதிப்புமிக்க தகவல்களை வழங்குகின்றன.

ஹடூப் கண்காணிப்புக் கருவிகள்:

உங்கள் ஹடூப் கிளஸ்டரின் ஒட்டுமொத்த ஆரோக்கியத்தைக் கண்காணிக்க ஹடூப் வலை UI, அம்பாரி அல்லது கிளவுடெரா மேனேஜர் போன்ற ஹடூப் கண்காணிப்புக் கருவிகளைப் பயன்படுத்தவும். இந்த கருவிகள் வளப் பயன்பாடு, முனை நிலை மற்றும் வேலை செயல்திறன் பற்றிய நுண்ணறிவுகளை வழங்குகின்றன.

வினவல் விவரக்குறிப்பு (Query Profiling):

உங்கள் வினவல்களின் செயலாக்கத் திட்டத்தை பகுப்பாய்வு செய்ய ஹைவின் வினவல் விவரக்குறிப்பு அம்சத்தைப் பயன்படுத்தவும். இது மெதுவான நிலைகளைக் கண்டறிந்து அதற்கேற்ப உங்கள் வினவல்களை மேம்படுத்த உங்களை அனுமதிக்கிறது. `hive.profiler.enabled=true` என அமைத்து, வெளியீட்டை பகுப்பாய்வு செய்யவும்.

வளக் கண்காணிப்பு:

உங்கள் ஹடூப் முனைகளில் CPU, நினைவகம் மற்றும் வட்டு I/O பயன்பாட்டைக் கண்காணிக்கவும். வளத் தடைகளைக் கண்டறிய `top`, `vmstat`, மற்றும் `iostat` போன்ற கருவிகளைப் பயன்படுத்தவும்.

பொதுவான சரிசெய்தல் காட்சிகள்:

ஒத்துழைப்பு மற்றும் உலகளாவிய குழு கருத்தாய்வுகள்

உலகளாவிய குழுக்களுடன் பணிபுரியும்போது, ஹைவ் உற்பத்தித்திறனை மேம்படுத்துவதற்கு ஒத்துழைப்பும் தகவல்தொடர்பும் அவசியம்.

தரப்படுத்தப்பட்ட உள்ளமைவு:

முரண்பாடுகள் மற்றும் செயல்திறன் சிக்கல்களைத் தவிர்க்க அனைத்து குழு உறுப்பினர்களும் ஒரு தரப்படுத்தப்பட்ட ஹைவ் உள்ளமைவைப் பயன்படுத்துவதை உறுதிசெய்யவும். ஹைவ் உள்ளமைவுகளின் வரிசைப்படுத்தல் மற்றும் நிர்வாகத்தை தானியக்கமாக்க ஆன்சிபிள் அல்லது செஃப் போன்ற உள்ளமைவு மேலாண்மைக் கருவிகளைப் பயன்படுத்தவும்.

குறியீடு மதிப்புரைகள் (Code Reviews):

HiveQL வினவல்கள் நன்கு எழுதப்பட்டவை, திறமையானவை மற்றும் குறியீட்டுத் தரங்களைப் பின்பற்றுவதை உறுதிசெய்ய குறியீடு மதிப்பாய்வு செயல்முறைகளைச் செயல்படுத்தவும். ஹைவ் ஸ்கிரிப்டுகள் மற்றும் உள்ளமைவுகளை நிர்வகிக்க ஜிட் போன்ற பதிப்புக் கட்டுப்பாட்டு முறையைப் பயன்படுத்தவும்.

அறிவுப் பகிர்வு:

ஆவணங்கள், பயிற்சி அமர்வுகள் மற்றும் ஆன்லைன் மன்றங்கள் மூலம் குழு உறுப்பினர்களிடையே அறிவுப் பகிர்வை ஊக்குவிக்கவும். ஹைவ் ஸ்கிரிப்டுகள், உள்ளமைவுகள் மற்றும் சிறந்த நடைமுறைகளுக்கு ஒரு மைய களஞ்சியத்தை உருவாக்கவும்.

நேர மண்டல விழிப்புணர்வு:

நேரம் சார்ந்த தரவுகளுடன் பணிபுரியும்போது, நேர மண்டலங்களைக் கவனத்தில் கொள்ளவும். அனைத்து நேர முத்திரைகளையும் UTC-இல் சேமித்து, அறிக்கை மற்றும் பகுப்பாய்வுக்காக பொருத்தமான நேர மண்டலத்திற்கு மாற்றவும். நேர மண்டல மாற்றங்களைக் கையாள ஹைவ் UDF-கள் அல்லது வெளிப்புறக் கருவிகளைப் பயன்படுத்தவும்.

தரவு ஆளுமை (Data Governance):

தரவுத் தரம், பாதுகாப்பு மற்றும் இணக்கத்தை உறுதிப்படுத்த தெளிவான தரவு ஆளுமைக் கொள்கைகளை நிறுவவும். தரவு உரிமை, அணுகல் கட்டுப்பாடு மற்றும் தரவுத் தக்கவைப்புக் கொள்கைகளை வரையறுக்கவும்.

கலாச்சார உணர்திறன்:

உலகளாவிய குழுக்களுடன் பணிபுரியும்போது கலாச்சார வேறுபாடுகளைப் பற்றி அறிந்திருங்கள். தெளிவான மற்றும் சுருக்கமான மொழியைப் பயன்படுத்தவும், பேச்சுவழக்கைத் தவிர்க்கவும், வெவ்வேறு தகவல்தொடர்பு பாணிகளுக்கு மரியாதையுடன் இருக்கவும்.

எடுத்துக்காட்டு: பல பிராந்தியங்களில் விற்பனைத் தரவு பகுப்பாய்வை மேம்படுத்துதல்

பல பிராந்தியங்களிலிருந்து (வட அமெரிக்கா, ஐரோப்பா, ஆசியா) விற்பனைத் தரவைக் கொண்ட ஒரு உலகளாவிய சில்லறை நிறுவனத்தைக் கவனியுங்கள். நிறுவனம் ஒவ்வொரு பிராந்தியத்திற்கும் தயாரிப்பு வகை வாரியாக மொத்த விற்பனைத் தொகையை பகுப்பாய்வு செய்ய விரும்புகிறது.

சவால்கள்:

தீர்வுகள்:

ஹைவ் மேம்படுத்தலில் வளர்ந்து வரும் போக்குகள்

பிக் டேட்டா செயலாக்கத்தின் நிலப்பரப்பு தொடர்ந்து உருவாகி வருகிறது. ஹைவ் மேம்படுத்தலில் சில வளர்ந்து வரும் போக்குகள் இங்கே:

கிளவுட்-நேட்டிவ் ஹைவ்:

AWS, Azure, மற்றும் GCP போன்ற கிளவுட் தளங்களில் ஹைவை இயக்குவது அளவிடுதல், நெகிழ்ச்சி மற்றும் செலவு சேமிப்பு உள்ளிட்ட பல நன்மைகளை வழங்குகிறது. கிளவுட்-நேட்டிவ் ஹைவ் வரிசைப்படுத்தல்கள் பொருள் சேமிப்பகம் (எ.கா., அமேசான் எஸ்3, அஸூர் பிளாப் ஸ்டோரேஜ்) மற்றும் நிர்வகிக்கப்பட்ட ஹடூப் சேவைகள் (எ.கா., அமேசான் EMR, அஸூர் HDInsight) போன்ற கிளவுட்-சார்ந்த அம்சங்களைப் பயன்படுத்துகின்றன.

தரவுக் குளங்களுடன் ஒருங்கிணைப்பு:

மூல, கட்டமைக்கப்படாத தரவுகளின் மையப்படுத்தப்பட்ட களஞ்சியங்களான தரவுக் குளங்களில் உள்ள தரவை வினவ ஹைவ் பெருகிய முறையில் பயன்படுத்தப்படுகிறது. பல்வேறு வடிவங்களில் (எ.கா., Parquet, Avro, JSON) தரவை வினவும் ஹைவின் திறன், தரவுக் குளச் சூழல்களுக்கு மிகவும் பொருத்தமானதாக ஆக்குகிறது.

அப்பாச்சி ட்ரூயிட் மூலம் நிகழ்நேர வினவல்:

நிகழ்நேர வினவல் மற்றும் பகுப்பாய்வுக்காக, ஹைவை அப்பாச்சி ட்ரூயிட், ஒரு உயர்-செயல்திறன், நெடுவரிசை சார்ந்த விநியோகிக்கப்பட்ட தரவுக் கடையுடன் ஒருங்கிணைக்கலாம். ட்ரூயிட் நிகழ்நேரத்தில் தரவை உட்செலுத்தவும் வினவவும் உங்களை அனுமதிக்கிறது, அதேசமயம் ஹைவ் வரலாற்றுத் தரவுக்கான ஒரு தொகுதி செயலாக்கத் திறனை வழங்குகிறது.

AI-ஆல் இயக்கப்படும் மேம்படுத்தல்:

AI மற்றும் இயந்திர கற்றல் நுட்பங்கள் ஹைவ் மேம்படுத்தலைத் தானியக்கமாக்கப் பயன்படுத்தப்படுகின்றன. இந்த நுட்பங்கள் தானாகவே ஹைவ் உள்ளமைவுகளைச் சரிசெய்யலாம், வினவல் செயலாக்கத் திட்டங்களை மேம்படுத்தலாம், மற்றும் தரவுச் சாய்வு சிக்கல்களைக் கண்டறியலாம்.

முடிவுரை

ஹைவ் உற்பத்தித்திறனை மேம்படுத்துவது என்பது ஹைவின் கட்டமைப்பு, உள்ளமைவு மற்றும் வினவல் செயலாக்கம் பற்றிய ஆழமான புரிதல் தேவைப்படும் ஒரு தொடர்ச்சியான செயல்முறையாகும். இந்த வழிகாட்டியில் கோடிட்டுக் காட்டப்பட்டுள்ள நுட்பங்கள் மற்றும் சிறந்த நடைமுறைகளைச் செயல்படுத்துவதன் மூலம், உலகளாவிய குழுக்கள் ஹைவின் முழுத் திறனையும் திறந்து, வினவல் செயல்திறன், வளப் பயன்பாடு மற்றும் தரவுச் செயலாக்கத் திறனில் குறிப்பிடத்தக்க மேம்பாடுகளை அடைய முடியும். மாறிவரும் தரவுத் தொகுதிகள், வினவல் முறைகள் மற்றும் தொழில்நுட்ப முன்னேற்றங்களுக்கு ஏற்ப உங்கள் ஹைவ் வரிசைப்படுத்தல்களைத் தொடர்ந்து கண்காணிக்கவும் மற்றும் சரிசெய்யவும் நினைவில் கொள்ளுங்கள். உலகளாவிய சூழல்களில் ஹைவ் உற்பத்தித்திறனை அதிகரிக்க குழு உறுப்பினர்களிடையே பயனுள்ள ஒத்துழைப்பும் அறிவுப் பகிர்வும் முக்கியமானவை.