பைதான் வானிலை தரவு: வானிலை ஆய்விற்கான ஒரு விரிவான வழிகாட்டி

வானிலை நம் வாழ்வின் ஒவ்வொரு அம்சத்தையும் பாதிக்கிறது, விவசாயம் மற்றும் போக்குவரத்து முதல் பேரழிவு தயார்நிலை மற்றும் காலநிலை மாற்ற ஆராய்ச்சி வரை. இந்த தாக்கங்களைப் புரிந்துகொள்வதற்கும் தகவலறிந்த முடிவுகளை எடுப்பதற்கும் வானிலை தரவை பகுப்பாய்வு செய்வது மிகவும் முக்கியமானது. பைதான், அதன் விரிவான நூலகங்கள் மற்றும் கருவிகளுடன், வானிலை பகுப்பாய்விற்கான ஒரு சிறந்த மொழி. இந்த விரிவான வழிகாட்டி தரவு கையகப்படுத்தல், செயலாக்கம், காட்சிப்படுத்தல் மற்றும் மாடலிங் ஆகியவற்றை உள்ளடக்கிய செயல்முறை மூலம் உங்களை வழிநடத்தும்.

வானிலை தரவு பகுப்பாய்விற்கு பைதான் ஏன்?

வானிலை தரவுடன் பணிபுரிவதற்கு பைதான் பல நன்மைகளை வழங்குகிறது:

• வளமான சுற்றுச்சூழல் அமைப்பு: pandas, numpy, matplotlib, seaborn மற்றும் scikit-learn போன்ற நூலகங்கள் தரவு கையாளுதல், பகுப்பாய்வு மற்றும் காட்சிப்படுத்தலுக்கான சக்திவாய்ந்த கருவிகளை வழங்குகின்றன.
• தரவு கையகப்படுத்தல்: பைதான் பல்வேறு வானிலை தரவு மூலங்களுடன் எளிதாக இடைமுகம் செய்ய முடியும், இதில் வானிலை நிறுவனங்களின் API கள் (Application Programming Interfaces) மற்றும் வலை ஸ்கிராப்பிங் நுட்பங்கள் ஆகியவை அடங்கும்.
• அளவிடுதல்: பைதான் பெரிய தரவுத்தொகுப்புகளை கையாள முடியும், இது பல மூலங்கள் மற்றும் காலங்களிலிருந்து வானிலை தரவை பகுப்பாய்வு செய்ய உங்களை அனுமதிக்கிறது.
• சமூக ஆதரவு: ஒரு பெரிய மற்றும் செயலில் உள்ள சமூகம் எளிதில் கிடைக்கக்கூடிய ஆதாரங்கள், பயிற்சிகள் மற்றும் பொதுவான சிக்கல்களுக்கான தீர்வுகளை உறுதி செய்கிறது.
• திறந்த மூலம்: பைதான் பயன்படுத்தவும் விநியோகிக்கவும் இலவசம், இது ஆராய்ச்சியாளர்கள் மற்றும் டெவலப்பர்களுக்கு உலகளவில் அணுகக்கூடியதாக உள்ளது.

வானிலை தரவை பெறுதல்

வானிலை ஆய்வில் முதல் படி தேவையான தரவைப் பெறுவது. சில பொதுவான முறைகள் இங்கே:

1. வானிலை APIகள்

பல வானிலை அமைப்புகள் நிகழ்நேர மற்றும் வரலாற்று வானிலை தரவிற்கான அணுகலை வழங்கும் APIகளை வழங்குகின்றன. சில பிரபலமான விருப்பங்கள் பின்வருமாறு:

• OpenWeatherMap: உலகெங்கிலும் உள்ள இடங்களுக்கான தற்போதைய வானிலை தரவு மற்றும் முன்னறிவிப்புகளுக்கான அணுகலுடன் இலவச அடுக்கு வழங்குகிறது. API விசை தேவை.
• AccuWeather: மணிநேர முன்னறிவிப்புகள் மற்றும் வரலாற்று தரவு உட்பட விரிவான வானிலை தகவல்களை வழங்குகிறது. சந்தா தேவை.
• National Oceanic and Atmospheric Administration (NOAA): மேற்பரப்பு அவதானிப்புகள், ரேடார் தரவு மற்றும் காலநிலை மாதிரிகள் உட்பட அதன் API மூலம் ஏராளமான வானிலை தரவை வழங்குகிறது. பெரும்பாலும் அமெரிக்காவில் பயன்படுத்தப்படுகிறது, ஆனால் உலகளாவிய பகுப்பாய்வுக்கான தரவை வழங்குகிறது.
• Visual Crossing Weather API: வரலாற்று, தற்போதைய மற்றும் முன்னறிவிப்பு தரவை வழங்குகிறது. இந்த API வரலாற்று வானிலை தரவின் மொத்த பதிவிறக்கங்களையும் வழங்குகிறது.

உதாரணம்: OpenWeatherMap உடன் வானிலை தரவை அணுகுதல்

OpenWeatherMap API ஐப் பயன்படுத்த, நீங்கள் `requests` நூலகத்தை நிறுவி API விசையைப் பெற வேண்டும். பைதான் உதாரணம் இங்கே:

import requests

api_key = "YOUR_API_KEY" # உங்கள் உண்மையான API விசையுடன் மாற்றவும்
city_name = "London"

url = f"http://api.openweathermap.org/data/2.5/weather?q={city_name}&appid={api_key}&units=metric"

response = requests.get(url)
data = response.json()

if response.status_code == 200:
    temperature = data["main"]["temp"]
    humidity = data["main"]["humidity"]
    description = data["weather"][0]["description"]

    print(f"Weather in {city_name}:")
    print(f"Temperature: {temperature}°C")
    print(f"Humidity: {humidity}%")
    print(f"Description: {description}")
else:
    print(f"Error: {data['message']}")

2. வலை ஸ்கிராப்பிங்

API கிடைக்கவில்லை என்றால், வலைத்தளங்களிலிருந்து வானிலை தரவைப் பிரித்தெடுக்க வலை ஸ்கிராப்பிங் பயன்படுத்தலாம். Beautiful Soup மற்றும் requests போன்ற நூலகங்கள் இந்த செயல்முறையை தானியக்கப்படுத்த உதவும்.

முக்கியமானது: தரவை ஸ்கிராப் செய்வதற்கு முன்பு எப்போதும் வலைத்தளத்தின் சேவை விதிமுறைகளை சரிபார்க்கவும். robots.txt ஐ மதிக்கவும் மற்றும் கோரிக்கைகளுடன் சேவையகத்தை ஓவர்லோட் செய்வதைத் தவிர்க்கவும்.

உதாரணம்: ஒரு வலைத்தளத்திலிருந்து வானிலை தரவை ஸ்கிராப் செய்தல்

import requests
from bs4 import BeautifulSoup

url = "https://www.timeanddate.com/weather/"

city = "tokyo"

response = requests.get(url + city)

soup = BeautifulSoup(response.content, 'html.parser')

temperature = soup.find('div', class_='h2').text

print(f"The temperature in {city} is: {temperature}")

3. பொது தரவுத்தொகுப்புகள்

பல நிறுவனங்கள் நீங்கள் பதிவிறக்கம் செய்து பகுப்பாய்வு செய்யக்கூடிய பொதுவில் கிடைக்கும் வானிலை தரவுத்தொகுப்புகளை வழங்குகின்றன. இந்த தரவுத்தொகுப்புகளில் பல்வேறு இடங்களிலிருந்து வரலாற்று வானிலை தரவு அடிக்கடி இருக்கும்.

• NOAA's National Centers for Environmental Information (NCEI): மேற்பரப்பு அவதானிப்புகள், ரேடார் தரவு மற்றும் காலநிலை மாதிரிகள் உட்பட வானிலை தரவின் ஒரு பெரிய காப்பகத்தை வழங்குகிறது.
• European Centre for Medium-Range Weather Forecasts (ECMWF): அதன் ERA5 மறு பகுப்பாய்வு தரவுத்தொகுப்பிற்கான அணுகலை வழங்குகிறது, இதில் 1979 முதல் தற்போது வரையிலான வரலாற்று வானிலை தரவு உள்ளது.
• World Meteorological Organization (WMO): சர்வதேச தரவுகளுக்கான அணுகலை வழங்குகிறது மற்றும் தேசிய வானிலை சேவைகளுடன் ஒத்துழைக்கிறது.

தரவு முன்தயாரிப்பு மற்றும் சுத்தம் செய்தல்

நீங்கள் வானிலை தரவைப் பெற்றவுடன், பகுப்பாய்வுக்கு முன்பு அதை முன்தயாரிப்பு செய்து சுத்தம் செய்ய வேண்டும். இது பொதுவாக காணாமல் போன மதிப்புகளை கையாளுதல், தரவு வகைகளை மாற்றுதல் மற்றும் அவுட்லைர்களை அகற்றுதல் ஆகியவற்றை உள்ளடக்கியது.

1. காணாமல் போன மதிப்புகளை கையாளுதல்

சென்சார் செயலிழப்புகள் அல்லது தரவு பரிமாற்ற பிழைகள் காரணமாக வானிலை தரவுத்தொகுப்புகளில் காணாமல் போன மதிப்புகள் பொதுவானவை. காணாமல் போன மதிப்புகளை பல நுட்பங்களைப் பயன்படுத்தி கையாளலாம்:

• நீக்குதல்: காணாமல் போன மதிப்புகள் உள்ள வரிசைகள் அல்லது நெடுவரிசைகளை அகற்றவும். காணாமல் போன மதிப்புகளின் எண்ணிக்கை குறைவாக இருக்கும்போது இது பொருத்தமானது.
• இணைத்தல்: மதிப்பிடப்பட்ட மதிப்புகளுடன் காணாமல் போன மதிப்புகளை மாற்றவும். பொதுவான உள்ளீட்டு முறைகளில் சராசரி, இடைநிலை அல்லது முறை உள்ளீடு ஆகியவை அடங்கும்.
• இடைச்செருகல்: அண்டை தரவு புள்ளிகளின் மதிப்புகளின் அடிப்படையில் காணாமல் போன மதிப்புகளை மதிப்பிடவும். இது நேரத் தொடர் தரவுக்கு ஏற்றது.

உதாரணம்: pandas உடன் காணாமல் போன மதிப்புகளை கையாளுதல்

import pandas as pd
import numpy as np

# காணாமல் போன மதிப்புகளுடன் கூடிய மாதிரி வானிலை தரவு
data = {
    "date": ["2024-01-01", "2024-01-02", "2024-01-03", "2024-01-04", "2024-01-05"],
    "temperature": [10, 12, np.nan, 14, 15],
    "humidity": [80, np.nan, 75, 70, 65]
}

df = pd.DataFrame(data)

# சராசரியுடன் காணாமல் போன வெப்பநிலை மதிப்புகளை உள்ளிடவும்
df["temperature"].fillna(df["temperature"].mean(), inplace=True)

# இடைநிலையுடன் காணாமல் போன ஈரப்பதம் மதிப்புகளை உள்ளிடவும்
df["humidity"].fillna(df["humidity"].median(), inplace=True)

print(df)

2. தரவு வகை மாற்றம்

உங்கள் நெடுவரிசைகளின் தரவு வகைகள் பகுப்பாய்விற்கு பொருத்தமானவை என்பதை உறுதிப்படுத்தவும். உதாரணமாக, தேதிகள் தேதியிடப்பட்ட நேர வடிவத்திலும், எண் மதிப்புகள் மிதவை அல்லது முழு எண் வடிவத்திலும் இருக்க வேண்டும்.

உதாரணம்: pandas உடன் தரவு வகைகளை மாற்றுதல்

df["date"] = pd.to_datetime(df["date"])

3. அவுட்லியர் நீக்கம்

அவுட்லியர்கள் உங்கள் பகுப்பாய்வை சிதைக்கலாம் மற்றும் அகற்றப்பட வேண்டும் அல்லது சரிசெய்யப்பட வேண்டும். அவுட்லியர் கண்டறிதலுக்கான பொதுவான முறைகளில் பின்வருவன அடங்கும்:

• Z-score: சராசரியிலிருந்து ஒரு குறிப்பிட்ட எண்ணிக்கையிலான நிலையான விலகல்கள் உள்ள மதிப்புகளை அடையாளம் காணவும்.
• Interquartile Range (IQR): IQR க்கு வெளியே இருக்கும் மதிப்புகளை அடையாளம் காணவும்.
• காட்சி ஆய்வு: தரவை வரைந்து, வெளிப்படையாக அவுட்லியர்களை அடையாளம் காணவும்.

உதாரணம்: IQR உடன் அவுட்லியர்களை நீக்குதல்

def remove_outliers(df, column):
    Q1 = df[column].quantile(0.25)
    Q3 = df[column].quantile(0.75)
    IQR = Q3 - Q1
    lower_bound = Q1 - 1.5 * IQR
    upper_bound = Q3 + 1.5 * IQR
    df = df[(df[column] >= lower_bound) & (df[column] <= upper_bound)]
    return df


df = remove_outliers(df, "temperature")

print(df)

தரவு காட்சிப்படுத்தல்

வானிலை தரவை காட்சிப்படுத்துவது வடிவங்கள், போக்குகள் மற்றும் உறவுகளைப் புரிந்துகொள்ள அவசியம். பைதான் தகவலறிந்த காட்சிப்படுத்தல்களை உருவாக்குவதற்கான பல நூலகங்களை வழங்குகிறது.

1. வரி வரைபடங்கள்

காலப்போக்கில் வெப்பநிலை அல்லது ஈரப்பதம் போன்ற நேரத் தொடர் தரவை காட்சிப்படுத்த வரி வரைபடங்கள் பயனுள்ளதாக இருக்கும்.

உதாரணம்: matplotlib உடன் வரி வரைபடத்தை உருவாக்குதல்

import matplotlib.pyplot as plt

plt.figure(figsize=(12, 6))
plt.plot(df["date"], df["temperature"], marker='o')
plt.xlabel("Date")
plt.ylabel("Temperature (°C)")
plt.title("Temperature Over Time")
plt.grid(True)
plt.show()

2. சிதறல் வரைபடங்கள்

வெப்பநிலை மற்றும் ஈரப்பதம் போன்ற இரண்டு மாறிகளுக்கு இடையிலான உறவை காட்சிப்படுத்த சிதறல் வரைபடங்கள் பயனுள்ளதாக இருக்கும்.

உதாரணம்: matplotlib உடன் சிதறல் வரைபடத்தை உருவாக்குதல்

plt.figure(figsize=(8, 6))
plt.scatter(df["temperature"], df["humidity"])
plt.xlabel("Temperature (°C)")
plt.ylabel("Humidity (%)")
plt.title("Temperature vs. Humidity")
plt.grid(True)
plt.show()

3. ஹிஸ்டோகிராம்கள்

வெப்பநிலை போன்ற ஒரு மாறி விநியோகத்தை காட்சிப்படுத்த ஹிஸ்டோகிராம்கள் பயனுள்ளதாக இருக்கும்.

உதாரணம்: matplotlib உடன் ஹிஸ்டோகிராம் உருவாக்குதல்

plt.figure(figsize=(8, 6))
plt.hist(df["temperature"], bins=10)
plt.xlabel("Temperature (°C)")
plt.ylabel("Frequency")
plt.title("Distribution of Temperature")
plt.grid(True)
plt.show()

4. ஹீட்மேப்கள்

பல மாறிகளுக்கு இடையிலான தொடர்பை காட்சிப்படுத்த ஹீட்மேப்கள் பயனுள்ளதாக இருக்கும்.

உதாரணம்: seaborn உடன் ஹீட்மேப் உருவாக்குதல்

import seaborn as sns

correlation_matrix = df.corr()

plt.figure(figsize=(8, 6))
sns.heatmap(correlation_matrix, annot=True, cmap="coolwarm")
plt.title("Correlation Heatmap")
plt.show()

5. புவியியல் காட்சிப்படுத்தல்கள்

ஒரு வரைபடத்தில் வானிலை தரவை காட்சிப்படுத்த, GeoPandas மற்றும் Basemap (அல்லது அதன் நவீன மாற்றான Cartopy) போன்ற நூலகங்கள் பயனுள்ளதாக இருக்கும். இந்த நூலகங்கள் புவியியல் வரைபடங்களில் வானிலை தரவை வரைய அனுமதிக்கின்றன, வானிலை முறைகளை இடரீதியாகக் குறிக்கும் காட்சிப்படுத்தல்களை உருவாக்குகின்றன.

உதாரணம்: Cartopy உடன் புவியியல் நிலத்தை உருவாக்குதல் (கருத்தியல்)

குறிப்பு: இந்த எடுத்துக்காட்டுக்கு Cartopy மற்றும் தொடர்புடைய சார்புகளை நிறுவ வேண்டும், இது சிக்கலானதாக இருக்கும். குறியீடு துணுக்கு எளிமைப்படுத்தப்பட்ட கண்ணோட்டத்தை வழங்குகிறது.

import cartopy.crs as ccrs
import matplotlib.pyplot as plt

# ஒரு குறிப்பிட்ட திட்டத்துடன் ஒரு உருவம் மற்றும் அச்சுகள் பொருளை உருவாக்கவும்
fig = plt.figure(figsize=(10, 5))
ax = fig.add_subplot(1, 1, 1, projection=ccrs.PlateCarree())

# கடற்கரைகளைச் சேர்க்கவும்
ax.coastlines()

# எடுத்துக்காட்டு தரவு (அட்சரேகை, தீர்க்கரேகை, வெப்பநிலை)
latitude = [40.71, 34.05, 51.51] # நியூயார்க், லாஸ் ஏஞ்சல்ஸ், லண்டன்
longitude = [-74.01, -118.24, -0.13]
temperature = [15, 25, 10]

# தரவைச் சதி செய்யுங்கள்
plt.scatter(longitude, latitude, c=temperature, transform=ccrs.PlateCarree())

# வண்ணப்பட்டியைச் சேர்க்கவும்
plt.colorbar(label='Temperature (°C)')

# ஒரு குறிப்பிட்ட பகுதிக்கு வரம்பை அமைக்கவும் (எ.கா., ஐரோப்பா)
# ax.set_extent([-10, 40, 35, 70], crs=ccrs.PlateCarree())

plt.title('Temperature Map')
plt.show()

வானிலை தரவு பகுப்பாய்வு மற்றும் மாடலிங்

நீங்கள் தரவை முன்தயாரிப்பு செய்து காட்சிப்படுத்தியதும், நீங்கள் பல்வேறு பகுப்பாய்வுகளைச் செய்து முன்கணிப்பு மாதிரிகளை உருவாக்கலாம்.

1. நேரத் தொடர் பகுப்பாய்வு

வடிவங்கள், போக்குகள் மற்றும் பருவகாலத்தை அடையாளம் காண காலப்போக்கில் சேகரிக்கப்பட்ட தரவு புள்ளிகளை பகுப்பாய்வு செய்வது நேரத் தொடர் பகுப்பாய்வில் அடங்கும். பொதுவான நுட்பங்களில் பின்வருவன அடங்கும்:

• சிதைவு: நேரத் தொடரை போக்கு, பருவகாலம் மற்றும் எஞ்சிய கூறுகள் எனப் பிரிக்கிறது.
• தன் தொடர்பு: ஒரு நேரத் தொடருக்கும் அதன் பின்தங்கிய மதிப்புகளுக்கும் இடையிலான தொடர்பை அளவிடுதல்.
• முன்னறிவிப்பு: வரலாற்று தரவுகளின் அடிப்படையில் எதிர்கால மதிப்புகளை கணித்தல். பொதுவான முன்னறிவிப்பு மாதிரிகளில் ARIMA (Autoregressive Integrated Moving Average) மற்றும் எக்ஸ்போனன்ஷியல் ஸ்மூத்திங் ஆகியவை அடங்கும்.

உதாரணம்: statsmodels உடன் நேரத் தொடர் சிதைவு

from statsmodels.tsa.seasonal import seasonal_decompose

# நேரத் தொடர் சிதைவுக்கு 'date' நெடுவரிசை குறியீடா என்பதை உறுதிப்படுத்தவும்
df = df.set_index('date')

# பருவகால சிதைவைச் செய்யுங்கள்
decomposition = seasonal_decompose(df["temperature"], model='additive', period=7) #வாராந்திர பருவகாலம் என்று கருதுகிறோம்

# கூறுகளை சதி செய்யுங்கள்
plt.figure(figsize=(12, 8))

plt.subplot(411)
plt.plot(decomposition.observed, label='Observed')
plt.legend(loc='upper left')

plt.subplot(412)
plt.plot(decomposition.trend, label='Trend')
plt.legend(loc='upper left')

plt.subplot(413)
plt.plot(decomposition.seasonal, label='Seasonal')
plt.legend(loc='upper left')

plt.subplot(414)
plt.plot(decomposition.resid, label='Residual')
plt.legend(loc='upper left')

plt.tight_layout()
plt.show()

2. பின்னடைவு பகுப்பாய்வு

பின்னடைவு பகுப்பாய்வு என்பது ஒரு சார்ந்த மாறி (எ.கா., வெப்பநிலை) மற்றும் ஒன்று அல்லது அதற்கு மேற்பட்ட சுயாதீன மாறிகள் (எ.கா., ஈரப்பதம், காற்றின் வேகம்) ஆகியவற்றுக்கு இடையிலான உறவை மாதிரியாகக் கொண்டுள்ளது. பொதுவான பின்னடைவு மாதிரிகளில் பின்வருவன அடங்கும்:

• நேர்கோட்டு பின்னடைவு: உறவை ஒரு நேர்கோட்டு சமன்பாடாக மாதிரியாக்குகிறது.
• பல்லுறுப்புக்கோவை பின்னடைவு: உறவை ஒரு பல்லுறுப்புக்கோவை சமன்பாடாக மாதிரியாக்குகிறது.
• பல பின்னடைவு: ஒரு சார்ந்த மாறிக்கும் பல சுயாதீன மாறிகளுக்கும் இடையிலான உறவை மாதிரியாக்குகிறது.

உதாரணம்: scikit-learn உடன் நேர்கோட்டு பின்னடைவு

from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split

# தரவைத் தயார் செய்யவும்
X = df[["humidity"]]
y = df["temperature"]

# தரவை பயிற்சி மற்றும் சோதனை தொகுப்புகளாக பிரிக்கவும்
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# நேர்கோட்டு பின்னடைவு மாதிரியை உருவாக்கவும்
model = LinearRegression()

# மாதிரியைப் பயிற்றுவிக்கவும்
model.fit(X_train, y_train)

# கணிப்புகளைச் செய்யுங்கள்
y_pred = model.predict(X_test)

# மாதிரியை மதிப்பிடவும்
from sklearn.metrics import mean_squared_error
mse = mean_squared_error(y_test, y_pred)
print(f"Mean Squared Error: {mse}")

#முடிவுகளை காட்சிப்படுத்தவும்
plt.scatter(X_test, y_test, color='black')
plt.plot(X_test, y_pred, color='blue', linewidth=3)
plt.xlabel("Humidity")
plt.ylabel("Temperature")
plt.title("Linear Regression: Temperature vs. Humidity")
plt.show()

3. வகைப்படுத்தல் பகுப்பாய்வு

முன்னரே வரையறுக்கப்பட்ட வகுப்புகளாக (எ.கா., வெயில், மேகமூட்டம், மழை) வானிலை நிலைகளை வகைப்படுத்துவது வகைப்படுத்தல் பகுப்பாய்வில் அடங்கும். பொதுவான வகைப்படுத்தல் மாதிரிகளில் பின்வருவன அடங்கும்:

• லாஜிஸ்டிக் பின்னடைவு: ஒரு பைனரி விளைவின் சாத்தியக்கூறுகளை மாதிரியாக்குகிறது.
• முடிவு மரங்கள்: சுயாதீன மாறிகளின் மதிப்புகளின் அடிப்படையில் தரவை துணைக்குழுக்களாக பிரிக்கிறது.
• ஆதரவு திசையன் இயந்திரங்கள் (SVM): வகுப்புகளைப் பிரிக்கும் உகந்த ஹைப்பர்ப்ளேனை கண்டுபிடிக்கும்.
• ரேண்டம் பாரஸ்ட்ஸ்: முடிவு மரங்களின் ஒரு குழு.

உதாரணம்: scikit-learn உடன் வகைப்படுத்தல்

from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score, classification_report

# உங்களிடம் 'weather_condition' என்ற நெடுவரிசை இருப்பதாகக் கருதுங்கள்
# 'Sunny', 'Cloudy', 'Rainy' போன்ற வகை மதிப்புகளுடன்

# முதலில், வகை லேபிள்களை எண் லேபிள்களாக மாற்றவும்
from sklearn.preprocessing import LabelEncoder
le = LabelEncoder()
df['weather_condition_encoded'] = le.fit_transform(df['weather_condition'])

# அம்சங்கள் மற்றும் இலக்கு மாறியைத் தயார் செய்யவும்
X = df[['temperature', 'humidity', 'wind_speed']] # உதாரண அம்சங்கள்
y = df['weather_condition_encoded']

# தரவுத்தொகுப்பை பயிற்சி மற்றும் சோதனைத் தொகுப்புகளாகப் பிரிக்கவும்
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# ரேண்டம் பாரஸ்ட் வகைப்படுத்தலைத் தொடங்கவும் பயிற்றுவிக்கவும்
rf_classifier = RandomForestClassifier(n_estimators=100, random_state=42)
rf_classifier.fit(X_train, y_train)

# சோதனைத் தொகுப்பில் கணிப்புகளைச் செய்யுங்கள்
y_pred = rf_classifier.predict(X_test)

# மாதிரியை மதிப்பிடவும்
accuracy = accuracy_score(y_test, y_pred)
print(f"Accuracy: {accuracy}")

# வகைப்படுத்தல் அறிக்கையைக் காட்டு
print(classification_report(y_test, y_pred))

மேம்பட்ட நுட்பங்கள் மற்றும் பயன்பாடுகள்

1. வானிலை முன்னறிவிப்பிற்கான இயந்திர கற்றல்

வரலாற்று தரவிலிருந்து கற்றுக்கொள்வதன் மூலமும் சிக்கலான வடிவங்களை அடையாளம் காண்பதன் மூலமும் வானிலை முன்னறிவிப்பு துல்லியத்தை மேம்படுத்த இயந்திர கற்றல் மாதிரிகளைப் பயன்படுத்தலாம். ரிஸ்கரண்ட் நியூரல் நெட்வொர்க்குகள் (RNNs) மற்றும் கன்வோல்யூஷனல் நியூரல் நெட்வொர்க்குகள் (CNNs) போன்ற ஆழமான கற்றல் மாதிரிகள் வானிலை முன்னறிவிப்பில் நம்பிக்கைக்குரிய முடிவுகளைக் காட்டியுள்ளன.

2. காலநிலை மாற்ற பகுப்பாய்வு

காலநிலை மாற்ற போக்குகள் மற்றும் வடிவங்களை பகுப்பாய்வு செய்ய வானிலை தரவைப் பயன்படுத்தலாம். நீண்டகால வானிலை தரவை பகுப்பாய்வு செய்வதன் மூலம், ஆராய்ச்சியாளர்கள் வெப்பநிலை, மழைப்பொழிவு மற்றும் பிற காலநிலை மாறிகளில் ஏற்படும் மாற்றங்களை அடையாளம் காணலாம். இந்த பகுப்பாய்வுகள் காலநிலை மாற்றத்தின் தாக்கங்களைப் புரிந்துகொள்ளவும், தணிப்பு மற்றும் தழுவலுக்கான உத்திகளை உருவாக்கவும் உதவும்.

3. விவசாயம் மற்றும் வானிலை

வானிலை வடிவங்களையும் பயிர் விளைச்சலில் அவற்றின் தாக்கத்தையும் புரிந்துகொள்வது விவசாயத்திற்கு முக்கியமானது. வானிலை தரவை பயிர் தரவுடன் இணைத்து பகுப்பாய்வு செய்வதன் மூலம், விவசாயிகள் மற்றும் விவசாய அமைப்புகள் நடவு, நீர்ப்பாசனம் மற்றும் அறுவடை குறித்து தகவலறிந்த முடிவுகளை எடுக்க முடியும். இயந்திர கற்றல் மாதிரிகள் வானிலை நிலைகளின் அடிப்படையில் பயிர் விளைச்சலை கணிக்க முடியும், விவசாய நடைமுறைகளை மேம்படுத்துகிறது.

உதாரணம்: காபி உற்பத்தியில் வானிலையின் தாக்கம் (விளக்கப்படம்)

பிரேசிலில் காபி பீன்ஸ் உற்பத்தியை பகுப்பாய்வு செய்கிறீர்கள் என்று வைத்துக்கொள்வோம். வரலாற்று வானிலை தரவை (வெப்பநிலை, மழைப்பொழிவு) காபி விளைச்சல் தரவுடன் இணைக்கலாம். பூக்கும் போது அதிகப்படியான மழை பூஞ்சை நோய்களுக்கு வழிவகுக்கும், இதனால் விளைச்சல் குறையும். வளரும் பருவத்தில் அதிக வெப்பநிலை பழுக்க வைப்பதை துரிதப்படுத்தும், இது பீன் தரத்தை பாதிக்கலாம். பைத்தானைப் பயன்படுத்தி, இந்த வானிலை அளவுருக்களின் அடிப்படையில் காபி விளைச்சலை கணிக்க நீங்கள் ஒரு மாதிரியை உருவாக்கலாம்.

4. பேரழிவு தயார்நிலை

பேரழிவு தயார்நிலை மற்றும் பதிலளிப்புக்கு வானிலை தரவு முக்கியமானது. வானிலை வடிவங்களை பகுப்பாய்வு செய்வதன் மூலமும், சூறாவளிகள், வெள்ளம் மற்றும் வறட்சி போன்ற தீவிர வானிலை நிகழ்வுகளை முன்கணிப்பதன் மூலமும், அதிகாரிகள் சரியான நேரத்தில் எச்சரிக்கைகளை விடுத்து சாத்தியமான பேரழிவுகளுக்கு தயாராகலாம். இது உயிர்களைக் காப்பாற்றவும் சொத்து சேதத்தை குறைக்கவும் உதவும்.

5. புதுப்பிக்கத்தக்க ஆற்றல்

புதுப்பிக்கத்தக்க எரிசக்தி துறையில், குறிப்பாக சூரிய மற்றும் காற்றாலை மின் உற்பத்திக்கு வானிலை தரவு முக்கிய பங்கு வகிக்கிறது. சூரிய மற்றும் காற்றாலை வளங்களின் கிடைக்கும் தன்மையை முன்கணிப்பதற்கு துல்லியமான வானிலை முன்னறிவிப்புகள் அவசியம், இது ஆற்றல் நிறுவனங்கள் தங்கள் செயல்பாடுகளை மேம்படுத்தவும், புதுப்பிக்கத்தக்க ஆற்றலின் நம்பகமான விநியோகத்தை உறுதிப்படுத்தவும் அனுமதிக்கிறது.

வானிலை தரவு பகுப்பாய்விற்கான சிறந்த நடைமுறைகள்

• தரவு தரம்: உங்கள் தரவு துல்லியமான, முழுமையான மற்றும் சீரானதாக இருப்பதை உறுதிப்படுத்தவும்.
• ஆவணப்படுத்தல்: உங்கள் குறியீடு மற்றும் பகுப்பாய்வை முழுமையாக ஆவணப்படுத்தவும்.
• மீளுருவாக்கம்: பதிப்பு கட்டுப்பாட்டைப் பயன்படுத்தி உங்கள் குறியீட்டைப் பகிர்வதன் மூலம் உங்கள் பகுப்பாய்வை மீண்டும் உருவாக்கவும்.
• ஒத்துழைப்பு: அறிவு மற்றும் நிபுணத்துவத்தைப் பகிர்ந்து கொள்ள மற்ற ஆராய்ச்சியாளர்கள் மற்றும் தரவு விஞ்ஞானிகளுடன் ஒத்துழைக்கவும்.
• நெறிமுறை பரிசீலனைகள்: தரவு தனியுரிமை மற்றும் பாதுகாப்பு போன்ற நெறிமுறை பரிசீலனைகளை கவனத்தில் கொள்ளுங்கள்.

முடிவுரை

பைதான் வானிலை தரவு பகுப்பாய்விற்கான சக்திவாய்ந்த மற்றும் பல்துறை தளத்தை வழங்குகிறது. இந்த வழிகாட்டியில் விவாதிக்கப்பட்ட நுட்பங்களையும் கருவிகளையும் மாஸ்டர் செய்வதன் மூலம், வானிலை முறைகள், காலநிலை மாற்றம் மற்றும் நம் வாழ்வின் பல்வேறு அம்சங்களில் அவற்றின் தாக்கம் குறித்த மதிப்புமிக்க நுண்ணறிவுகளைப் பெறலாம். நீங்கள் ஒரு ஆராய்ச்சியாளராகவோ, தரவு விஞ்ஞானியாகவோ அல்லது வானிலை ஆர்வலராகவோ இருந்தாலும், வானிலை தரவின் சக்தியை திறக்க பைதான் உங்களுக்கு உதவும்.

மேலும் கற்றல்

• ஆன்லைன் படிப்புகள்: Coursera, Udacity மற்றும் edX போன்ற தளங்கள் தரவு அறிவியல், இயந்திர கற்றல் மற்றும் வானிலை பகுப்பாய்வு குறித்த படிப்புகளை வழங்குகின்றன.
• புத்தகங்கள்: Jake VanderPlas எழுதிய "Python Data Science Handbook", Aurélien Géron எழுதிய "Hands-On Machine Learning with Scikit-Learn, Keras & TensorFlow".
• சமூகங்கள்: மற்ற தரவு விஞ்ஞானிகள் மற்றும் வானிலை ஆர்வலர்களுடன் இணைய ஸ்டாக் ஓவர்ஃப்ளோ, ரெடிட் (r/datascience, r/weather) மற்றும் கிட்ஹப் போன்ற ஆன்லைன் சமூகங்களில் சேரவும்.