تسلط بر AWS با پایتون: نگاهی عمیق به Boto3 SDK برای یکپارچه سازی خدمات ابری

در دنیای رایانش ابری، سرویس‌های وب آمازون (AWS) به عنوان یک رهبر جهانی، مجموعه‌ای وسیع و در حال گسترش از خدمات را ارائه می‌دهد. برای توسعه‌دهندگان، مهندسان DevOps و معماران سیستم، تعامل برنامه‌نویسی با این خدمات صرفاً یک راحتی نیست - یک ضرورت است. اتوماسیون کلید مدیریت زیرساخت ابری مقیاس‌پذیر، انعطاف‌پذیر و کارآمد است. اینجاست که Boto3، SDK رسمی AWS برای پایتون، به ابزاری ضروری در زرادخانه شما تبدیل می‌شود.

این راهنمای جامع برای مخاطبان جهانی طراحی شده است و یک نگاه عمیق به Boto3 را ارائه می‌دهد. ما با اصول اولیه شروع می‌کنیم، از طریق نمونه‌های عملی با خدمات اصلی AWS حرکت می‌کنیم و مفاهیم و بهترین روش‌های پیشرفته را بررسی می‌کنیم. چه در حال خودکارسازی یک کار ساده باشید و چه در حال ساخت یک برنامه پیچیده و بومی ابر، تسلط بر Boto3 به شما این امکان را می‌دهد که از پتانسیل کامل AWS استفاده کنید.

شروع با Boto3: اولین قدم‌های شما در اتوماسیون AWS

قبل از اینکه بتوانیم کدی بنویسیم، باید یک محیط توسعه امن و کاربردی راه‌اندازی کنیم. این راه‌اندازی اولیه برای اطمینان از موفقیت‌آمیز و امن بودن تعاملات شما با AWS بسیار مهم است.

پیش‌نیازها برای یک محیط توسعه جهانی

• نصب پایتون: Boto3 یک کتابخانه پایتون است، بنابراین شما باید پایتون را نصب کنید. این از طیف وسیعی از نسخه‌های پایتون پشتیبانی می‌کند. ما استفاده از آخرین نسخه پایدار پایتون 3 را توصیه می‌کنیم. ماهیت cross-platform پایتون آن را به انتخابی عالی برای تیم‌های توزیع شده در سراسر جهان تبدیل می‌کند.
• یک حساب کاربری AWS: اگر از قبل ندارید، باید برای یک حساب AWS ثبت‌نام کنید. این فرآیند جهانی است و دسترسی به یک سطح رایگان برای بسیاری از خدمات را فراهم می‌کند که برای یادگیری و آزمایش عالی است.
• درک مناطق AWS: خدمات AWS در مراکز داده در سراسر جهان میزبانی می‌شوند که در مناطق جغرافیایی سازماندهی شده‌اند (به عنوان مثال، `us-east-1`, `eu-west-2`, `ap-southeast-1`). انتخاب منطقه مناسب برای تأخیر، حاکمیت داده‌ها و هزینه بسیار مهم است. هنگام استفاده از Boto3، اغلب باید منطقه‌ای را که می‌خواهید با آن تعامل داشته باشید، مشخص کنید.

نصب و پیکربندی: یک بنیاد امن

با وجود پیش‌نیازها، بیایید Boto3 را نصب و آن را پیکربندی کنیم تا به طور ایمن به حساب AWS شما متصل شود.

1. نصب Boto3
نصب با استفاده از `pip`، نصب‌کننده بسته پایتون، ساده است. ترمینال یا خط فرمان خود را باز کنید و اجرا کنید:

pip install boto3

2. پیکربندی امن اعتبارنامه‌های AWS
این مهمترین گام است. شما هرگز نباید اعتبارنامه‌های AWS خود (شناسه کلید دسترسی و کلید دسترسی مخفی) را مستقیماً در کد خود سخت‌کد کنید. این یک خطر امنیتی بزرگ است. رویکرد توصیه شده این است که از رابط خط فرمان (CLI) AWS برای پیکربندی آنها در یک مکان امن استفاده کنید.

ابتدا AWS CLI را نصب کنید (اگر قبلاً این کار را نکرده‌اید). سپس، دستور زیر را اجرا کنید:

aws configure

CLI از شما چهار اطلاعات را درخواست می‌کند:

• شناسه کلید دسترسی AWS: شناسه منحصربه‌فرد شما.
• کلید دسترسی مخفی AWS: رمز عبور مخفی شما. با این مانند هر رمز عبور دیگری رفتار کنید.
• نام منطقه پیش‌فرض: منطقه AWS که کد شما به طور پیش‌فرض به آن متصل می‌شود (به عنوان مثال، `us-west-2`).
• فرمت خروجی پیش‌فرض: معمولاً `json`.

این دستور با خیال راحت اعتبارنامه‌های شما را در فایل‌هایی به نام `~/.aws/credentials` و منطقه/فرمت خروجی پیش‌فرض شما در `~/.aws/config` ذخیره می‌کند. Boto3 به طور خودکار می‌داند که این فایل‌ها را جستجو کند، بنابراین نیازی نیست که اعتبارنامه‌ها را در اسکریپت‌های خود مشخص کنید. این روش به کد شما اجازه می‌دهد تا قابل حمل و ایمن باشد، زیرا کلیدهای حساس از منطق برنامه شما جدا نگه داشته می‌شوند.

اجزای اصلی Boto3: کلاینت‌ها و منابع

Boto3 دو روش مجزا برای تعامل با خدمات AWS ارائه می‌دهد که به عنوان کلاینت‌ها و منابع شناخته می‌شوند. درک تفاوت، کلید نوشتن کد مؤثر و قابل خواندن است.

درک دو انتزاع

به آنها به عنوان دو سطح مختلف از ارتباط فکر کنید:

• کلاینت‌ها (سطح پایین): یک نقشه یک به یک مستقیم را به عملیات API سرویس AWS زیربنایی ارائه می‌دهند. هر عمل ممکن در یک سرویس از طریق کلاینت آن در دسترس است. پاسخ‌ها معمولاً دیکشنری هستند، شبیه پاسخ JSON خام از API.
• منابع (سطح بالا): یک رابط شی‌گرا انتزاعی‌تر ارائه می‌دهند. به جای فراخوانی متدها، شما با اشیاء «منبع» تعامل دارید که دارای ویژگی‌ها و اعمال هستند. به عنوان مثال، ممکن است یک شیء `S3.Bucket` داشته باشید که دارای ویژگی نام و یک عمل `delete()` باشد.

Client API: دسترسی مستقیم، سطح پایین به سرویس

کلاینت‌ها لایه بنیادین Boto3 هستند. آنها مستقیماً از فایل تعریف API سرویس ایجاد می‌شوند و اطمینان حاصل می‌کنند که همیشه به‌روز و کامل هستند.

چه زمانی از Client استفاده کنیم:

• وقتی به عملیات سرویسی نیاز دارید که از طریق Resource API در دسترس نیست.
• وقتی ترجیح می‌دهید با پاسخ‌های مبتنی بر دیکشنری کار کنید.
• وقتی به دقیق‌ترین کنترل بر فراخوانی‌های API نیاز دارید.

مثال: فهرست کردن سطل‌های S3 با استفاده از یک Client

import boto3

# Create an S3 client
s3_client = boto3.client('s3')

# Call the list_buckets method
response = s3_client.list_buckets()

# Print out bucket names
print('Existing buckets:')
for bucket in response['Buckets']:
    print(f'  {bucket["Name"]}')

توجه کنید که چگونه باید دیکشنری `response` را تجزیه کنیم تا نام سطل‌ها را دریافت کنیم.

Resource API: یک رویکرد شی‌گرا

منابع یک راه «پایتونیک‌تر» برای تعامل با AWS ارائه می‌دهند. آنها برخی از تماس‌های شبکه اساسی را پنهان می‌کنند و یک رابط تمیزتر و شی‌گرا ارائه می‌دهند.

چه زمانی از یک Resource استفاده کنیم:

• برای کد قابل خواندن و شهودی‌تر.
• هنگام انجام عملیات رایج بر روی اشیاء AWS.
• وقتی سبک برنامه‌نویسی شی‌گرا را ترجیح می‌دهید.

مثال: فهرست کردن سطل‌های S3 با استفاده از یک Resource

import boto3

# Create an S3 resource
s3_resource = boto3.resource('s3')

# Iterate through all bucket objects
print('Existing buckets:')
for bucket in s3_resource.buckets.all():
    print(f'  {bucket.name}')

این کد قطعاً تمیزتر است. ما مستقیماً روی اشیاء `bucket` تکرار می‌کنیم و با استفاده از ویژگی `.name` به نام‌های آنها دسترسی پیدا می‌کنیم.

Client در مقابل Resource: کدام یک را باید انتخاب کنید؟

هیچ پاسخ درستی وجود ندارد. اغلب به کار و ترجیح شخصی بستگی دارد. یک قانون خوب این است:

• با Resources شروع کنید: برای کارهای رایج، Resource API منجر به کد قابل خواندن و قابل نگهداری می‌شود.
• برای قدرت به Clients بروید: اگر یک فراخوانی API خاص در Resource API در دسترس نیست، یا اگر به کنترل دقیق پارامترها نیاز دارید، از یک Client استفاده کنید.

حتی می‌توانید آن‌ها را ترکیب کنید. یک شیء Resource به شما امکان دسترسی به Client زیربنایی خود را از طریق ویژگی `meta` می‌دهد (به عنوان مثال، `s3_resource.meta.client`).

Boto3 عملی در عمل: خودکارسازی خدمات اصلی AWS

بیایید تئوری را با خودکارسازی برخی از رایج‌ترین خدمات AWS که توسط سازمان‌ها در سراسر جهان استفاده می‌شوند، عملی کنیم.

Amazon S3 (Simple Storage Service): مرکز داده‌های جهانی

S3 یک سرویس ذخیره‌سازی شی است که مقیاس‌پذیری، در دسترس بودن داده‌ها، امنیت و عملکرد پیشرو در صنعت را ارائه می‌دهد. این اغلب ستون فقرات ذخیره‌سازی داده‌ها برای برنامه‌ها است.

مثال: یک گردش کار کامل S3

import boto3
import uuid # To generate a unique bucket name

# Use the S3 resource for a high-level interface
s3 = boto3.resource('s3')

# Choose a region where the bucket will be created
# Note: S3 bucket names must be globally unique!
region = 'us-east-1'
bucket_name = f'boto3-guide-unique-bucket-{uuid.uuid4()}'
file_name = 'hello.txt'

try:
    # 1. Create a bucket
    print(f'Creating bucket: {bucket_name}...')
    s3.create_bucket(
        Bucket=bucket_name,
        CreateBucketConfiguration={'LocationConstraint': region}
    )
    print('Bucket created successfully.')

    # 2. Upload a file
    print(f'Uploading {file_name} to {bucket_name}...')
    bucket = s3.Bucket(bucket_name)
    bucket.put_object(Key=file_name, Body=b'Hello, World from Boto3!')
    print('File uploaded successfully.')

    # 3. List objects in the bucket
    print(f'Listing objects in {bucket_name}:')
    for obj in bucket.objects.all():
        print(f' - {obj.key}')

    # 4. Download the file
    download_path = f'downloaded_{file_name}'
    print(f'Downloading {file_name} to {download_path}...')
    bucket.download_file(file_name, download_path)
    print('File downloaded successfully.')

finally:
    # 5. Clean up: Delete objects and then the bucket
    print('Cleaning up resources...')
    bucket = s3.Bucket(bucket_name)
    # It's important to delete all objects before deleting the bucket
    bucket.objects.all().delete()
    bucket.delete()
    print(f'Bucket {bucket_name} and its contents have been deleted.')

Amazon EC2 (Elastic Compute Cloud): مدیریت سرورهای مجازی

EC2 ظرفیت محاسباتی امن و قابل تغییر اندازه را در ابر فراهم می‌کند. این به گونه‌ای طراحی شده است که رایانش ابری در مقیاس وب را برای توسعه‌دهندگان آسان‌تر کند.

مثال: راه‌اندازی و مدیریت یک نمونه EC2

import boto3
import time

# Use the EC2 resource
ec2 = boto3.resource('ec2', region_name='us-west-2')

# Find a suitable Amazon Linux 2 AMI in the specified region
# Using a client to get the latest AMI ID
ec2_client = boto3.client('ec2', region_name='us-west-2')
filters = [
    {'Name': 'name', 'Values': ['amzn2-ami-hvm-*-x86_64-gp2']},
    {'Name': 'state', 'Values': ['available']}
]
images = ec2_client.describe_images(Owners=['amazon'], Filters=filters)
ami_id = images['Images'][0]['ImageId']

print(f'Using AMI ID: {ami_id}')

# 1. Launch a new t2.micro instance (often in the free tier)
instance = ec2.create_instances(
    ImageId=ami_id,
    InstanceType='t2.micro',
    MinCount=1,
    MaxCount=1,
    TagSpecifications=[
        {
            'ResourceType': 'instance',
            'Tags': [{'Key': 'Name', 'Value': 'Boto3-Guide-Instance'}]
        }
    ]
)[0] # create_instances returns a list

print(f'Instance {instance.id} is launching...')

# 2. Wait until the instance is in the 'running' state
instance.wait_until_running()
print(f'Instance {instance.id} is now running.')

# Reload the instance attributes to get the public IP address
instance.reload()
print(f'Public IP Address: {instance.public_ip_address}')

# 3. Stop the instance
print(f'Stopping instance {instance.id}...')
instance.stop()
instance.wait_until_stopped()
print(f'Instance {instance.id} is stopped.')

# 4. Terminate the instance (deletes it permanently)
print(f'Terminating instance {instance.id}...')
instance.terminate()
instance.wait_until_terminated()
print(f'Instance {instance.id} has been terminated.')

AWS Lambda: یکپارچه سازی بدون سرور

Lambda یک سرویس محاسباتی بدون سرور است که به شما امکان می‌دهد کد را بدون تهیه یا مدیریت سرورها اجرا کنید. می‌توانید توابع Lambda را از بیش از 200 سرویس AWS راه‌اندازی کنید یا آنها را مستقیماً از هر برنامه وب یا تلفن همراه فراخوانی کنید.

مثال: فراخوانی یک تابع Lambda
ابتدا، شما به یک تابع Lambda در حساب AWS خود نیاز دارید. بیایید فرض کنیم که شما یک تابع ساده با نام `my-data-processor` دارید که یک محموله JSON را می‌گیرد، آن را پردازش می‌کند و یک نتیجه را برمی‌گرداند.

import boto3
import json

# Use the Lambda client
lambda_client = boto3.client('lambda', region_name='eu-central-1')

function_name = 'my-data-processor'
payload = {
    'customer_id': '12345',
    'transaction_amount': 99.99
}

try:
    print(f'Invoking Lambda function: {function_name}')
    response = lambda_client.invoke(
        FunctionName=function_name,
        InvocationType='RequestResponse', # Synchronous invocation
        Payload=json.dumps(payload)
    )

    # The response payload is a streaming body, so we need to read and decode it
    response_payload = json.loads(response['Payload'].read().decode('utf-8'))

    print('Lambda invocation successful.')
    print(f'Status Code: {response["StatusCode"]}')
    print(f'Response Payload: {response_payload}')

except lambda_client.exceptions.ResourceNotFoundException:
    print(f'Error: Lambda function {function_name} not found.')
except Exception as e:
    print(f'An error occurred: {e}')

مفاهیم پیشرفته Boto3 برای برنامه‌های قوی

هنگامی که با اصول اولیه راحت شدید، می‌توانید از ویژگی‌های پیشرفته‌تر Boto3 برای ساخت برنامه‌های انعطاف‌پذیر، کارآمد و مقیاس‌پذیر استفاده کنید.

مدیریت خطاها و استثنائات به درستی

مشکلات شبکه، خطاهای مجوز یا منابع وجود نداشته می‌تواند باعث شکست اسکریپت شما شود. کد قوی این خطاها را پیش‌بینی و مدیریت می‌کند. Boto3 برای خطاهای خاص سرویس، به طور معمول زیر کلاس‌های `botocore.exceptions.ClientError` را ایجاد می‌کند.

شما می‌توانید این استثناها را بگیرید و کد خطا را بررسی کنید تا مشکل خاص را تعیین کنید.

import boto3
from botocore.exceptions import ClientError

s3_client = boto3.client('s3')
bucket_name = 'a-bucket-that-does-not-exist-12345'

try:
    s3_client.head_bucket(Bucket=bucket_name)
    print(f'Bucket "{bucket_name}" exists.')
except ClientError as e:
    # Check for the specific '404 Not Found' error code
    error_code = e.response['Error']['Code']
    if error_code == '404':
        print(f'Bucket "{bucket_name}" does not exist.')
    elif error_code == '403':
        print(f'Access denied. You do not have permission to access bucket "{bucket_name}".')
    else:
        print(f'An unexpected error occurred: {e}')

Waiters: همگام‌سازی عملیات ناهمزمان

بسیاری از عملیات AWS، مانند ایجاد یک نمونه EC2 یا یک سطل S3، ناهمزمان هستند. تماس API فوراً برمی‌گردد، اما رسیدن منبع به حالت دلخواه زمان می‌برد. به جای نوشتن حلقه‌های نظرسنجی پیچیده، می‌توانید از «Waiters» داخلی Boto3 استفاده کنید.

یک Waiter وضعیت منبع را در فواصل زمانی منظم تا زمانی که به یک حالت خاص برسد یا زمانش تمام شود، بررسی می‌کند.

# This was already demonstrated in the EC2 example:

# Waiter for instance running
instance.wait_until_running()

# Waiter for S3 bucket to exist
s3_client = boto3.client('s3')
waiter = s3_client.get_waiter('bucket_exists')
waiter.wait(Bucket='my-newly-created-bucket')
print('Bucket is now ready to use.')

Paginators: مدیریت کارآمد مجموعه‌داده‌های بزرگ

فراخوانی‌های API که می‌توانند تعداد زیادی آیتم را برگردانند (مانند فهرست کردن تمام اشیاء در یک سطل S3 یا همه کاربران IAM) اغلب صفحه‌بندی می‌شوند. این بدان معناست که شما یک «صفحه» از نتایج و یک «توکن» برای درخواست صفحه بعد دریافت می‌کنید. مدیریت دستی این توکن می‌تواند خسته کننده باشد.

Paginators این فرآیند را با مدیریت منطق توکن برای شما ساده می‌کند، و به شما امکان می‌دهد به طور یکپارچه روی تمام نتایج تکرار کنید.

import boto3

s3_client = boto3.client('s3')

# Create a paginator
paginator = s3_client.get_paginator('list_objects_v2')

# Get an iterable object for all pages
pages = paginator.paginate(Bucket='a-very-large-bucket')

object_count = 0
for page in pages:
    if 'Contents' in page:
        for obj in page['Contents']:
            # print(obj['Key'])
            object_count += 1

print(f'Total objects found: {object_count}')

بهترین روش‌ها برای توسعه جهانی Boto3

نوشتن کد کاربردی یک چیز است. نوشتن کد ایمن، قابل نگهداری و مقرون به صرفه چیز دیگری است. پایبندی به بهترین روش‌ها، به‌ویژه برای تیم‌هایی که روی برنامه‌های جهانی کار می‌کنند، بسیار مهم است.

امنیت

• هرگز اعتبارنامه‌ها را سخت‌کد نکنید: این را نمی‌توان بیش از حد تأکید کرد. از IAM Roles برای سرویس‌هایی مانند EC2 و Lambda استفاده کنید که اعتبارنامه‌های موقت و چرخانده شده خودکار را ارائه می‌دهند. برای توسعه محلی، از فایل `~/.aws/credentials` که از طریق AWS CLI پیکربندی شده است، استفاده کنید.
• اصل کمترین امتیاز را اعمال کنید: کاربر یا نقش IAM که اسکریپت شما استفاده می‌کند باید فقط مجوزهای لازم برای انجام اقدامات مورد نیاز خود را داشته باشد. به عنوان مثال، اسکریپتی که فقط از یک سطل S3 می‌خواند نباید مجوزهای `s3:PutObject` یا `s3:DeleteObject` را داشته باشد.

عملکرد

• استفاده مجدد از اشیاء Client/Resource: ایجاد یک شیء کلاینت یا منبع Boto3 شامل مقداری سربار است. در برنامه‌های طولانی مدت یا توابع Lambda، شیء را یک بار ایجاد کنید و در چندین تماس از آن استفاده مجدد کنید.
• درک تاخیر منطقه‌ای: در صورت امکان، اسکریپت‌های Boto3 خود را در همان منطقه AWS که با سرویس‌هایی که با آنها تعامل دارید، اجرا کنید. به عنوان مثال، کد خود را روی یک نمونه EC2 در `eu-west-1` اجرا کنید تا سایر منابع را در `eu-west-1` مدیریت کنید. این به طور چشمگیری تأخیر شبکه را کاهش می‌دهد.

کیفیت کد و قابلیت نگهداری

• تماس‌های Boto3 را انتزاع کنید: تماس‌های Boto3 را در سراسر کد خود پراکنده نکنید. آنها را در توابع یا کلاس‌های خود (به عنوان مثال، یک کلاس `S3Manager`) محصور کنید. این باعث می‌شود کد شما خواندن، آزمایش و نگهداری آسان‌تر شود.
• از ثبت استفاده کنید: به جای عبارات `print()`، از ماژول `logging` پایتون استفاده کنید. این به شما امکان می‌دهد قابلیت تفصیلی را کنترل کنید و خروجی را به فایل‌ها یا سرویس‌های ثبت هدایت کنید، که برای اشکال‌زدایی برنامه‌های تولید ضروری است.

مدیریت هزینه

• به هزینه‌های API توجه کنید: در حالی که بسیاری از فراخوانی‌های API رایگان هستند، برخی می‌توانند هزینه‌هایی را متحمل شوند، به خصوص درخواست‌های `List` یا `Get` با حجم بالا. از مدل قیمت‌گذاری AWS برای سرویس‌هایی که استفاده می‌کنید آگاه باشید.
• پاکسازی منابع: همیشه منابع ایجاد شده در طول توسعه و آزمایش را خاتمه دهید یا حذف کنید. مثال‌های EC2 و S3 در بالا شامل مراحل پاکسازی بود. خودکارسازی پاکسازی یک مورد استفاده عالی برای خود Boto3 است!

نتیجه‌گیری: سفر شما به سمت تسلط بر ابر

Boto3 چیزی بیش از یک کتابخانه است. این دروازه‌ای به کنترل برنامه‌نویسی بر کل اکوسیستم AWS است. با تسلط بر مفاهیم اصلی آن - کلاینت‌ها و منابع، مدیریت خطاها، Waiters و Paginators - شما توانایی خودکارسازی زیرساخت، مدیریت داده‌ها، استقرار برنامه‌ها و اجرای امنیت در مقیاس را باز می‌کنید.

سفر در اینجا به پایان نمی‌رسد. اصول و الگوهای مورد بحث در این راهنما برای صدها سرویس AWS دیگر که توسط Boto3 پشتیبانی می‌شوند، از مدیریت پایگاه داده با RDS گرفته تا یادگیری ماشینی با SageMaker، قابل اجرا هستند. مستندات رسمی Boto3 یک منبع عالی برای بررسی عملیات خاص برای هر سرویس است.

با ادغام Boto3 در گردش کار خود، شما در حال پذیرفتن رویه زیرساخت به عنوان کد هستید و خود و تیم خود را قادر می‌سازید تا راه‌حل‌های قوی‌تر، مقیاس‌پذیرتر و کارآمدتری را بر روی پلتفرم ابری پیشرو در جهان بسازید. برنامه‌نویسی مبارک!