چگونه با چارچوب Optuna عملکرد مدل‌های یادگیری ماشین خود را بهبود دهیم؟

بهینه‌سازی هایپرپارامترها (HPO) برای بهبود عملکرد مدل‌های یادگیری ماشین ضروری است. چارچوب Optuna با استفاده از تکنیک‌هایی مانند بهینه‌سازی بیزی، نمونه‌گیری کارآمد و هرس، HPO را خودکار می‌کند. این چارچوب فرآیند HPO را ساده می‌کند، زمان را صرفه‌جویی می‌کند و کارایی مدل را افزایش می‌دهد. این مقاله به بررسی معماری، ویژگی‌های کلیدی و کاربردهای Optuna می‌پردازد و مزایای آن نسبت به سایر کتابخانه‌های HPO در زمان اجرا، هرس خودکار و مقیاس‌پذیری را برجسته می‌کند.

اهمیت بهینه‌سازی هایپرپارامترها

در زمینه‌ی در حال توسعه‌ی یادگیری ماشین، عملکرد مدل‌ها می‌تواند به طور قابل‌توجهی تحت تأثیر هایپرپارامترهای (hyperparameters) آنها قرار گیرد. هایپرپارامترها، برخلاف پارامترهای مدل، قبل از شروع فرایند یادگیری تنظیم می‌شوند و رفتار فرآیند آموزش و ساختار مدل را تعیین می‌کنند. نمونه‌هایی از هایپرپارامترها شامل نرخ یادگیری، تعداد لایه‌ها در یک شبکه عصبی و تعداد درخت‌ها در جنگل تصادفی هستند. بهینه‌سازی این هایپرپارامترها حیاتی است زیرا می‌تواند به طور چشمگیری دقت، کارایی و عملکرد کلی مدل را تحت تأثیر قرار دهد.

بدون تنظیم صحیح هایپرپارامترها، مدل‌ها ممکن است دچار کم‌‌برازش (underfitting) یا بیش‌برازش (overfitting) شوند که منجر به عمومی‌سازی (generalization) ضعیف در داده‌های نادیده (داده‌های تست) می‌شود. روش‌های سنتی بهینه‌سازی هایپرپارامترها، مانند تنظیم دستی، جستجوی شبکه‌ای و جستجوی تصادفی، می‌توانند ناکارآمد و زمان‌بر باشند و اغلب نیاز به منابع محاسباتی گسترده و تخصص دارند.

همچنین بخوانید: اهمیت نرخ یادگیری در یادگیری ماشین و یادگیری عمیق چیست؟

مروری بر Optuna

Optuna یک چارچوب پیشرفته برای بهینه‌سازی هایپرپارامترها است که برای خودکارسازی جستجوی بهینه‌ترین هایپرپارامترها در مدل‌های یادگیری ماشین طراحی شده است. چارچوب Optuna که توسط Preferred Networks توسعه یافته، رویکردی منعطف و کارآمد برای تنظیم هایپرپارامترها ارائه می‌دهد و از تکنیک‌های پیشرفته‌ای مانند بهینه‌سازی بیزی (Bayesian optimization)، نمونه‌برداری کارآمد (efficient sampling) و استراتژی‌های هرس (pruning strategies) استفاده می‌کند.

با چارچوب Optuna، دانشمندان داده و مهندسان یادگیری ماشین می‌توانند عملکرد برتری در مدل‌ها بدست آورند در حالی که زمان و تلاش مورد نیاز برای تنظیم هایپرپارامترها را کاهش می‌دهند. این مقاله هدف دارد یک مرور جامع از Optuna، معماری آن و کاربردش در پروژه‌های مختلف یادگیری ماشین را ارائه دهد و همچنین مقایسه‌ای با دیگر کتابخانه‌های بهینه‌سازی هایپرپارامترها داشته باشد.

درک بهینه‌سازی هایپرپارامترها

تعریف و اهمیت

بهینه‌سازی هایپرپارامترها (HPO) فرایند انتخاب بهترین مجموعه هایپرپارامترها برای یک مدل یادگیری ماشین است. هایپرپارامترها تنظیمات خارجی یک مدل هستند که از داده‌ها یاد گرفته نمی‌شوند بلکه قبل از شروع فرآیند آموزش تنظیم می‌شوند. آن‌ها تأثیر زیادی بر نحوه یادگیری و عملکرد مدل دارند. هایپرپارامترهای رایج شامل نرخ یادگیری (learning rate)، اندازه بچ (batch size)، تعداد اپوک‌ها یا تکرارها (epochs)، تعداد لایه‌های پنهان (hidden layers) و توابع فعال‌سازی (activation functions) هستند.

اهمیت بهینه‌سازی هایپرپارامترها در توانایی آن‌ها برای تأثیرگذاری چشمگیر بر عملکرد مدل نهفته است. هایپرپارامترهای بهینه می‌توانند منجر به مدل‌های دقیق‌تر، تعمیم بهتر به داده‌های جدید و آموزش کارآمدتر شوند. برعکس، هایپرپارامترهای نامناسب می‌توانند منجر به مدل‌هایی با عملکرد ضعیف، بیش‌برازش یا عدم همگرایی شوند.

چالش‌های رایج در بهینه‌سازی هایپرپارامترها

• نفرین ابعاد (Curse of Dimensionality): فضای هایپرپارامترها می‌تواند بسیار وسیع و پیچیده باشد، به ویژه برای مدل‌های یادگیری عمیق با تعداد زیادی هایپرپارامتر. کاوش کامل این فضای با ابعاد بالا می‌تواند هزینه‌بر و زمان‌بر باشد.
• هزینه محاسباتی (Computational Cost): ارزیابی هر مجموعه از هایپرپارامترها نیاز به آموزش مدل دارد، که می‌تواند برای مجموعه داده‌های بزرگ و مدل‌های پیچیده، هزینه‌بر باشد.
• فضای جستجوی غیرمحدب (Non-convex and Noisy Search Space): فضای هایپرپارامترها اغلب غیرمحدب است، به این معنی که تغییرات کوچک در هایپرپارامترها می‌توانند منجر به نوسانات قابل توجه در عملکرد مدل شوند. این مسئله یافتن بهینه سراسری را چالش‌برانگیز می‌کند.
• وابستگی و تعاملات (Dependency and Interactions): هایپرپارامترها اغلب با یکدیگر تعامل دارند و مقادیر بهینه آن‌ها می‌تواند وابسته به دیگر هایپرپارامترها باشد. این وابستگی پیچیدگی فرآیند بهینه‌سازی را افزایش می‌دهد.
• محدودیت‌های منابع (Resource Constraints): منابع محاسباتی و زمان محدود می‌توانند میزان کاوش در فضای هایپرپارامترها را محدود کنند و دستیابی به نتایج بهینه را چالش‌برانگیز کنند.

برای رفع این چالش‌ها، تکنیک‌ها و فریم‌ورک‌های پیشرفته بهینه‌سازی مانند چارچوب Optuna توسعه یافته‌اند که راه‌های کارآمدتر و مؤثرتری برای کاوش در فضای هایپرپارامترها ارائه می‌دهند.

مقدمه‌ای بر چارچوب Optuna

Optuna چیست؟

Optuna یک فریم‌ورک متن‌باز برای بهینه‌سازی هایپرپارامترها است که برای خودکارسازی فرآیند یافتن بهترین هایپرپارامترها برای مدل‌های یادگیری ماشین طراحی شده است. چارچوب Optuna که توسط Preferred Networks توسعه یافته، با تمرکز بر انعطاف‌پذیری، کارایی و سهولت استفاده ساخته شده است. این فریم‌ورک از الگوریتم‌های مختلف بهینه‌سازی پشتیبانی می‌کند و با کتابخانه‌های محبوب یادگیری ماشین به خوبی ادغام می‌شود.

ویژگی‌های کلیدی Optuna

• API منحصر به فرد define-by-run: این قابلیت در Optuna به کاربران اجازه می‌دهد فضای جستجو را به صورت پویا بسازند. این انعطاف‌پذیری امکان پیکربندی هایپرپارامترهای پیچیده و شرطی را فراهم می‌کند و کاوش در سناریوهای بهینه‌سازی سفارشی را آسان‌تر می‌کند.
• نمونه‌برداری کارآمد (Efficient Sampling): چارچوب Optuna از الگوریتم‌های پیشرفته‌ای مانند Tree-structured Parzen Estimator (TPE) برای نمونه‌برداری کارآمد از فضای هایپرپارامتر استفاده می‌کند. TPE توزیع هایپرپارامترهای خوب و بد را جداگانه مدل می‌کند و این امکان را فراهم می‌کند تا جستجوها به صورت هدفمندتر و آگاهانه‌تر انجام شوند.
• هرس خودکار (Automated Pruning): Optuna از استراتژی‌های هرس خودکار استفاده می‌کند تا آزمایش‌های غیرامیدوارکننده را زودتر متوقف کند. این ویژگی با تمرکز بر پیکربندی‌های هایپرپارامتر امیدوارکننده‌تر، به صرفه‌جویی در منابع محاسباتی کمک می‌کند. هرس به ویژه در یادگیری عمیق که آموزش زمان‌بر است، بسیار مفید است.
• مقیاس‌پذیری (Scalability): چارچوب Optuna از بهینه‌سازی موازی و توزیع‌شده پشتیبانی می‌کند که آن را برای وظایف بزرگ‌مقیاس یادگیری ماشین مناسب می‌سازد. این فریم‌ورک می‌تواند چندین آزمایش را به صورت موازی در ماشین‌های مختلف اجرا کند و با استفاده از منابع محاسباتی توزیع‌شده فرآیند بهینه‌سازی را تسریع کند.
• ابزارهای بصری‌سازی (Visualization Tools): Optuna ابزارهای بصری‌سازی داخلی را ارائه می‌دهد تا به کاربران کمک کند فرآیند بهینه‌سازی را تحلیل و درک کنند. این بصری‌سازی‌ها شامل اهمیت هایپرپارامترها، تاریخچه بهینه‌سازی و نمودارهای مختصات موازی است که بینش‌هایی درباره فضای جستجو و عملکرد هایپرپارامترهای مختلف فراهم می‌کند.

ترکیب انعطاف‌پذیری، کارایی و مقیاس‌پذیری چارچوب Optuna آن را به یک ابزار قدرتمند برای بهینه‌سازی هایپرپارامترها تبدیل کرده است، که به دانشمندان داده و مهندسان یادگیری ماشین کمک می‌کند تا با تلاش کمتر به عملکرد برتر مدل‌ها دست یابند.

معماری و روند کار چارچوب Optuna

نحوه عملکرد Optuna

Optuna بر اساس یک اصل ساده اما قدرتمند عمل می‌کند: آزمون و خطای تکراری که توسط الگوریتم‌های هوشمند هدایت می‌شود. فرآیند بهینه‌سازی در چارچوب Optuna شامل تعریف یک تابع هدف است که این فریم‌ورک سعی می‌کند با تنظیم هایپرپارامترها، آن را به حداقل یا حداکثر برساند.

روند کار عموماً شامل مراحل زیر است:

• تعریف تابع هدف (Define the Objective Function): تابع هدف یک تابع تعریف‌شده توسط کاربر است که شامل فرآیند آموزش و ارزیابی مدل ماشین لرنینگ می‌باشد. این تابع، هایپرپارامترها را به عنوان ورودی می‌گیرد و یک معیار عملکرد را برای بهینه‌سازی برمی‌گرداند.
• ایجاد یک مطالعه (Create a Study): مطالعه یک کار بهینه‌سازی است که شامل مجموعه‌ای از آزمایش‌ها است. این مطالعه فرآیند جستجو را مدیریت می‌کند، هایپرپارامترهای آزمایش‌شده و نتایج مربوطه را پیگیری می‌کند.
• بهینه‌سازی مطالعه (Optimize the Study): از شیء مطالعه برای اجرای فرآیند بهینه‌سازی استفاده می‌شود. Optuna به صورت تکراری هایپرپارامترها را پیشنهاد می‌دهد، آن‌ها را با استفاده از تابع هدف ارزیابی می‌کند و استراتژی خود را بر اساس نتایج به‌روزرسانی می‌کند.
• تحلیل نتایج (Analyze Results): پس از فرآیند بهینه‌سازی، Optuna ابزارهایی برای تحلیل نتایج، تجسم عملکرد و شناسایی بهترین هایپرپارامترها ارائه می‌دهد.

اجزای Optuna

مطالعه (Study):

مطالعه شیء اصلی در چارچوب Optuna است که نمایانگر یک کار بهینه‌سازی است. این شیء فرآیند بهینه‌سازی شامل فضای جستجو، آزمایش‌ها و نتایج را دربرمی‌گیرد.

کاربران یک شیء Study ایجاد کرده و از آن برای شروع و مدیریت فرآیند بهینه‌سازی استفاده می‌کنند.

آزمایش (Trial):

یک آزمایش یک اجرای واحد از تابع هدف با مجموعه‌ای خاص از هایپرپارامترها است. هر آزمایش یک ترکیب منحصر به فرد از هایپرپارامترها را ارزیابی کرده و معیار عملکرد را ثبت می‌کند.

آزمایش‌ها توسط شیء مطالعه مدیریت شده و به صورت تکراری در طول فرآیند بهینه‌سازی اجرا می‌شوند.

نمونه‌بردار (Sampler):

نمونه‌بردار مسئول تولید پیشنهادات هایپرپارامتر بر اساس آزمایش‌های گذشته است. چارچوب Optuna نمونه‌بردارهای مختلفی ارائه می‌دهد، از جمله نمونه‌بردار TPE پیش‌فرض که توزیع هایپرپارامترهای خوب و بد را مدل‌سازی می‌کند.

کاربران می‌توانند نمونه‌بردارهای مختلفی انتخاب کرده یا نمونه‌بردارهای سفارشی را برای تنظیم استراتژی بهینه‌سازی پیاده‌سازی کنند.

هرس‌کننده (Pruner):

هرس‌کننده تصمیم می‌گیرد که آیا آزمایش‌های غیرمفید را زودتر متوقف کند یا خیر، بر اساس نتایج میانی. این امر کمک می‌کند تا منابع محاسباتی با تمرکز بر پیکربندی‌های هایپرپارامترهای امیدوارکننده ذخیره شوند.

Optuna شامل چندین الگوریتم هرس، مانند هرس‌کننده میانه (Median Pruner) و هرس‌کننده نصفه‌نصفه (Successive Halving Pruner)، برای افزایش کارایی بهینه‌سازی است.

پیاده‌سازی چارچوب Optuna در پروژ‌های ماشین لرنینگ

راه‌اندازی Optuna

برای شروع کار با Optuna، باید آن را از طریق pip نصب کنیم:

    
 !pip install optuna   
    
  

مطالعه موردی اول: بهینه سازی هایپرپارامترها برای مدل XGBoost

    
import optuna
import xgboost as xgb
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_breast_cancer
from sklearn.metrics import accuracy_score
# Load dataset
data = load_breast_cancer()
X_train, X_test, y_train, y_test = train_test_split(data.data, data.target, test_size=0.2, random_state=42)
# Define objective function
def objective(trial):
    param = {
        'booster': 'gbtree',
        'max_depth': trial.suggest_int('max_depth', 3, 10),
        'learning_rate': trial.suggest_float('learning_rate', 0.01, 0.3),
        'n_estimators': trial.suggest_int('n_estimators', 50, 200),
        'subsample': trial.suggest_float('subsample', 0.5, 1.0),
        'colsample_bytree': trial.suggest_float('colsample_bytree', 0.5, 1.0)
    }
    model = xgb.XGBClassifier(**param)
    model.fit(X_train, y_train)
    preds = model.predict(X_test)
    accuracy = accuracy_score(y_test, preds)
    return accuracy
# Create and optimize study
study = optuna.create_study(direction='maximize')
study.optimize(objective, n_trials=100)
print(f"Best trial: {study.best_trial.value}")
print(f"Best parameters: {study.best_trial.params}")
      
    
  

توضیح قطعه کد:

• بارگذاری داده‌ها: در این مثال، از مجموعه داده‌های سرطان سینه از scikit-learn استفاده شده است.
• تعریف تابع هدف: تابع هدف، کلاسیفایر XGBoost را با هایپرمترهای پیشنهادی توسط Optuna آموزش می‌دهد. این تابع دقت مدل را بر روی مجموعه تست بازمی‌گرداند.
• ایجاد و بهینه‌سازی مطالعه: یک مطالعه Optuna ایجاد می‌شود که مشخص می‌کند ما می‌خواهیم دقت را به حداکثر برسانیم. مطالعه سپس در ۱۰۰ آزمایش بهینه‌سازی می‌شود.

همچنین بخوانید: با الگوریتم XGBoost یکی از قدرتمندترین الگوریتم‌های یادگیری ماشین آشنا شوید!

مطالعه موردی دوم: بهینه سازی هایپرپارامترها برای شبکه عصبی

    
import optuna
from tensorflow import keras
from tensorflow.keras.datasets import mnist
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Flatten, Dropout
from tensorflow.keras.optimizers import Adam
from tensorflow.keras.utils import to_categorical
# Load and preprocess data
(x_train, y_train), (x_test, y_test) = mnist.load_data()
x_train = x_train.astype('float32') / 255.0
x_test = x_test.astype('float32') / 255.0
y_train = to_categorical(y_train, 10)
y_test = to_categorical(y_test, 10)
# Define the objective function
def objective(trial):
    model = Sequential()
    model.add(Flatten(input_shape=(28, 28)))
    
    # Hyperparameters to optimize
    n_units = trial.suggest_int('n_units', 32, 128)
    dropout_rate = trial.suggest_float('dropout_rate', 0.2, 0.5)
    model.add(Dense(n_units, activation='relu'))
    model.add(Dropout(dropout_rate))
    model.add(Dense(10, activation='softmax'))
    
    # Learning rate
    lr = trial.suggest_float('lr', 1e-5, 1e-1)
    optimizer = Adam(learning_rate=lr)
    
    # Batch size
    batch_size = trial.suggest_int('batch_size', 32, 128)
    
    model.compile(optimizer=optimizer, loss='categorical_crossentropy', metrics=['accuracy'])
    
    # Train the model
    model.fit(x_train, y_train, epochs=5, batch_size=batch_size, verbose=0, validation_data=(x_test, y_test))
    
    # Evaluate the model
    score = model.evaluate(x_test, y_test, verbose=0)
    accuracy = score[1]
    
    return accuracy
# Create and optimize study
study = optuna.create_study(direction='maximize')
study.optimize(objective, n_trials=50)
print(f"Best trial: {study.best_trial.value}")
print(f"Best parameters: {study.best_trial.params}")
      
    
  

توضیح قطعه کد:

• بارگذاری و پیش‌پردازش داده‌ها: مجموعه داده‌های MNIST بارگذاری و پیش‌پردازش می‌شوند. تصاویر نرمال‌سازی می‌شوند تا مقادیر بین ۰ و ۱ داشته باشند و برچسب‌ها به وکتورهای لیبل به صورت برداری one-hot انکود می‌شود.
• تعریف تابع هدف: تابع هدف یک شبکه عصبی ساده با استفاده از Keras ایجاد می‌کند که شامل یک لایه مخفی، یک لایه دراپ‌آوت و بهینه‌ساز Adam است. تعداد واحدها در لایه مخفی، نرخ دراپ‌آوت، نرخ یادگیری بهینه‌ساز Adam و اندازه بچ، همه هایپرمترهایی هستند که باید بهینه شوند. مدل برای ۵ ایپاک آموزش داده می‌شود.
• ایجاد و بهینه‌سازی مطالعه: یک مطالعه Optuna ایجاد می‌شود تا دقت را به حداکثر برساند. مطالعه سپس در ۵۰ آزمایش بهینه‌سازی می‌شود و هر آزمایش یک ترکیب متفاوت از هایپرمترها را تست می‌کند.

ویژگی‌های پیشرفته Optuna

داشبورد Optuna

داشبورد Optuna یک ابزار قدرتمند است که یک رابط کاربری گرافیکی برای نظارت و مدیریت مطالعات بهینه‌سازی هایپرپارامتر فراهم می‌کند. این داشبورد چندین ویژگی دارد که به کاربران کمک می‌کند فرآیند بهینه‌سازی را درک و تحلیل کنند:

• بصری‌سازی تاریخچه بهینه‌سازی: داشبورد تاریخچه ارزیابی آزمایش‌ها را نمایش می‌دهد و نشان می‌دهد که چگونه مقدار هدف در طول زمان تغییر می‌کند. این ویژگی به شناسایی روندها و درک پیشرفت فرآیند بهینه‌سازی کمک می‌کند.
• نمودارهای موازی هماهنگ: این نمودارها به کاربران اجازه می‌دهد تا روابط بین هایپرپارامترهای مختلف و مقدار هدف را بصری‌سازی کنند. با تحلیل این نمودارها، کاربران می‌توانند شناسایی کنند که کدام هایپرپارامترها بیشترین تأثیر را بر عملکرد مدل دارند.
• اهمیت هایپرپارامتر: با کمک چارچوب Optuna می‌توان اهمیت هر هایپرپارامتر در تعیین مقدار هدف را محاسبه و نمایش داد. این اطلاعات برای درک اینکه کدام هایپرپارامترها بیشترین اهمیت را دارند و باید در بهینه‌سازی‌های آینده اولویت‌بندی شوند، مفید است.
• جزئیات و متریک‌های آزمایش: کاربران می‌توانند اطلاعات دقیقی درباره هر آزمایش، شامل مقادیر هایپرپارامتر، مقدار هدف و هر متریک اضافی را مشاهده کنند. این دیدگاه دقیق به تشخیص مشکلات و درک اینکه چرا پیکربندی‌های خاصی از هایپرپارامترها بهتر از دیگران عمل می‌کنند، کمک می‌کند.

برای راه اندازی داشبورد Optuna، کاربران می توانند دستور زیر را در ترمینال خود اجرا کنند:

    
   optuna-dashboard sqlite:///example.db   
    
  

این دستور یک وب سرور محلی را راه اندازی می کند که به عنوان هاست برای داشبورد شناخته می‌شود و از طریق یک مرورگر وب قابل دسترسی است.

یکپارچگی Optuna با MLflow

MLflow یک پلتفرم متن‌باز برای مدیریت چرخه کامل یادگیری ماشین است. این پلتفرم شامل چهار مؤلفه اصلی است: ردیابی برای ثبت پارامترها و متریک‌ها، مدل رجیستری برای مدیریت نسخه‌های مدل‌ها، پروژه‌ها برای بسته‌بندی کدها، و مدل‌ها برای آماده‌سازی مدل‌ها برای استقرار است. Optuna به طور یکپارچه با MLflow ادغام می‌شود و به کاربران اجازه می‌دهد از قابلیت‌های پیگیری آزمایش MLflow در مطالعات Optuna بهره ببرند.

مزایای کلیدی ادغام چارپوب Optuna با MLflow عبارتند از:

• پیگیری آزمایش: Optuna می‌تواند جزئیات آزمایش، هایپرپارامترها و مقادیر هدف را به MLflow ثبت کند و به کاربران اجازه دهد یک رکورد جامع از آزمایش‌های بهینه‌سازی هایپرپارامتر خود نگه دارند.
• نسخه‌بندی مدل: کاربران می‌توانند مدل‌های آموزش‌دیده خود را با استفاده از MLflow ذخیره و نسخه‌بندی کنند و اطمینان حاصل کنند که هر مدل با هایپرپارامترها و پیکربندی‌های آموزشی خاصی که در طول بهینه‌سازی استفاده شده است، مرتبط است.
• همکاری و به اشتراک‌گذاری: سرور مرکزی MLflow به چندین کاربر اجازه می‌دهد در پروژه‌های بهینه‌سازی همکاری کنند، نتایج را به اشتراک بگذارند و مقایسه‌های مختلفی از اجرای بهینه‌سازی‌ها انجام دهند.

برای Optuna با MLflow، کاربران باید مطالعه Optuna خود را برای استفاده از یک MLflow مطابق قطعه کد زیر پیکربندی کنند:

    
 import optuna
import mlflow
def objective(trial):
    # Define the objective function
    ...
study = optuna.create_study(direction='maximize')
mlflow_callback = optuna.integration.MLflowCallback(
    tracking_uri=mlflow.get_tracking_uri(),
    metric_name='accuracy'
)
study.optimize(objective, n_trials=50, callbacks=[mlflow_callback])
     
    
  

این راه‌اندازی تضمین می‌کند که تمام اطلاعات آزمایشی در MLflow ثبت ‌شوند و یک نمای واحد از فرآیند بهینه‌سازی ارائه می‌دهد.

ابزارهای بصری‌سازی Optuna

چارچوب Optuna چندین ابزار بصری‌سازی داخلی ارائه می‌دهد که به کاربران کمک می‌کند فرآیند بهینه‌سازی را تحلیل کنند و به بینش‌هایی در مورد فضای جستجوی هایپرپارامتر دست یابند. این ابزارها شامل موارد زیر هستند:

• نمودار تاریخچه بهینه‌سازی (Optimization History Plot): این نمودار مقادیر هدف تمام آزمایش‌ها را در طول زمان نشان می‌دهد و به کاربران کمک می‌کند پیشرفت و همگرایی فرآیند بهینه‌سازی را بصری‌سازی کنند.
• نمودار موازی هماهنگ (Parallel Coordinate Plot): این نمودار روابط بین هایپرپارامترها و مقدار هدف را بصری‌سازی می‌کند و به کاربران اجازه می‌دهد بررسی کنند که چگونه هایپرپارامترهای مختلف با هم تعامل دارند و عملکرد مدل را تحت تأثیر قرار می‌دهند.
• نمودار اهمیت هایپرپارامتر (Hyperparameter Importance Plot): این نمودار اهمیت هر هایپرپارامتر را نمایش می‌دهد و به کاربران کمک می‌کند شناسایی کنند که کدام هایپرپارامترها بیشترین تأثیر را بر مقدار هدف دارند.
• نمودار برش (Slice Plot): این نمودار مقدار هدف را به عنوان تابعی از هایپرپارامترهای فردی نشان می‌دهد و بینش‌هایی در مورد اینکه چگونه تغییرات در هایپرپارامترهای خاص عملکرد مدل را تحت تأثیر قرار می‌دهند، ارائه می‌دهد.
• نمودار کانتور (Contour Plot): این نمودار یک نمای دو بعدی از فضای جستجوی هایپرپارامتر ارائه می‌دهد و نشان می‌دهد که چگونه ترکیب‌های مختلف هایپرپارامتر مقدار هدف را تحت تأثیر قرار می‌دهند.

    
    #Optimization History Plot
optuna.visualization.plot_optimization_history(study)
# Parallel Coordinate Plot:
optuna.visualization.plot_parallel_coordinate(study)
#Hyperparameter Importance Plot:
optuna.visualization.plot_param_importances(study)
# Slice Plot
optuna.visualization.plot_slice(study)
# Contour Plot
optuna.visualization.plot_contour(study)  
    
  

شناسایی بهترین ترکیب مدل‌ها در مدل‌های تجمعی

Optuna همچنین می‌تواند برای بهینه‌سازی مدل‌های تجمعی (Ensemble Models) مانند Stacking یا Voting استفاده شود و بهترین ترکیب مدل‌ها و وزن‌های مربوطه آن‌ها را تعیین کند. روش‌های تجمعی پیش‌بینی‌های چندین مدل را ترکیب می‌کنند تا عملکرد بهتری نسبت به هر مدل منفرد داشته باشند. با استفاده از Optuna، می‌توانیم وزن‌های بهینه برای هر مدل در مجموعه را پیدا کنیم و دقت کلی را به حداکثر برسانیم.

در یک مدل تجمعی ترکیبی، ابتدا مدل‌های پایه آموزش داده می‌شوند و سپس پیش‌بینی‌های آن‌ها به عنوان ویژگی‌های ورودی برای یک مدل متا استفاده می‌شوند. Optuna می‌تواند در انتخاب بهترین مدل‌های پایه و تنظیم وزن‌های آن‌ها کمک کند.

    
import optuna
from sklearn.datasets import load_iris
from sklearn.ensemble import VotingClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import cross_val_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
# Load dataset
data = load_iris()
X, y = data.data, data.target
# Define objective function
def objective(trial):
    # Suggest weights for each model in the ensemble
    weight_lr = trial.suggest_float('weight_lr', 0.0, 1.0)
    weight_svc = trial.suggest_float('weight_svc', 0.0, 1.0)
    weight_dt = trial.suggest_float('weight_dt', 0.0, 1.0)
    
    # Ensure weights sum to 1
    total_weight = weight_lr + weight_svc + weight_dt
    weight_lr /= total_weight
    weight_svc /= total_weight
    weight_dt /= total_weight
    
    # Create base models
    lr = make_pipeline(StandardScaler(), LogisticRegression())
    svc = make_pipeline(StandardScaler(), SVC(probability=True))
    dt = DecisionTreeClassifier()
    
    # Create VotingClassifier with suggested weights
    voting_clf = VotingClassifier(
        estimators=[('lr', lr), ('svc', svc), ('dt', dt)],
        voting='soft',
        weights=[weight_lr, weight_svc, weight_dt]
    )
    
    # Evaluate model using cross-validation
    score = cross_val_score(voting_clf, X, y, cv=3, scoring='accuracy').mean()
    return score
# Create and optimize study
study = optuna.create_study(direction='maximize')
study.optimize(objective, n_trials=50)
print(f"Best trial: {study.best_trial.value}")
print(f"Best parameters: {study.best_trial.params}")
      
    
  

توضیح قطعه کد:

• بارگذاری داده‌ها: برای این مثال، مجموعه داده Iris بارگذاری شده است.
• تعریف تابع هدف: تابع هدف وزن‌های پیشنهادی برای هر مدل در مجموعه را ارائه می‌دهد. این وزن‌ها به گونه‌ای نرمال‌سازی می‌شوند که مجموع آن‌ها برابر با 1 باشد. مدل‌های استفاده شده شامل لجستیک رگرسیون، SVM و درخت تصمیم هستند. یک VotingClassifier با این مدل‌ها و وزن‌های پیشنهادی آن‌ها ایجاد شده و عملکرد آن با استفاده از اعتبارسنجی متقابل ارزیابی می‌شود.
• ایجاد و بهینه‌سازی مطالعه: یک مطالعه Optuna برای به حداکثر رساندن دقت ایجاد می‌شود. این مطالعه در 50 آزمایش بهینه‌سازی می‌شود که هر آزمایش وزن‌های مختلفی برای مدل‌ها در مجموعه را تست می‌کند.

با استفاده از چارچوب Optuna برای بهینه‌سازی وزن‌های هر مدل در مجموعه، می‌توانیم عملکرد بهتری نسبت به استفاده از وزن‌های پیش‌فرض یا انتخاب شده به صورت دستی به دست آوریم و اطمینان حاصل کنیم که مؤثرترین ترکیب از مشارکت مدل‌ها را داریم.

برای مطالعه بیشتر کلیک کنید: چالش پیش‌بینی سن صدف در مسابقات Kaggle

مقایسه Optuna با سایر کتابخانه‌های بهینه‌سازی هایپرپارامترها

GridSearchCV

GridSearchCV یک تکنیک سنتی بهینه‌سازی هایپرپارامتر است که توسط کتابخانه scikit-learn ارائه می‌شود. این روش یک جستجوی جامع بر روی یک شبکه هایپرپارامتر مشخص انجام می‌دهد و همه ترکیبات ممکن هایپرپارامترها را ارزیابی می‌کند.

مزایا:

• سادگی: ساده برای درک و پیاده‌سازی.
• جستجوی جامع: تضمین می‌کند که بهترین هایپرپارامترها را در شبکه مشخص شده پیدا کند.

معایب:

• هزینه محاسباتی: می‌تواند بسیار کند باشد، به ویژه برای شبکه‌های هایپرپارامتر بزرگ.
• ناکارآمدی: همه ترکیبات را ارزیابی می‌کند، از جمله بسیاری که ممکن است بهینه نباشند.

RandomizedSearchCV

RandomizedSearchCV یک تکنیک دیگر بهینه‌سازی هایپرپارامتر از scikit-learn است. به جای ارزیابی همه ترکیبات ممکن، تعداد ثابتی از ترکیبات هایپرپارامتر را از یک توزیع مشخص نمونه‌برداری می‌کند.

مزایا:

• کارایی: سریع‌تر از GridSearchCV است زیرا زیرمجموعه‌ای از ترکیبات هایپرپارامتر را نمونه‌برداری می‌کند.
• انعطاف‌پذیری: می‌تواند فضای جستجوی بزرگ را موثرتر مدیریت کند.

معایب:

• تصادفی بودن: ممکن است هایپرپارامترهای بهینه را از دست بدهد چون همه ترکیبات را ارزیابی نمی‌کند.

بهینه‌سازی بیزی (Hyperopt)

بهینه‌سازی بیزی یک روش مبتنی بر مدل احتمالاتی است که از ارزیابی‌های گذشته برای ساخت یک مدل جایگزین از تابع هدف استفاده می‌کند و هایپرپارامترهای بعدی برای ارزیابی را انتخاب می‌کند. Hyperopt یک کتابخانه محبوب برای بهینه‌سازی بیزی در پایتون است.

مزایا:

• کارایی: نمونه‌گیری کارآمدتر نسبت به GridSearchCV و RandomizedSearchCV.
• تعادل اکتشاف- بهره‌برداری: استفاده از مدل احتمالاتی برای تعادل بین اکتشاف مناطق جدید و بهره‌برداری از مناطق خوب شناخته شده فضای جستجو.

معایب:

• پیچیدگی: پیچیده‌تر برای درک و پیاده‌سازی نسبت به جستجوی شبکه‌ای و تصادفی.
• هزینه محاسباتی: ساخت و به‌روزرسانی مدل جایگزین می‌تواند هزینه‌بر باشد.

ویژگی	Optuna	GridSearchCV	RandomizedSearchCV	Hyperopt
روش جستجو	بیزی + نمونه‌گیری	جستجوی جامع	نمونه‌گیری تصادفی	بهینه‌سازی بیزی
کارایی	بالا	پایین	متوسط	بالا
پیچیدگی	متوسط	پایین	متوسط	بالا
مقیاس‌پذیری	بالا	پایین	متوسط	بالا
حذف زودهنگام (Pruning)	بله	خیر	خیر	خیر
ابزارهای بصری	بله	خیر	خیر	خیر
یکپارچگی با کتابخانه‌های یادگیری ماشین	بالا (TensorFlow, PyTorch)	متوسط (scikit-learn)	متوسط (scikit-learn)	متوسط (scikit-learn)

بهترین شیوه‌ها برای بهینه‌سازی هایپرپارامترها با چارچوب Optuna

نکات و ترفندها

• شروع با فضای جستجوی گسترده: با محدوده‌ای وسیع از هایپرپارامترها شروع کنید تا مجموعه‌ای متنوع از پیکربندی‌ها را کاوش کنید. فضای جستجو را بر اساس نتایج اولیه محدود کنید.
• استفاده استراتژیک از هرس: هرس را فعال کنید تا آزمون‌های نامطلوب را زودتر متوقف کرده و منابع محاسباتی را ذخیره کنید. پارامترهای هرس را برای تعادل بین اکتشاف و بهره‌برداری تنظیم کنید.
• استفاده از موازی‌سازی: از قابلیت‌های بهینه‌سازی موازی و توزیعی چارچوب Optuna برای سرعت بخشیدن به فرآیند جستجو، به ویژه در وظایف بزرگ مقیاس، استفاده کنید.
• نظارت و تجسم: فرآیند بهینه‌سازی را به طور منظم با استفاده از ابزارهای تجسم Optuna نظارت کنید تا بینشی در مورد فضای جستجو کسب کرده و تصمیمات آگاهانه بگیرید.
• آزمایش با نمونه‌گیرهای مختلف: الگوریتم‌های نمونه‌گیری مختلف (مانند TPE، Random) را امتحان کنید تا ببینید کدام یک برای مسئله بهینه‌سازی خاص شما بهترین عملکرد را دارد.

اشتباهات رایج و چگونگی جلوگیری از آن‌ها

• بیش‌برازش به مجموعه اعتبارسنجی: با استفاده از مجموعه اعتبارسنجی جداگانه و روش‌هایی مانند اعتبارسنجی متقابل از بیش‌برازش جلوگیری کنید.
• فضای جستجوی بیش از حد محدود: تعریف فضای جستجویی که بیش از حد محدود باشد می‌تواند به از دست دادن پیکربندی‌های بهینه هایپرپارامتر منجر شود. با فضای گسترده شروع کنید و بر اساس نتایج آن را محدود کنید.
• نادیده گرفتن توقف زودهنگام: عدم استفاده از هرس می‌تواند منجر به هدر رفتن منابع محاسباتی شود. هرس را فعال و تنظیم کنید تا کارایی را بهبود بخشید.
• آزمون‌های ناکافی: اجرای تعداد کمی آزمون می‌تواند به انتخاب هایپرپارامترهای زیر بهینه منجر شود. اطمینان حاصل کنید که تعداد کافی آزمون برای کاوش کامل فضای جستجو اجرا کنید.
• نادیده گرفتن هایپرپارامترهای خاص مدل: مدل‌های مختلف دارای هایپرپارامترهای منحصر به فردی هستند که به طور قابل توجهی بر عملکرد تأثیر می‌گذارند. اطمینان حاصل کنید که این پارامترها را در فضای جستجوی خود لحاظ کنید.

روندهای آینده در بهینه‌سازی هایپرپارامترها

• یادگیری ماشین خودکار (AutoML): امروزه یکپارچه‌سازی بهینه‌سازی هایپرپارامترها در چارچوب‌های AutoML بیشتر شده که این امر امکان خودکارسازی فرآیند آموزش و تنظیم مدل را فراهم می‌کند.
• قابلیت مقیاس‌پذیری و محاسبات توزیعی: با بزرگتر شدن مجموعه داده‌ها و مدل‌ها، تکنیک‌های بهینه‌سازی مقیاس‌پذیر و توزیعی با استفاده از محاسبات ابری و سیستم‌های توزیعی اهمیت بیشتری پیدا می‌کنند.
• فراگیری: تکنیک‌هایی که از تجربیات بهینه‌سازی گذشته برای اطلاع‌رسانی جستجوهای جدید استفاده می‌کنند، در حال جذب توجه هستند و کارایی و اثر بخشی تنظیم هایپرپارامتر را بهبود می‌بخشند.
• یکپارچه‌سازی با چارچوب‌های یادگیری عمیق: یکپارچه‌سازی عمیق‌تر با چارچوب‌های محبوب یادگیری عمیق مانند TensorFlow و PyTorch همچنان توانایی‌ها و سهولت استفاده از ابزارهای بهینه‌سازی هایپرپارامتر را افزایش می‌دهد.

همچنین بخوانید: آشنایی کامل با کتابخانه PyTorch: ابزاری قدرتمند برای یادگیری عمیق

جمع‌بندی

Optuna به عنوان یک ابزار چند‌منظوره و کارآمد برای بهینه‌سازی هایپرپارامترها برجسته شده‌است که با ارائه ویژگی‌های پیشرفته و انعطاف‌پذیری برای مجموعه وسیعی از وظایف یادگیری ماشین مناسب است. با خودکارسازی جستجو برای هایپرپارامترهای بهینه، چارچوب Optuna به دانشمندان داده و مهندسان یادگیری ماشین کمک می‌کند تا به عملکرد برتر مدل دست یابند و در عین حال زمان و منابع محاسباتی را صرفه‌جویی کنند. با پیشرفت زمینه بهینه‌سازی هایپرپارامتر، ابزارهایی مانند Optuna همچنان نقش حیاتی در امکان‌پذیری توسعه مدل‌های یادگیری ماشین با عملکرد بالا، هدایت نوآوری و پیشرفت در صنعت ایفا خواهند کرد.

پرسش‌های متداول

چگونه بهینه‌سازی هایپرپارامترها (Hyperparameter Optimization) می‌تواند بر عملکرد مدل‌های یادگیری ماشین تأثیر بگذارد؟

بهینه‌سازی هایپرپارامترها می‌تواند دقت، کارایی و عملکرد کلی مدل‌ها را به طور چشمگیری بهبود بخشد. هایپرپارامترهای بهینه به جلوگیری از کم‌‌برازش (underfitting) و بیش‌برازش (overfitting) کمک می‌کنند و منجر به مدل‌های دقیق‌تر و کارآمدتر می‌شوند.

Optuna چیست و چگونه می‌تواند به بهینه‌سازی هایپرپارامترها کمک کند؟

Optuna یک فریم‌ورک متن‌باز برای بهینه‌سازی هایپرپارامترها است که از تکنیک‌های پیشرفته‌ای مانند بهینه‌سازی بیزی (Bayesian optimization) و نمونه‌برداری کارآمد (efficient sampling) استفاده می‌کند. این فریم‌ورک با خودکارسازی فرآیند بهینه‌سازی، زمان و تلاش مورد نیاز برای تنظیم هایپرپارامترها را کاهش می‌دهد.

چه چالش‌هایی در بهینه‌سازی هایپرپارامترها وجود دارد و چگونه Optuna این چالش‌ها را حل می‌کند؟

چالش‌هایی مانند نفرین ابعاد بالای مدل‌ها، هزینه محاسباتی بالا و وابستگی‌های پیچیده بین هایپرپارامترها وجود دارند. چارچوب Optuna با استفاده از تکنیک‌های پیشرفته و ابزارهای بصری‌سازی به کاربران کمک می‌کند این چالش‌ها را به طور کارآمدتری مدیریت کنند.

مزایای استفاده از داشبورد Optuna چیست؟

داشبورد Optuna یک ابزار قدرتمند است که رابط کاربری گرافیکی برای نظارت و مدیریت مطالعات بهینه‌سازی هایپرپارامتر فراهم می‌کند. این داشبورد شامل ابزارهای بصری‌سازی تاریخچه بهینه‌سازی، نمودارهای موازی هماهنگ و نمایش جزئیات آزمایش‌ها است که به کاربران کمک می‌کند فرآیند بهینه‌سازی را تحلیل و درک کنند.

چگونه Optuna با MLflow یکپارچه می‌شود و این یکپارچگی چه مزایایی دارد؟

Optuna به طور یکپارچه با MLflow ادغام می‌شود و کاربران می‌توانند از قابلیت‌های پیگیری آزمایش MLflow در مطالعات Optuna بهره ببرند. این ادغام امکان پیگیری دقیق آزمایش‌ها، نسخه‌بندی مدل‌ها و همکاری و به اشتراک‌گذاری نتایج را فراهم می‌کند و یک نمای واحد از فرآیند بهینه‌سازی ارائه می‌دهد.

یادگیری ماشین لرنینگ را از امروز شروع کنید!

دنیای داده‌ها جذاب است و دانستن علم داده، توانایی تحلیل داده‌، یا بازاریابی مبتنی بر داده، شما را برای فرصت‌های شغلی بسیاری مناسب می‌کند. فارغ از رشته‌ و پیش‌زمینه‌، می‌توانید حالا شروع کنید و از سطح مقدماتی تا پیشرفته بیاموزید. اگر دوست دارید به این حوزه وارد شوید، پیشنهاد می‌کنیم با کلیک روی این لینک قدم اول را همین حالا بردارید.

مشاوران کافه‌تدریس به شما کمک می‌کنند مسیر یادگیری برای ورود به این حوزه را شروع کنید:

دوره جامع دیتا ساینس و ماشین لرنینگ