학습 목표
- RamdomSearchCV로 하이퍼 파라미터를 찾는 방법을 이해할 수 있다.
핵심 키워드
- RandomizedSearchCV
- append()
학습하기
4.2.4 RamdomSearchCV 로 여러 알고리즘의 최적의 하이퍼 파라미터를 찾기(2)
학습내용
results = []
for estimator in estimators:
result = []
result.append(estimator.__class__.__name__)
results.append(result)
results3개의 모델을 for문으로 접근할 수 있고, results 리스트에 계속 모델 이름을 담도록 합니다.
결과 :
from sklearn.model_selection import RandomizedSearchCV
max_depth = np.random.randint(2, 20, 10)
max_features = np.random.uniform(0.3, 1.0, 10)
param_distributions = {"max_depth": max_depth,
"max_features": max_features}
results = []
for estimator in estimators:
result = []
if estimator.__class__.__name__ != 'DecisionTreeClassifier':
param_distributions["n_estimators"] = np.random.randint(100, 200, 10)
clf = RandomizedSearchCV(estimator,
param_distributions,
n_iter=100,
scoring="accuracy",
n_jobs=-1,
cv=5,
verbose=2
)
clf.fit(X_train, y_train)
result.append(estimator.__class__.__name__)
result.append(clf.best_params_)
result.append(clf.best_score_)
result.append(clf.score(X_test, y_test))
result.append(clf.cv_results_)
results.append(result)clf를 estimators가 있는 for문 안으로 넣어서 3개의 모델을 모두 번갈아 학습시킬 수 있도록 합니다.
Decision Tree는 n_estimators라는 트리의 개수를 뜻하는 파라미터를 사용할 수 있습니다.
n_estimators의 크기가 클수록 모델을 학습하는 데에 시간이 오래 걸립니다.
각 모델 중에서 가장 좋은 스코어를 result에 기록합니다.
결과 :
df = pd.DataFrame(results,
columns=["estimator", "best_params", "train_score", "test_score", "cv_result"])
df모델 별로 가장 성능이 좋은 파라미터 수치를 알 수 있습니다.
결과 :
pd.DataFrame(df.loc[1, "cv_result"]).sort_values(by="rank_test_score")모델에 각각 접근하여 상위에 있는 모델 순서대로 보거나 정확한 parameter 설정 수치를 볼 수 있습니다.
좋은 성능이 나오는 구간으로 계속 iteration을 돌릴 필요가 있습니다.
하이퍼 파라미터 튜닝을 여러 번 할수록 좋은 성능을 얻을 수 있습니다.
결과 :
