Вивчайте Розділення на навчальну та тестову вибірки і перехресна валідація

Свайпніть щоб показати меню

У попередніх розділах ми створювали моделі та передбачали нові значення. Але ми не знаємо, наскільки добре працює модель і чи є ці передбачення надійними.

Розділення на навчальну та тестову вибірки

Щоб оцінити ефективність моделі, потрібна підмножина розмічених даних, яку модель не бачила. Тому ми випадковим чином розділяємо всі розмічені дані на навчальну вибірку та тестову вибірку.

Це можна реалізувати за допомогою функції train_test_split() з бібліотеки sklearn.

Зазвичай модель розділяють приблизно на 70-90% для навчальної вибірки та 10-30% для тестової вибірки.

Примітка

Коли у вашому наборі даних мільйони екземплярів, для тестування зазвичай достатньо лише кількох тисяч. У таких випадках можна виділити навіть менше 10% даних для тестування.

Тепер можна навчити модель на тренувальному наборі та оцінити її точність на тестовому наборі.


              123456789101112131415161718192021
            
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler
import pandas as pd
from sklearn.model_selection import train_test_split

df = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/b71ff7ac-3932-41d2-a4d8-060e24b00129/starwars_binary.csv')

X = df.drop('StarWars6', axis=1)
y = df['StarWars6']

# Splitting the data
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)

knn = KNeighborsClassifier(n_neighbors=3).fit(X_train, y_train)

# Printing the accuracy on the test set
print(knn.score(X_test, y_test))

Але цей підхід має певні недоліки:

Не використовується вся доступна інформація для навчання, що могло б покращити модель;
Оскільки точність моделі оцінюється на невеликій частині даних (тестовій вибірці), це значення точності може бути ненадійним для малих наборів даних. Ви можете виконати наведений вище код кілька разів і побачити, як змінюється точність щоразу, коли вибирається нова тестова вибірка.

Перехресна перевірка

Перехресна перевірка призначена для вирішення проблеми перенавчання та забезпечення здатності моделі добре узагальнювати на нових, невідомих даних. Її можна уявити як тренування в класі для вашої моделі — це допомагає моделі навчатися більш збалансовано перед справжнім фінальним тестом.

Ідея полягає в тому, щоб перемішати весь набір даних і розділити його на n рівних частин, які називаються фолдами. Далі модель проходить n ітерацій. На кожній ітерації n-1 фолдів використовуються для навчання, а 1 фолд — для валідації. Таким чином, кожна частина даних використовується для валідації один раз, і ми отримуємо більш надійну оцінку продуктивності моделі.

Зверніть увагу, що перехресна перевірка не замінює тестову вибірку. Після використання перехресної перевірки для вибору та налаштування моделі її слід оцінити на окремій тестовій вибірці, щоб отримати неупереджену оцінку реальної ефективності.

Примітка

Поширеним вибором кількості фолдів є 5. У такому випадку один фолд буде використовуватися як тестова вибірка, а решта 4 фолди — для навчання.

Ми навчаємо п’ять моделей на трохи різних підмножинах. Для кожної моделі обчислюємо точність на тестовій вибірці:

\text{accuracy} = \frac{\text{predicted correctly}}{\text{predicted correctly} + \text{predicted incorrectly}}

Після цього можна обчислити середнє значення цих 5 показників точності, яке буде нашою оцінкою точності крос-валідації:

\text{accuracy}_{avg} = \frac{\text{accuracy}_1+\text{accuracy}_2+...+\text{accuracy}_5}{5}

Це більш надійно, оскільки ми обчислили показник точності, використовуючи всі наші дані — лише розділені по-іншому у п’яти ітераціях.

Тепер, коли ми знаємо, як добре працює модель, можна перенавчити її на всьому наборі даних.

На щастя, sklearn надає функцію cross_val_score() для оцінки моделі за допомогою крос-валідації, тож вам не потрібно реалізовувати це самостійно:

Ось приклад використання крос-валідації з моделлю k-NN, навченою на наборі оцінок Star Wars:


              12345678910111213141516171819
            
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler
import pandas as pd
from sklearn.model_selection import cross_val_score

df = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/b71ff7ac-3932-41d2-a4d8-060e24b00129/starwars_binary.csv')

X = df.drop('StarWars6', axis=1)
y = df['StarWars6']

scaler = StandardScaler()
X = scaler.fit_transform(X)

knn = KNeighborsClassifier(n_neighbors=3)

# Calculating the accuracy for each split
scores = cross_val_score(knn, X, y, cv=5)
print('Scores: ', scores)
print('Average score:', scores.mean())

Оцінка, яка використовується за замовчуванням для класифікації, — це точність.

Все було зрозуміло?

Дякуємо за ваш відгук!

Секція 1. Розділ 6

Запитати АІ

Запитайте про що завгодно або спробуйте одне із запропонованих запитань, щоб почати наш чат

Секція 1. Розділ 6