Навчання Моделі

Навчання нейронної мережі включає ітеративний процес, під час якого модель поступово вдосконалюється шляхом коригування своїх ваг і зсувів для мінімізації функції втрат. Цей процес називається градієнтною оптимізацією і виконується за структурованим алгоритмом.

Загальний алгоритм

Набір даних спочатку багаторазово пропускається через мережу в циклі, де кожен повний прохід називається епохою. Під час кожної епохи дані перемішуються, щоб запобігти навчанню моделі шаблонам, що базуються на порядку тренувальних прикладів. Перемішування допомагає внести випадковість, що призводить до більш стійкої моделі.

Для кожного тренувального прикладу модель виконує пряме поширення (forward propagation), коли вхідні дані проходять через мережу, шар за шаром, утворюючи вихід. Цей вихід потім порівнюється з фактичним цільовим значенням для обчислення втрат.

Далі модель застосовує зворотне поширення помилки та оновлює ваги й зміщення в кожному шарі для зменшення втрат.

Цей процес повторюється протягом декількох епох, що дозволяє мережі поступово вдосконалювати свої параметри. У ході навчання мережа навчається робити дедалі точніші передбачення. Однак ретельне налаштування гіперпараметрів, таких як швидкість навчання, є важливим для забезпечення стабільного та ефективного навчання.

Швидкість навчання ($\alpha$) визначає розмір кроку при оновленні ваг. Якщо вона занадто велика, модель може перескочити оптимальні значення і не збігтися. Якщо занадто мала — навчання буде повільним і може застрягти на субоптимальному рішенні. Вибір відповідної швидкості навчання забезпечує баланс між швидкістю та стабільністю навчання. Типові значення знаходяться в діапазоні від 0.001 до 0.1 залежно від задачі та розміру мережі.

Графік нижче демонструє, як відповідна швидкість навчання дозволяє втратам поступово зменшуватися оптимальними темпами:

Нарешті, стохастичний градієнтний спуск (SGD) відіграє важливу роль у підвищенні ефективності навчання. Замість обчислення оновлень ваг після обробки всього набору даних, SGD оновлює параметри після кожного окремого прикладу. Це робить навчання швидшим і вводить невеликі варіації в оновлення, що може допомогти моделі уникнути локальних мінімумів і досягти кращого загального розв'язку.

Метод fit()

Метод fit() у класі Perceptron відповідає за навчання моделі з використанням стохастичного градієнтного спуску.

def fit(self, training_data, labels, epochs, learning_rate):
    # Iterating over multiple epochs
    for epoch in range(epochs):
        # Shuffling the data  
        indices = np.random.permutation(training_data.shape[0])
        training_data = training_data[indices]
        labels = labels[indices]
        # Iterating through each training example
        for i in range(training_data.shape[0]):
            inputs = training_data[i, :].reshape(-1, 1)
            target = labels[i, :].reshape(-1, 1)

            # Forward propagation
            output = ...

            # Computing the gradient of the loss function w.r.t. output
            da = ...

            # Backward propagation through all layers
            for layer in self.layers[::-1]:
                da = ...