Навчання нейронної мережі — це ітеративний процес, під час якого модель поступово вдосконалюється шляхом коригування своїх ваг і зсувів для мінімізації функції втрат. Цей процес називається градієнтною оптимізацією і виконується за структурованим алгоритмом.

Загальний алгоритм

Дані спочатку багаторазово пропускаються через мережу в циклі, де кожен повний прохід називається епохою. Під час кожної епохи дані перемішуються, щоб запобігти навчанню моделі шаблонам, що залежать від порядку тренувальних прикладів. Перемішування сприяє введенню випадковості, що забезпечує більш стійку модель.

Для кожного тренувального прикладу модель виконує пряме поширення (forward propagation), коли вхідні дані проходять через мережу, шар за шаром, утворюючи вихід. Цей вихід порівнюється з фактичним цільовим значенням для обчислення втрат.

Далі модель застосовує зворотне поширення помилки (backpropagation) і оновлює ваги та зсуви в кожному шарі для зменшення втрат.

Цей процес повторюється протягом декількох епох, що дозволяє мережі поступово вдосконалювати свої параметри. У міру навчання мережа навчається робити все точніші передбачення. Однак ретельне налаштування гіперпараметрів, таких як швидкість навчання, є критично важливим для забезпечення стабільного та ефективного навчання.

Коефіцієнт навчання ($\alpha$) визначає розмір кроку при оновленні ваг. Якщо він занадто великий, модель може пропустити оптимальні значення і не зійтися. Якщо занадто малий, навчання стає повільним і може застрягти на субоптимальному рішенні. Вибір відповідного коефіцієнта навчання забезпечує баланс між швидкістю та стабільністю навчання. Типові значення знаходяться в діапазоні 0.001 до 0.1, залежно від задачі та розміру мережі.

Графік нижче демонструє, як відповідний коефіцієнт навчання дозволяє поступово зменшувати втрати з оптимальною швидкістю:

Нарешті, стохастичний градієнтний спуск (SGD) відіграє важливу роль у підвищенні ефективності навчання. Замість обчислення оновлень ваг після обробки всього набору даних, SGD оновлює параметри після кожного окремого прикладу. Це робить навчання швидшим і вносить незначні варіації в оновлення, що може допомогти моделі уникнути локальних мінімумів і досягти кращого загального рішення.

Метод fit()

Метод fit() у класі Perceptron відповідає за навчання моделі з використанням стохастичного градієнтного спуску.

def fit(self, training_data, labels, epochs, learning_rate):
    # Iterating over multiple epochs
    for epoch in range(epochs):
        # Shuffling the data  
        indices = np.random.permutation(training_data.shape[0])
        training_data = training_data[indices]
        labels = labels[indices]
        # Iterating through each training example
        for i in range(training_data.shape[0]):
            inputs = training_data[i, :].reshape(-1, 1)
            target = labels[i, :].reshape(-1, 1)

            # Forward propagation
            output = ...

            # Computing the gradient of the loss function w.r.t. output
            da = ...

            # Backward propagation through all layers
            for layer in self.layers[::-1]:
                da = ...