Навчання нейронної мережі — це ітеративний процес, під час якого модель поступово вдосконалюється шляхом коригування своїх ваг і зміщень з метою мінімізації функції втрат. Цей процес називається оптимізацією на основі градієнта і виконується за структурованим алгоритмом.

Загальний алгоритм

Набір даних багаторазово пропускається через мережу в циклі, де кожен повний прохід називається епохою. Під час кожної епохи дані перемішуються, щоб запобігти навчанню моделі шаблонам, що залежать від порядку тренувальних прикладів. Перемішування допомагає внести випадковість, що призводить до більш стійкої моделі.

Для кожного тренувального прикладу модель виконує пряме поширення (forward propagation), коли вхідні дані проходять через мережу, шар за шаром, утворюючи вихід. Цей вихід потім порівнюється з фактичним цільовим значенням для обчислення втрат.

Далі модель застосовує зворотне поширення помилки (backpropagation) і оновлює ваги та зміщення в кожному шарі для зменшення втрат.

Цей процес повторюється протягом декількох епох, що дозволяє мережі поступово вдосконалювати свої параметри. У міру навчання мережа навчається робити дедалі точніші передбачення. Однак ретельне налаштування гіперпараметрів, таких як швидкість навчання, є критично важливим для забезпечення стабільного та ефективного навчання.

Коефіцієнт навчання ($\alpha$) визначає розмір кроку при оновленні ваг. Якщо він занадто великий, модель може пропустити оптимальні значення і не зійтися. Якщо занадто малий — навчання буде повільним і може застрягти на субоптимальному рішенні. Вибір відповідного коефіцієнта навчання забезпечує баланс між швидкістю та стабільністю навчання. Типові значення знаходяться в межах 0.001–0.1 залежно від задачі та розміру мережі.

Графік нижче демонструє, як відповідний коефіцієнт навчання дозволяє поступово зменшувати втрати з оптимальною швидкістю:

Нарешті, стохастичний градієнтний спуск (SGD) відіграє ключову роль в ефективності навчання. Замість обчислення оновлень ваг після обробки всього набору даних, SGD оновлює параметри після кожного окремого прикладу. Це робить навчання швидшим і вносить невеликі варіації в оновлення, що може допомогти моделі уникнути локальних мінімумів і досягти кращого загального рішення.

Метод fit()

Метод fit() у класі Perceptron відповідає за навчання моделі із використанням стохастичного градієнтного спуску.

def fit(self, training_data, labels, epochs, learning_rate):
    # Iterating over multiple epochs
    for epoch in range(epochs):
        # Shuffling the data  
        indices = np.random.permutation(training_data.shape[0])
        training_data = training_data[indices]
        labels = labels[indices]
        # Iterating through each training example
        for i in range(training_data.shape[0]):
            inputs = training_data[i, :].reshape(-1, 1)
            target = labels[i, :].reshape(-1, 1)

            # Forward propagation
            output = ...

            # Computing the gradient of the loss function w.r.t. output
            da = ...

            # Backward propagation through all layers
            for layer in self.layers[::-1]:
                da = ...