Навчання Моделі

Навчання нейронної мережі включає ітеративний процес, у якому модель поступово вдосконалюється шляхом коригування своїх ваг і зміщень для мінімізації функції втрат. Цей процес називається градієнтною оптимізацією і виконується за структурованим алгоритмом.

Загальний алгоритм

Набір даних спочатку багаторазово пропускається через мережу в циклі, де кожен повний прохід називається епохою. Під час кожної епохи дані перемішуються, щоб запобігти навчанню моделі шаблонам, що залежать від порядку тренувальних прикладів. Перемішування допомагає внести випадковість, що призводить до більш стійкої моделі.

Для кожного тренувального прикладу модель виконує пряме поширення, під час якого вхідні дані проходять через мережу, шар за шаром, формуючи вихід. Цей вихід потім порівнюється з фактичним цільовим значенням для обчислення втрат.

Далі модель застосовує зворотне поширення помилки та оновлює ваги й зміщення в кожному шарі для зменшення втрат.

Цей процес повторюється протягом декількох епох, що дозволяє мережі поступово вдосконалювати свої параметри. У міру навчання мережа навчається робити дедалі точніші передбачення. Однак ретельне налаштування гіперпараметрів, таких як швидкість навчання, є критично важливим для забезпечення стабільного та ефективного навчання.

Коефіцієнт навчання ($\alpha$) визначає розмір кроку при оновленні ваг. Якщо він занадто великий, модель може пропустити оптимальні значення і не збігтися. Якщо занадто малий, навчання стає повільним і може застрягти на субоптимальному рішенні. Вибір відповідного коефіцієнта навчання забезпечує баланс між швидкістю та стабільністю навчання. Типові значення знаходяться в діапазоні 0.001 до 0.1, залежно від задачі та розміру мережі.

Графік нижче демонструє, як відповідний коефіцієнт навчання дозволяє втратам зменшуватися поступово з оптимальною швидкістю:

Нарешті, стохастичний градієнтний спуск (SGD) відіграє важливу роль у підвищенні ефективності навчання. Замість обчислення оновлень ваг після обробки всього набору даних, SGD оновлює параметри після кожного окремого прикладу. Це робить навчання швидшим і вносить невеликі варіації в оновлення, що може допомогти моделі уникнути локальних мінімумів і досягти кращого загального рішення.

Метод fit()

Метод fit() у класі Perceptron відповідає за навчання моделі з використанням стохастичного градієнтного спуску.

def fit(self, training_data, labels, epochs, learning_rate):
    # Iterating over multiple epochs
    for epoch in range(epochs):
        # Shuffling the data  
        indices = np.random.permutation(training_data.shape[0])
        training_data = training_data[indices]
        labels = labels[indices]
        # Iterating through each training example
        for i in range(training_data.shape[0]):
            inputs = training_data[i, :].reshape(-1, 1)
            target = labels[i, :].reshape(-1, 1)

            # Forward propagation
            output = ...

            # Computing the gradient of the loss function w.r.t. output
            da = ...

            # Backward propagation through all layers
            for layer in self.layers[::-1]:
                da = ...