Штучні нейронні мережі (ШНМ), включаючи потужні архітектури, такі як згорткові нейронні мережі (CNN), які відмінно справляються із завданнями розпізнавання зображень, працюють переважно з фіксованими, незалежними вхідними даними. Хоча вони були революційними для свого часу, застосування цих мереж безпосередньо до послідовних задач виявляє суттєві обмеження. Спроба пристосувати послідовні дані до стандартної ШНМ подібна до спроби прочитати книгу, дивлячись на всі слова, перемішані на одній сторінці — втрачається сюжет, послідовність і важливі залежності між елементами.

Розглянемо конкретні причини, чому стандартні ШНМ мають труднощі з послідовними даними:

• Фіксовані розміри: робить їх непридатними для послідовностей змінної довжини без складних обхідних рішень, таких як доповнення або обрізання;

• Відсутність спільного використання параметрів у часі: змушує мережу вивчати одну й ту ж ознаку незалежно для кожного можливого кроку часу;

• Неефективність для довгих послідовностей: обробка довгих послідовностей за допомогою ШНМ може бути обчислювально затратною та вимагати багато пам’яті; кількість параметрів зростає лінійно зі збільшенням довжини послідовності.

Ці фундаментальні архітектурні обмеження означають, що стандартні ШНМ не здатні ефективно захоплювати темпоральні залежності або зберігати пам’ять про попередню інформацію в межах послідовності. Вони розглядають кожен вхідний приклад переважно ізольовано, що є критичним недоліком, коли вихід залежить не лише від поточного входу, а й від усієї історії входів. Подолання цих обмежень вимагає архітектури нейронної мережі, яка спочатку створена для роботи з послідовностями, запам’ятовуючи попередні дані та застосовуючи навчання на різних кроках часу. Саме цю нішу і заповнюють рекурентні нейронні мережі (RNN).