Batches in gegevensverwerking

Bij het trainen van een machine learning-model is het gebruikelijk om de gegevens in kleine stukken aan te bieden in plaats van alles tegelijk. Deze stukken worden "batches" genoemd. In plaats van het model één enkel gegeven (zoals één afbeelding of één zin) te tonen, voeren we bijvoorbeeld een batch van 32 items tegelijk in. Deze aanpak zorgt voor stabielere en snellere training.

Bij tensors betekent dit dat er een extra dimensie aan het begin wordt toegevoegd. Dus als de gegevens van één item worden weergegeven door een tensor met de vorm (height, width), dan heeft een batch van deze items de vorm (batch_size, height, width). In dit voorbeeld, als de batchgrootte 32 is, wordt de vorm (32, height, width).

Stel dat we 2048 gegevensvoorbeelden hebben, elk met de vorm (base shape). Dit levert een tensor op van (2048, base shape). Als we deze gegevens opdelen in batches van 32 voorbeelden, krijgen we 64 batches, want 64 * 32 = 2048. De nieuwe vorm wordt dan (64, 32, base shape).

Bij het ontwerpen van een eigen neuraal netwerk of ander model kunnen verschillende vormen worden gebruikt voor de bovengenoemde taken. Deze vormgevingstechnieken zijn echter standaard in Tensorflow, omdat ze zowel logisch als hiërarchisch zijn gestructureerd om de prestatie van leeralgoritmen te optimaliseren.