Generatore di reti BrainScript

load = ndlMnistMacros
run = DNN
ndlMnistMacros = [
    featDim = 784
    ...
    labels = InputValue(labelDim)
]
DNN = [
    hiddenDim = 200
    ...
    outputNodes = (ol)
]

diventa semplicemente:

featDim = 784
...
labels = InputValue(labelDim)
hiddenDim = 200
...
outputNodes = (ol)

È possibile che sia stata usata la run variabile per selezionare una delle più configurazioni con una variabile esterna, ad esempio:

NDLNetworkBuilder = [
    run = $whichModel$   # outside parameter selects model, must be either "model1" or "model2"
    model1 = [ ... (MODEL 1 DEFINITION) ]
    model2 = [ ... (MODEL 1 DEFINITION) ]
]

Questo modello era per lo più necessario perché NDL non disponeva di espressioni condizionali. In BrainScript, questo sarebbe stato scritto con un'espressione if :

BrainScriptNetworkBuilder = (new ComputationNetwork
    if      "$whichModel$" == "model1" then { ... (MODEL 1 DEFINITION) }
    else if "$whichModel$" == "model2" then { ... (MODEL 2 DEFINITION) }
    else Fail ("Invalid model selector value '$whichModel$'")
)

Tuttavia, spesso, i modelli selezionati sono molto simili, quindi un modo migliore sarebbe unire le relative descrizioni e usare invece le condizionali all'interno solo per dove differiscono. Ecco un esempio in cui viene usato un parametro per scegliere tra un LSTM unidirezionale e un LSTM bidirezionale:

encoderFunction =
    if useBidirectionalEncoder
    then BS.RNNs.RecurrentBirectionalLSTMPStack
    else BS.RNNs.RecurrentLSTMPStack
encoder = encoderFunction (encoderDims, inputEmbedded, inputDim=inputEmbeddingDim)

Passaggio 3. Modificare la descrizione della rete. Per quanto riguarda la descrizione di rete (formule), BrainScript è in gran parte compatibile con NDL. Ecco le principali differenze:

• Il valore restituito delle macro (funzioni) non è più l'ultima variabile definita, ma l'intero set di variabili. È necessario selezionare in modo esplicito il valore di output alla fine. Ad esempio:

    # NDL:  
    f(x) = [  
        x2 = Times (x, x)  
        y = Plus (x2, Constant (1))  
    ]  # <-- return value defaults to last entry, i.e. y  
    # BrainScript:
    f(x) = {
        x2 = x*x  
        y = x2 + 1  
    }.y  # <-- return value y must be explicitly dereferenced
  

  Senza questa modifica, il valore restituito dalla funzione sarà l'intero record e l'errore tipico che si otterrà è che è stato previsto dove ComputationNode è stato trovato un oggetto ComputationNetwork .

• BrainScript non consente funzioni con numeri variabili di parametri. Questo aspetto è importante principalmente per la Parameter() funzione: un parametro vector non può più essere scritto come Parameter(N), ora deve essere scritto in modo esplicito come tensore ParameterTensor{N} o una matrice Parameter(N, 1)a 1 colonna . Senza questa modifica, verrà visualizzato un errore relativo alla mancata corrispondenza del numero di parametri posizionali. Questa notazione funziona anche con NDL, quindi è possibile apportare questa modifica per prima e testarla con NDL prima della conversione. Si tratta anche di una buona opportunità per rinominare qualsiasi uso del nome LearnableParameter() legacy in ParameterTensor{}.

  È importante anche per la RowStack() funzione , che in BrainScript accetta un singolo parametro che è una matrice di input. Gli input devono essere separati da due punti (:) anziché da una virgola, ad esempio RowStack (a:b:c) anziché RowStack (a, b, c)da .

• Alcune impostazioni predefinite sono state aggiornate, principalmente il parametro facoltativo imageLayout di Convolution(), le operazioni di pooling e ImageInput(). Per NDL, queste impostazioni predefinite sono , mentre ora è necessario che l'impostazione predefinita legacycudnn sia compatibile con le primitive di convoluzione cuDNN. Tutti gli esempi di codice NDL specificano in modo esplicito questo parametro come cudnn già.

• Il parser di BrainScript è più restrittivo:

  • Gli identificatori fanno ora distinzione tra maiuscole e minuscole. Le funzioni predefinite usano PascalCase (ad esempio RectifiedLinear()) e le variabili predefinite e i nomi dei parametri usano camelCase (ad esempio modelPath, criterionNodes), come le stringhe di opzione (init="fixedValue", tag="criterion"). Si noti che per i nomi dei parametri facoltativi, le ortografie non corrette non vengono sempre rilevate come errore. Alcuni parametri facoltativi digitati in modo non corretto vengono invece ignorati. Un esempio sono le definizioni "nodi speciali". L'ortografia corretta per quelle è ora:

      featureNodes    = ...
      labelNodes      = ...
      criterionNodes  = ...
      evaluationNodes = ...
      outputNodes     = ...
    

  • I nomi alternativi abbreviati non sono più consentiti, ad esempio Const() dovrebbe essere tag="evaluation"Constant(), tag="eval" e evalNodes ora evaluationNodesè .

  • Alcuni nomi digitati in modo non corretto sono stati corretti: criteria è ora criterion (analogamente criterionNodes), defaultHiddenActivity è ora defaultHiddenActivation.

  • Il = segno non è più facoltativo per le definizioni di funzione.

  • Anche se è consentito usare parentesi quadre per i blocchi ([ ... ]), è deprecato. Usare parentesi graffe ({ ... }).

  • Le etichette di opzione devono essere racchiuse tra virgolette come stringhe, ad esempio init="uniform" anziché init=uniform. Senza le virgolette, BrainScript avrà esito negativo con un messaggio di errore che indica che il simbolo uniform è sconosciuto.

  • Le primitive BrainScript che creano parametri (Input{} e ParameterTensor{}) devono usare le parentesi graffe per i relativi argomenti ( ad esempio f = Input{42}). Si tratta di una convenzione che non viene applicata ma consigliata in futuro.

  Questa sintassi più limitata è ancora accettata da NDLNetworkBuilder, quindi è consigliabile prima apportare queste modifiche sintattiche e testarle con NDL, prima di passare effettivamente a BrainScript.

Passaggio 4. Rimuovere NDLNetworkBuilder da sezioni "write" e "test". Esaminare le sezioni "write" e "test" per NDLNetworkBuilder le sezioni e rimuoverle. Alcuni dei nostri esempi NDL azionari hanno sezioni estranee NDLNetworkBuilder . Non vengono usati e non devono essere presenti. Se la configurazione è basata su uno di questi esempi, potrebbero essere presenti anche sezioni di questo tipo. Essi erano stati ignorati, ma con l'aggiornamento BrainScript, definendo una nuova rete in queste sezioni ora ha un significato (modifica del modello), quindi non vengono più ignorati e pertanto devono essere rimossi.

NDLNetworkBuilder = [
    networkDescription = "yourNetwork.ndl"
]