Cum calculează Lstm numărul de parametri?
Cum calculează Lstm numărul de parametri?

Video: Cum calculează Lstm numărul de parametri?

Video: Cum calculează Lstm numărul de parametri?
Video: LSTM: Understanding the Number of Parameters 2024, Mai
Anonim

Deci, conform valorilor tale. Introducerea acesteia în formulă dă:->(n=256, m=4096), total numărul de parametri este 4*((256*256) + (256*4096) + (256)) = 4*(1114368) = 4457472. număr de greutăți este 28 = 16 (num_units * num_units) pentru conexiunile recurente + 12 (input_dim * num_units) pentru intrare.

Întrebat, de asemenea, cum găsești numărul de parametri?

La calculati cel învățat parametrii aici, tot ce trebuie să facem este să înmulțim cu forma lățimii m, înălțimea n și să luăm în considerare toate astfel de filtre k. Nu uitați termenul de părtinire pentru fiecare dintre filtru. Numărul de parametri într-un strat CONV ar fi: ((m * n)+1)*k), adăugat 1 din cauza termenului de părtinire pentru fiecare filtru.

La fel, câte unități ascunse are Lstm? Un LSTM reţea. Rețeaua are cinci intrări unitati , A strat ascuns compus din doi LSTM blocuri de memorie și trei ieșiri unitati . Fiecare bloc de memorie are patru intrări, dar o singură ieșire.

Ulterior, se poate întreba, de asemenea, cum găsiți numărul de parametri în RNN?

1 Răspuns. Entitățile W, U și V sunt partajate de toți pașii RNN iar acestea sunt singurele parametrii în modelul descris în figură. Prin urmare numărul de parametri de învățat în timpul antrenamentului = dim(W)+dim(V)+dim(U). Pe baza datelor din întrebarea aceasta = n2+kn+nm.

Câte straturi are Lstm?

În general, 2 straturi s-au dovedit a fi suficiente pentru a detecta caracteristici mai complexe. Mai mult straturi poate fi mai bun, dar și mai greu de antrenat. Ca regulă generală - 1 ascuns strat lucrează cu probleme simple, precum aceasta, și două sunt suficiente pentru a găsi caracteristici destul de complexe.

Recomandat: