{"id":7123,"date":"2021-12-18T18:16:23","date_gmt":"2021-12-18T14:46:23","guid":{"rendered":"http:\/\/cafetadris.com\/blog\/?p=7123"},"modified":"2024-09-17T16:32:01","modified_gmt":"2024-09-17T12:02:01","slug":"%d8%b4%d8%a8%da%a9%d9%87-%d8%b9%d8%b5%d8%a8%db%8c-%d9%88%d8%a7%d8%ad%d8%af-%d8%a8%d8%a7%d8%b2%da%af%d8%b4%d8%aa%db%8c-%da%af%db%8c%d8%aa%db%8c","status":"publish","type":"post","link":"https:\/\/cafetadris.com\/blog\/%d8%b4%d8%a8%da%a9%d9%87-%d8%b9%d8%b5%d8%a8%db%8c-%d9%88%d8%a7%d8%ad%d8%af-%d8%a8%d8%a7%d8%b2%da%af%d8%b4%d8%aa%db%8c-%da%af%db%8c%d8%aa%db%8c\/","title":{"rendered":"\u0628\u0627 \u0634\u0628\u06a9\u0647 \u0639\u0635\u0628\u06cc \u0648\u0627\u062d\u062f \u0628\u0627\u0632\u06af\u0634\u062a\u06cc \u06af\u06cc\u062a\u06cc (Gated Recurrent Unit) \u0622\u0634\u0646\u0627 \u0634\u0648\u06cc\u062f!"},"content":{"rendered":"\n

\u0634\u0628\u06a9\u0647 \u0639\u0635\u0628\u06cc \u0648\u0627\u062d\u062f \u0628\u0627\u0632\u06af\u0634\u062a\u06cc \u06af\u06cc\u062a\u06cc (Gated Recurrent Unit) \u06cc\u0627 \u0628\u0647\u200c\u0627\u062e\u062a\u0635\u0627\u0631 \u0634\u0628\u06a9\u0647 GRU \u0646\u0648\u0639 \u062e\u0627\u0635\u06cc \u0634\u0628\u06a9\u0647 \u0639\u0635\u0628\u06cc \u0628\u0627\u0632\u06af\u0634\u062a\u06cc RNN \u0627\u0633\u062a. \u0627\u06cc\u0646 \u0634\u0628\u06a9\u0647 \u062a\u0627 \u062d\u062f \u0632\u06cc\u0627\u062f\u06cc \u0645\u0634\u0627\u0628\u0647 \u0634\u0628\u06a9\u0647 \u0639\u0635\u0628\u06cc LSTM (\u062d\u0627\u0641\u0638\u0647 \u06a9\u0648\u062a\u0627\u0647 \u0645\u062f\u062a \u0637\u0648\u0644\u0627\u0646\u06cc) \u0627\u0633\u062a\u061b \u0628\u0647\u200c\u0639\u0628\u0627\u0631\u062a \u062f\u06cc\u06af\u0631\u060c \u0634\u0628\u06a9\u0647 GRU \u0646\u0648\u0639 \u067e\u06cc\u0634\u0631\u0641\u062a\u0647\u200c\u062a\u0631\u06cc \u0627\u0632 \u0634\u0628\u06a9\u0647 \u0639\u0635\u0628\u06cc \u0628\u0627\u0632\u06af\u0634\u062a\u06cc RNN \u0627\u0633\u062a \u0648 \u0634\u0628\u06a9\u0647 LSTM \u0627\u0633\u062a. \u062f\u0631 \u0627\u06cc\u0646 \u0645\u0637\u0644\u0628 \u0628\u0647\u200c\u0635\u0648\u0631\u062a \u0645\u062e\u062a\u0635\u0631 \u062f\u0648 \u0634\u0628\u06a9\u0647 RNN \u0648 LSTM \u0631\u0627 \u062a\u0648\u0636\u06cc\u062d \u062e\u0648\u0627\u0647\u06cc\u0645 \u062f\u0627\u062f \u0648 \u062f\u0631\u0646\u0647\u0627\u06cc\u062a \u0628\u0627 \u0634\u0628\u06a9\u0647 GRU \u0622\u0634\u0646\u0627 \u062e\u0648\u0627\u0647\u06cc\u0645 \u0634\u062f.<\/p>\n\n\n

<\/div>\n\n\n

\u0634\u0628\u06a9\u0647 \u0639\u0635\u0628\u06cc \u0628\u0627\u0632\u06af\u0634\u062a\u06cc (Recurrent Neural Network \/ RNN)<\/h2>\n\n\n\n

\u0634\u0628\u06a9\u0647 \u0639\u0635\u0628\u06cc RNN \u0646\u0648\u0639\u06cc \u0634\u0628\u06a9\u0647 \u0639\u0635\u0628\u06cc \u0628\u0627 \u062d\u0627\u0641\u0638\u0647 \u062f\u0627\u062e\u0644\u06cc\u200c \u0627\u0633\u062a. \u0627\u06cc\u0646 \u0634\u0628\u06a9\u0647 \u062f\u0631 \u0633\u0627\u062e\u062a\u0627\u0631\u0634 \u062d\u0644\u0642\u0647\u200c\u0627\u06cc \u062f\u0627\u0631\u062f \u06a9\u0647 \u0627\u0632 \u0637\u0631\u06cc\u0642 \u0622\u0646 \u062f\u0631 \u0647\u0631 \u06af\u0627\u0645 (Step) \u062e\u0631\u0648\u062c\u06cc \u06af\u0627\u0645 \u0642\u0628\u0644\u06cc \u0628\u0647\u200c\u0647\u0645\u0631\u0627\u0647 \u0648\u0631\u0648\u062f\u06cc \u062c\u062f\u06cc\u062f \u0628\u0647 \u0634\u0628\u06a9\u0647 \u0648\u0627\u0631\u062f \u0645\u06cc\u200c\u0634\u0648\u062f. \u0627\u06cc\u0646 \u062d\u0644\u0642\u0647 \u0628\u0647 \u0634\u0628\u06a9\u0647 \u06a9\u0645\u06a9 \u0645\u06cc\u200c\u06a9\u0646\u062f \u062a\u0627 \u0627\u0637\u0644\u0627\u0639\u0627\u062a \u0642\u0628\u0644\u06cc \u0631\u0627 \u062f\u0631 \u06a9\u0646\u0627\u0631 \u0627\u0637\u0644\u0627\u0639\u0627\u062a \u062c\u062f\u06cc\u062f \u062f\u0627\u0634\u062a\u0647 \u0628\u0627\u0634\u062f \u0648 \u0628\u062a\u0648\u0627\u0646\u062f \u0628\u0631\u0627\u0633\u0627\u0633 \u0627\u06cc\u0646 \u0627\u0637\u0644\u0627\u0639\u0627\u062a \u062e\u0631\u0648\u062c\u06cc \u0645\u062f\u0646\u0638\u0631 \u0631\u0627 \u0627\u0631\u0627\u0626\u0647 \u06a9\u0646\u062f. \u0627\u06cc\u0646 \u0648\u06cc\u0698\u06af\u06cc \u0634\u0628\u06a9\u0647 \u0639\u0635\u0628\u06cc \u0628\u0627\u0632\u06af\u0634\u062a\u06cc (RNN)<\/mark><\/a> \u0627\u0645\u06a9\u0627\u0646 \u06a9\u0627\u0631 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u062a\u0631\u062a\u06cc\u0628\u06cc (Sequential Data)\u060c \u0645\u0627\u0646\u0646\u062f \u0645\u062a\u0646\u060c \u0635\u062f\u0627 \u0648 \u063a\u06cc\u0631\u0647\u060c \u0631\u0627 \u0628\u0647 \u0645\u0627 \u0645\u06cc\u200c\u062f\u0647\u062f.<\/p>\n\n\n\n

\u0645\u0634\u06a9\u0644 \u0627\u0635\u0644\u06cc \u0634\u0628\u06a9\u0647 RNN \u062d\u0627\u0641\u0638\u0647 \u06a9\u0648\u062a\u0627\u0647 \u0622\u0646 \u0627\u0633\u062a \u06a9\u0647 \u062f\u0631 \u0628\u0644\u0646\u062f\u0645\u062f\u062a \u0627\u06cc\u0646 \u0634\u0628\u06a9\u0647 \u062a\u0648\u0627\u0646\u0627\u06cc\u06cc \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0627\u0637\u0644\u0627\u0639\u0627\u062a\u06cc \u0631\u0627 \u06a9\u0647 \u062f\u0631 \u06af\u0627\u0645\u200c\u0647\u0627\u06cc \u0632\u0645\u0627\u0646\u06cc \u0628\u0633\u06cc\u0627\u0631 \u0642\u0628\u0644\u200c\u062a\u0631 \u0628\u0647 \u0634\u0628\u06a9\u0647 \u0634\u062f\u0647 \u0627\u0633\u062a \u0627\u0632 \u062f\u0633\u062a \u0645\u06cc\u200c\u062f\u0647\u062f. \u062f\u0644\u06cc\u0644 \u0627\u06cc\u0646 \u0645\u0648\u0636\u0648\u0639 \u0645\u0641\u0647\u0648\u0645\u06cc \u0628\u0647\u200c\u0646\u0627\u0645 \u0645\u062d\u0648\u0634\u062f\u06af\u06cc \u06af\u0631\u0627\u062f\u06cc\u0627\u0646 (Vanishing Gradient)<\/mark><\/a> \u0627\u0633\u062a.<\/p>\n\n\n

<\/a><\/div><\/div>\n\n\n\n

\u0634\u0628\u06a9\u0647 (Long-Short Term Memory (LSTM<\/h2>\n\n\n\n

\u0628\u0631\u0627\u06cc \u062d\u0644 \u0645\u0634\u06a9\u0644 \u062d\u0627\u0641\u0638\u0647 \u06a9\u0648\u062a\u0627\u0647\u200c\u0645\u062f\u062a \u0634\u0628\u06a9\u0647 RNN \u0646\u0648\u0639 \u062f\u06cc\u06af\u0631\u06cc \u0628\u0647\u200c\u0646\u0627\u0645 \u0634\u0628\u06a9\u0647 \u0639\u0635\u0628\u06cc LSTM (\u062d\u0627\u0641\u0638\u0647 \u06a9\u0648\u062a\u0627\u0647\u200c\u0645\u062f\u062a \u0637\u0648\u0644\u0627\u0646\u06cc) \u0645\u0639\u0631\u0641\u06cc \u0634\u062f. \u0634\u0628\u06a9\u0647 LSTM \u0645\u06a9\u0627\u0646\u06cc\u0633\u0645\u200c\u0647\u0627\u06cc \u062f\u0627\u062e\u0644\u06cc \u0628\u0647\u200c\u0646\u0627\u0645 \u06af\u06cc\u062a (Gate) \u062f\u0627\u0631\u062f. \u0627\u06cc\u0646 \u06af\u06cc\u062a\u200c\u0647\u0627 \u062c\u0631\u06cc\u0627\u0646 \u0627\u0637\u0644\u0627\u0639\u0627\u062a \u0631\u0627 \u06a9\u0646\u062a\u0631\u0644 \u0645\u06cc\u200c\u06a9\u0646\u0646\u062f. \u0627\u06cc\u0646 \u06af\u06cc\u062a\u200c\u0647\u0627 \u0645\u0634\u062e\u0635 \u0645\u06cc\u200c\u06a9\u0646\u0646\u062f \u06a9\u0647 \u0686\u0647 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc\u06cc \u0627\u0632 \u062a\u0648\u0627\u0644\u06cc \u0645\u0647\u0645 \u0647\u0633\u062a\u0646\u062f \u0648 \u0628\u0627\u06cc\u062f \u0647\u0645\u200c\u0686\u0646\u0627\u0646 \u062d\u0641\u0638 \u0634\u0648\u0646\u062f \u0648 \u0686\u0647 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc\u06cc \u0628\u0627\u06cc\u062f \u062d\u0630\u0641 \u0634\u0648\u0646\u062f. \u0628\u0647\u200c\u0627\u06cc\u0646 \u0634\u06a9\u0644\u060c \u0634\u0628\u06a9\u0647 \u0627\u0637\u0644\u0627\u0639\u0627\u062a \u0645\u0647\u0645 \u0631\u0627 \u062f\u0631 \u0637\u0648\u0644 \u0632\u0646\u062c\u06cc\u0631\u0647 \u062a\u0648\u0627\u0644\u06cc \u0639\u0628\u0648\u0631 \u0645\u06cc\u200c\u062f\u0647\u062f \u062a\u0627 \u062e\u0631\u0648\u062c\u06cc \u0645\u062f\u0646\u0638\u0631 \u0631\u0627 \u062f\u0627\u0634\u062a\u0647 \u0628\u0627\u0634\u06cc\u0645. \u062f\u0631 \u062a\u0635\u0648\u06cc\u0631 \u06f1 \u0645\u06cc\u200c\u0628\u06cc\u0646\u06cc\u0645 \u06a9\u0647 \u0633\u0627\u062e\u062a\u0627\u0631 \u062f\u0627\u062e\u0644\u06cc \u0634\u0628\u06a9\u0647 LSTM \u0686\u0646\u062f\u06cc\u0646 \u0639\u0645\u0644\u06cc\u0627\u062a \u0645\u062e\u062a\u0644\u0641 \u062f\u0627\u0631\u062f. \u0627\u06cc\u0646 \u0639\u0645\u0644\u06cc\u0627\u062a \u0628\u0647 \u0634\u0628\u06a9\u0647 LSTM \u06a9\u0645\u06a9 \u0645\u06cc\u200c\u06a9\u0646\u062f \u0627\u0637\u0644\u0627\u0639\u0627\u062a \u0631\u0627 \u062d\u0641\u0638 \u06cc\u0627 \u0641\u0631\u0627\u0645\u0648\u0634 \u06a9\u0646\u062f.<\/p>\n\n\n

\n
\"\u0633\u0627\u062e\u062a\u0627\u0631<\/figure><\/div>\n\n\n

\u0645\u0647\u0645\u200c\u062a\u0631\u06cc\u0646 \u0628\u062e\u0634 \u062f\u0631 \u0633\u0627\u062e\u062a\u0627\u0631 \u0634\u0628\u06a9\u0647 LSTM \u062d\u0627\u0644\u062a \u0633\u0644\u0648\u0644 (Cell State) \u0627\u0633\u062a \u06a9\u0647 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u06cc\u0645 \u0622\u0646 \u0631\u0627 \u062d\u0627\u0641\u0638\u0647 \u062f\u0627\u062e\u0644\u06cc \u0634\u0628\u06a9\u0647 \u062f\u0631 \u0646\u0638\u0631 \u0628\u06af\u06cc\u0631\u06cc\u0645. cell state \u0627\u0637\u0644\u0627\u0639\u0627\u062a \u0631\u0627 \u062f\u0631 \u0634\u0628\u06a9\u0647 \u0645\u0646\u062a\u0642\u0644 \u0645\u06cc\u200c\u06a9\u0646\u062f \u06a9\u0647 \u0627\u06cc\u0646 \u0627\u0637\u0644\u0627\u0639\u0627\u062a \u0633\u0627\u062e\u062a\u0627\u0631\u0647\u0627\u06cc\u06cc \u0628\u0647\u200c\u0646\u0627\u0645 \u06af\u06cc\u062a (Gate) \u0622\u067e\u062f\u06cc\u062a \u0645\u06cc\u200c\u0634\u0648\u0646\u062f. \u0634\u0628\u06a9\u0647 LSTM \u0633\u0647 \u06af\u06cc\u062a \u0641\u0631\u0627\u0645\u0648\u0634\u06cc (forget gate)\u060c \u06af\u06cc\u062a \u0648\u0631\u0648\u062f\u06cc (input gate) \u0648 \u06af\u06cc\u062a \u062e\u0631\u0648\u062c\u06cc (output gate) \u0627\u0633\u062a \u06a9\u0647 \u0647\u0631 \u06cc\u06a9 \u0648\u0638\u0627\u06cc\u0641 \u062e\u0627\u0635 \u062e\u0648\u062f \u0631\u0627 \u062f\u0631 \u0634\u0628\u06a9\u0647 \u0627\u06cc\u0641\u0627 \u0645\u06cc\u200c\u06a9\u0646\u0646\u062f.<\/p>\n\n\n\n

\u0634\u0628\u06a9\u0647 \u0639\u0635\u0628\u06cc \u0648\u0627\u062d\u062f \u0628\u0627\u0632\u06af\u0634\u062a\u06cc \u06af\u06cc\u062a\u06cc (Gated Recurrent Unit \/ GRU)<\/h2>\n\n\n\n

\u0634\u0628\u06a9\u0647 \u0639\u0635\u0628\u06cc \u0634\u0628\u06a9\u0647 \u0639\u0635\u0628\u06cc \u0648\u0627\u062d\u062f \u0628\u0627\u0632\u06af\u0634\u062a\u06cc \u06af\u06cc\u062a\u06cc \u06cc\u0627 GRU<\/a> \u0628\u0633\u06cc\u0627\u0631 \u0645\u0634\u0627\u0628\u0647 \u0634\u0628\u06a9\u0647 LSTM \u0627\u0633\u062a\u060c \u0628\u0627 \u0627\u06cc\u0646 \u062a\u0641\u0627\u0648\u062a \u06a9\u0647 \u0628\u0647\u200c\u062c\u0627\u06cc \u0633\u0647 \u06af\u06cc\u062a\u060c \u0641\u0642\u0637 \u062f\u0648 \u06af\u06cc\u062a \u062a\u0646\u0638\u06cc\u0645 \u0645\u062c\u062f\u062f (Reset Gate) \u0648 \u06af\u06cc\u062a \u0628\u0647\u200c\u0631\u0648\u0632\u0631\u0633\u0627\u0646\u06cc (Update Gate) \u062f\u0627\u0631\u062f\u061b \u0647\u0645\u200c\u0686\u0646\u06cc\u0646 \u0634\u0628\u06a9\u0647 GRU \u0686\u06cc\u0632\u06cc \u0628\u0647\u200c\u0646\u0627\u0645 \u062d\u0627\u0644\u062a \u0633\u0644\u0648\u0644 (Cell State) \u0646\u062f\u0627\u0631\u062f \u0648 \u0628\u0631\u0627\u06cc \u0627\u0646\u062a\u0642\u0627\u0644 \u0627\u0637\u0644\u0627\u0639\u0627\u062a \u0627\u0632 \u062d\u0627\u0644\u062a \u0646\u0647\u0627\u0646 (Hidden State) \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u06a9\u0646\u062f. \u062f\u0631 \u062a\u0635\u0648\u06cc\u0631 \u06f2 \u0633\u0627\u062e\u062a\u0627\u0631 \u06cc\u06a9 \u0634\u0628\u06a9\u0647 GRU \u0631\u0627 \u0645\u0634\u0627\u0647\u062f\u0647 \u0645\u06cc\u200c\u06a9\u0646\u06cc\u0645.<\/p>\n\n\n

\n
\"\u0633\u0627\u062e\u062a\u0627\u0631<\/figure><\/div>\n\n\n

\u062f\u0631 \u062a\u0635\u0648\u06cc\u0631 \u06f3 \u06cc\u06a9 \u0633\u0644\u0648\u0644 \u0634\u0628\u06a9\u0647 \u0639\u0635\u0628\u06cc \u0648\u0627\u062d\u062f \u0628\u0627\u0632\u06af\u0634\u062a\u06cc \u06af\u06cc\u062a\u06cc \u0628\u0627 \u062c\u0632\u0626\u06cc\u0627\u062a \u0622\u0646 \u0645\u0634\u062e\u0635 \u0634\u062f\u0647 \u0627\u0633\u062a. \u0647\u0645\u0627\u0646\u200c\u0637\u0648\u0631 \u06a9\u0647 \u062f\u0631 \u062a\u0635\u0648\u06cc\u0631 \u0645\u06cc\u200c\u0628\u06cc\u0646\u06cc\u0645\u060c \u062f\u0631 \u0634\u0628\u06a9\u0647 GRU \u0647\u0645 \u0645\u0627\u0646\u0646\u062f \u0634\u0628\u06a9\u0647 LSTM \u062a\u0648\u0627\u0628\u0639 \u0633\u06cc\u06af\u0645\u0648\u06cc\u062f (Sigmoid) \u0648 \u062a\u0627\u0646\u0698\u0627\u0646\u062a \u0647\u0627\u06cc\u067e\u0631\u0628\u0648\u0644\u06cc\u06a9 (Tanh) \u0648\u062c\u0648\u062f \u062f\u0627\u0631\u062f.<\/p>\n\n\n

\n
\"\u0633\u0627\u062e\u062a\u0627\u0631<\/figure><\/div>\n\n\n

\u0628\u0647\u062a\u0631 \u0627\u0633\u062a \u0642\u0628\u0644 \u0627\u0632 \u0647\u0631 \u0686\u06cc\u0632 \u0628\u0627 \u0627\u06cc\u0646 \u062a\u0648\u0627\u0628\u0639 \u0622\u0634\u0646\u0627 \u0634\u0648\u06cc\u0645.<\/p>\n\n\n

<\/a><\/div><\/div>\n\n\n\n

\u062a\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u200c\u0633\u0627\u0632 \u062a\u0627\u0646\u0698\u0627\u0646\u062a \u0647\u0627\u06cc\u067e\u0631\u0628\u0648\u0644\u06cc\u06a9 (Tanh)<\/h3>\n\n\n\n

\u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u0628\u0647 \u062a\u0639\u062f\u06cc\u0644 (regulate) \u0645\u0642\u0627\u062f\u06cc\u0631\u06cc \u06a9\u0647 \u062f\u0631 \u0637\u0648\u0644 \u0634\u0628\u06a9\u0647 \u062f\u0631 \u062c\u0631\u06cc\u0627\u0646 \u0647\u0633\u062a\u0646\u062f \u06a9\u0645\u06a9 \u0645\u06cc\u200c\u06a9\u0646\u062f. \u062a\u0627\u0628\u0639 Tanh \u062a\u0645\u0627\u0645 \u0645\u0642\u0627\u062f\u06cc\u0631 \u0631\u0627 \u0628\u0647 \u0628\u0627\u0632\u0647 \u06f1- \u062a\u0627 \u06f1 \u0645\u06cc\u200c\u0628\u0631\u062f.<\/p>\n\n\n

\n
\"\u062a\u0627\u0628\u0639<\/figure><\/div>\n\n\n

\u062f\u0644\u06cc\u0644 \u0627\u06cc\u0646 \u06a9\u0627\u0631 \u0627\u06cc\u0646 \u0627\u0633\u062a \u06a9\u0647 \u0639\u0645\u0644\u06cc\u0627\u062a \u0631\u06cc\u0627\u0636\u06cc \u0645\u062e\u062a\u0644\u0641\u06cc \u062f\u0631 \u0637\u0648\u0644 \u0634\u0628\u06a9\u0647 \u0631\u0648\u06cc \u0628\u0631\u062f\u0627\u0631\u0647\u0627 \u0627\u0646\u062c\u0627\u0645 \u0645\u06cc\u200c\u0634\u0648\u062f\u061b \u0628\u0631\u0627\u06cc \u0645\u062b\u0627\u0644\u060c \u0641\u06a9\u0631 \u06a9\u0646\u06cc\u0645 \u0627\u06af\u0631 \u06cc\u06a9 \u0645\u0642\u062f\u0627\u0631 \u062f\u0631 \u0637\u0648\u0644 \u0634\u0628\u06a9\u0647 \u0628\u0627\u0631\u0647\u0627 \u062f\u0631 \u0639\u062f\u062f\u06cc \u0645\u0627\u0646\u0646\u062f \u06f3 \u0636\u0631\u0628 \u0634\u0648\u062f\u060c \u062f\u0631 \u0627\u06cc\u0646 \u0635\u0648\u0631\u062a \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u06cc\u0645 \u0641\u06a9\u0631 \u06a9\u0646\u06cc\u0645 \u06a9\u0647 \u0645\u0642\u0627\u062f\u06cc\u0631 \u0686\u0642\u062f\u0631 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u0646\u062f \u0628\u0632\u0631\u06af \u0634\u0648\u0646\u062f.<\/p>\n\n\n

\n
\"\u0645\u0642\u0627\u062f\u06cc\u0631<\/figure><\/div>\n\n\n

\u062a\u0627\u0628\u0639 Tanh \u0645\u0642\u0627\u062f\u06cc\u0631 \u0634\u0628\u06a9\u0647 \u0631\u0627 \u0645\u06cc\u0627\u0646 \u0628\u0627\u0632\u0647 \u06f1- \u062a\u0627 \u06f1 \u0642\u0631\u0627\u0631 \u0645\u06cc\u200c\u062f\u0647\u062f \u062a\u0627 \u0645\u0642\u062f\u0627\u0631 \u062e\u0631\u0648\u062c\u06cc \u0634\u0628\u06a9\u0647 \u0647\u0645 \u062a\u0639\u062f\u06cc\u0644 \u0634\u0648\u0646\u062f. \u0647\u0645\u0627\u0646\u200c\u0637\u0648\u0631 \u06a9\u0647 \u062f\u0631 \u062a\u0635\u0648\u06cc\u0631 \u06f6 \u0645\u06cc\u200c\u0628\u06cc\u0646\u06cc\u0645 \u0645\u0642\u0627\u062f\u06cc\u0631 \u0628\u0627 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u062a\u0627\u0628\u0639 Tanh \u062f\u0631 \u06cc\u06a9 \u0628\u0627\u0632\u0647 \u0645\u0634\u062e\u0635\u06cc (\u06f1- \u062a\u0627 \u06f1) \u0628\u0627\u0642\u06cc \u0645\u06cc\u200c\u0645\u0627\u0646\u0646\u062f.<\/p>\n\n\n

\n
\"\u0645\u0642\u0627\u062f\u06cc\u0631<\/figure><\/div>\n\n\n

\u062a\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u200c\u0633\u0627\u0632 \u0633\u06cc\u06af\u0645\u0648\u06cc\u062f (Sigmoid)<\/h3>\n\n\n\n

\u06cc\u06a9\u06cc \u062f\u06cc\u06af\u0631 \u0627\u0632 \u062a\u0648\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u200c\u0633\u0627\u0632 \u06a9\u0647 \u062f\u0631 \u0633\u0627\u062e\u062a\u0627\u0631 \u0634\u0628\u06a9\u0647 LSTM \u0648\u062c\u0648\u062f \u062f\u0627\u0631\u062f \u062a\u0627\u0628\u0639 Sigmoid \u0627\u0633\u062a. \u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u0645\u0627\u0646\u0646\u062f \u062a\u0627\u0628\u0639 Tanh \u0639\u0645\u0644 \u0645\u06cc\u200c\u06a9\u0646\u062f\u060c \u0628\u0627 \u0627\u06cc\u0646 \u062a\u0641\u0627\u0648\u062a \u06a9\u0647 \u0645\u0642\u0627\u062f\u06cc\u0631 \u0631\u0627 \u0645\u06cc\u0627\u0646 \u0628\u0627\u0632\u0647 \u0635\u0641\u0631 \u062a\u0627 \u06f1 \u0642\u0631\u0627\u0631 \u0645\u06cc\u200c\u062f\u0647\u062f. \u062f\u0644\u06cc\u0644 \u0627\u06cc\u0646 \u06a9\u0627\u0631 \u0627\u06cc\u0646 \u0627\u0633\u062a \u06a9\u0647 \u0628\u0627 \u0628\u0631\u062f\u0646 \u0645\u0642\u0627\u062f\u06cc\u0631 \u062f\u0631 \u0627\u06cc\u0646 \u0628\u0627\u0632\u0647 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u06cc\u0645 \u0632\u0645\u0627\u0646 \u0622\u067e\u062f\u06cc\u062a\u200c\u06a9\u0631\u062f\u0646 \u06cc\u0627 \u0641\u0631\u0627\u0645\u0648\u0634\u200c\u06a9\u0631\u062f\u0646 \u062f\u0627\u062f\u0647 \u0627\u0632 \u0622\u0646 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u0645\u061b \u0686\u0648\u0646 \u0647\u0631 \u0639\u062f\u062f\u06cc \u06a9\u0647 \u062f\u0631 \u0635\u0641\u0631 \u0636\u0631\u0628 \u0634\u0648\u062f\u060c \u0646\u062a\u06cc\u062c\u0647 \u0635\u0641\u0631 \u0645\u06cc\u200c\u0634\u0648\u062f \u0648 \u0627\u06cc\u0646 \u06cc\u0639\u0646\u06cc \u06a9\u0647 \u0627\u06cc\u0646 \u062f\u0627\u062f\u0647 \u0628\u0627\u06cc\u062f \u0641\u0631\u0627\u0645\u0648\u0634 \u0634\u0648\u062f \u0648 \u0647\u0631 \u0639\u062f\u062f\u06cc \u06a9\u0647 \u062f\u0631 \u06f1 \u0636\u0631\u0628 \u0634\u0648\u062f \u0628\u0631\u0627\u0628\u0631 \u0628\u0627 \u062e\u0648\u062f\u0634 \u0645\u06cc\u200c\u0634\u0648\u062f \u0648 \u0627\u06cc\u0646 \u06cc\u0639\u0646\u06cc \u0627\u06cc\u0646 \u062f\u0627\u062f\u0647 \u0628\u0627\u06cc\u062f \u062d\u0641\u0638 \u0634\u0648\u062f\u061b \u0628\u0647\u200c\u0627\u06cc\u0646 \u0634\u06a9\u0644\u060c \u0634\u0628\u06a9\u0647 \u06cc\u0627\u062f \u0645\u06cc\u200c\u06af\u06cc\u0631\u062f \u06a9\u0647 \u06a9\u062f\u0627\u0645 \u0627\u0637\u0644\u0627\u0639\u0627\u062a \u0631\u0627 \u0641\u0631\u0627\u0645\u0648\u0634 \u0648 \u06a9\u062f\u0627\u0645 \u0631\u0627 \u062d\u0641\u0638 \u06a9\u0646\u062f.<\/p>\n\n\n\n

\u067e\u06cc\u0634\u0646\u0647\u0627\u062f \u0645\u06cc\u200c\u06a9\u0646\u06cc\u0645 \u0628\u0627 \u062a\u0648\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 (Activation Functions)<\/mark><\/a> \u0628\u06cc\u0634\u062a\u0631 \u0622\u0634\u0646\u0627 \u0634\u0648\u06cc\u062f.<\/p>\n\n\n

\n
\"\u062a\u0627\u0628\u0639<\/figure><\/div>\n\n\n

\u062d\u0627\u0644 \u0648\u0642\u062a \u0622\u0646 \u0631\u0633\u06cc\u062f\u0647 \u06a9\u0647 \u0628\u0627 \u06af\u06cc\u062a\u200c\u0647\u0627\u06cc \u0645\u0648\u062c\u0648\u062f \u062f\u0631 \u0633\u0627\u062e\u062a\u0627\u0631 \u0634\u0628\u06a9\u0647 GRU \u0622\u0634\u0646\u0627 \u0634\u0648\u06cc\u0645: \u06af\u06cc\u062a\u200c\u0647\u0627\u06cc \u062a\u0646\u0638\u06cc\u0645 \u0645\u062c\u062f\u062f (Reset Gate) \u0648 \u06af\u06cc\u062a \u0628\u0647\u200c\u0631\u0648\u0632\u0631\u0633\u0627\u0646\u06cc (Update Gate).<\/p>\n\n\n

<\/a><\/div><\/div>\n\n\n\n

\u06af\u06cc\u062a \u0628\u0647\u200c\u0631\u0648\u0632\u0631\u0633\u0627\u0646\u06cc (Update Gate)<\/h3>\n\n\n\n

\u0627\u06cc\u0646 \u06af\u06cc\u062a \u062f\u0642\u06cc\u0642\u0627\u064b \u0645\u0627\u0646\u0646\u062f \u062f\u0648 \u06af\u06cc\u062a \u0641\u0631\u0627\u0645\u0648\u0634\u06cc (Forget Gate) \u0648 \u0648\u0631\u0648\u062f\u06cc (Input Gate) \u062f\u0631 \u0634\u0628\u06a9\u0647 LSTM \u0639\u0645\u0644 \u0645\u06cc\u200c\u06a9\u0646\u062f. \u0627\u06cc\u0646 \u06af\u06cc\u062a \u062a\u0635\u0645\u06cc\u0645 \u0645\u06cc\u200c\u06af\u06cc\u0631\u062f \u0686\u0647 \u0645\u0642\u062f\u0627\u0631 \u0627\u0632 \u0627\u0637\u0644\u0627\u0639\u0627\u062a \u06af\u0630\u0634\u062a\u0647\u060c \u06cc\u0639\u0646\u06cc \u0627\u0637\u0644\u0627\u0639\u0627\u062a\u06cc \u06a9\u0647 \u062f\u0631 \u06af\u0627\u0645\u200c\u0647\u0627\u06cc \u0642\u0628\u0644\u06cc \u062f\u0627\u0634\u062a\u06cc\u0645\u060c \u0628\u0647 \u0634\u0628\u06a9\u0647 \u0627\u0636\u0627\u0641\u0647 \u0634\u0648\u062f. \u062f\u0631 \u0627\u06cc\u0646 \u06af\u06cc\u062a \u0645\u0642\u062f\u0627\u0631 \u0648\u0631\u0648\u062f\u06cc \u062c\u062f\u06cc\u062f (xt<\/sub>) \u0628\u0647\u200c\u0647\u0645\u0631\u0627\u0647 \u0645\u0642\u062f\u0627\u0631 \u062d\u0627\u0644\u062a \u0646\u0647\u0627\u0646 \u06af\u0627\u0645 \u0642\u0628\u0644\u06cc (ht-1<\/sub>) \u062f\u0631 \u0648\u0632\u0646 \u0645\u062a\u0646\u0627\u0638\u0631 \u062e\u0648\u062f \u0636\u0631\u0628 \u0648 \u0633\u067e\u0633 \u0628\u0627 \u0647\u0645 \u062c\u0645\u0639 \u0645\u06cc\u200c\u0634\u0648\u0646\u062f \u0648 \u0628\u0647 \u06cc\u06a9 \u062a\u0627\u0628\u0639 \u0633\u06cc\u06af\u0645\u0648\u06cc\u062f \u0648\u0627\u0631\u062f \u0645\u06cc\u200c\u0634\u0648\u0646\u062f \u062a\u0627 \u062e\u0631\u0648\u062c\u06cc \u0645\u06cc\u0627\u0646 \u0628\u0627\u0632\u0647 \u0635\u0641\u0631 \u062a\u0627 \u06f1 \u0642\u0631\u0627\u0631 \u0628\u06af\u06cc\u0631\u062f. \u062f\u0631 \u0632\u0645\u0627\u0646 \u0622\u0645\u0648\u0632\u0634 \u0634\u0628\u06a9\u0647 \u0627\u06cc\u0646 \u0648\u0632\u0646\u200c\u0647\u0627 \u0647\u0631 \u0628\u0627\u0631 \u0628\u0647\u200c\u0631\u0648\u0632\u0631\u0633\u0627\u0646\u06cc \u0645\u06cc\u200c\u0634\u0648\u0646\u062f \u062a\u0627 \u0641\u0642\u0637 \u0627\u0637\u0644\u0627\u0639\u0627\u062a \u0645\u0641\u06cc\u062f \u0628\u0647 \u0634\u0628\u06a9\u0647 \u0627\u0636\u0627\u0641\u0647 \u0634\u0648\u0646\u062f.<\/p>\n\n\n

\n
\"\u06af\u06cc\u062a<\/figure><\/div>\n\n\n

\u062f\u0631\u0646\u0647\u0627\u06cc\u062a \u062e\u0631\u0648\u062c\u06cc \u06af\u06cc\u062a \u0628\u0647\u200c\u0631\u0648\u0632\u0631\u0633\u0627\u0646\u06cc \u0628\u0627 \u062d\u0627\u0644\u062a \u0646\u0647\u0627\u0646 \u06af\u0627\u0645 \u0642\u0628\u0644\u06cc \u0636\u0631\u0628 \u0646\u0642\u0637\u0647\u200c\u0627\u06cc (pointwise multiplication) \u0645\u06cc\u200c\u0634\u0648\u0646\u062f \u062a\u0627 \u0628\u0639\u062f\u0647\u0627 \u0628\u0631\u0627\u06cc \u0645\u062d\u0627\u0633\u0628\u0647 \u062e\u0631\u0648\u062c\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0634\u0648\u062f.<\/p>\n\n\n\n

\u06af\u06cc\u062a \u062a\u0646\u0638\u06cc\u0645 \u0645\u062c\u062f\u062f (Reset Gate)<\/p>\n\n\n\n

\u0627\u06cc\u0646 \u06af\u06cc\u062a \u062a\u0635\u0645\u06cc\u0645 \u0645\u06cc\u200c\u06af\u06cc\u0631\u062f \u0686\u0647 \u0645\u0642\u062f\u0627\u0631 \u0627\u0632 \u0627\u0637\u0644\u0627\u0639\u0627\u062a \u06af\u0630\u0634\u062a\u0647\u060c \u06cc\u0639\u0646\u06cc \u0627\u0637\u0644\u0627\u0639\u0627\u062a \u06af\u0627\u0645\u200c\u0647\u0627\u06cc \u0642\u0628\u0644\u06cc\u060c \u0641\u0631\u0627\u0645\u0648\u0634 \u0634\u0648\u062f. \u062f\u0631 \u0627\u06cc\u0646\u062c\u0627 \u0647\u0645 \u0645\u0642\u062f\u0627\u0631 \u0648\u0631\u0648\u062f\u06cc \u062c\u062f\u06cc\u062f (xt<\/sub>)\u060c \u0628\u0647\u200c\u0647\u0645\u0631\u0627\u0647 \u0645\u0642\u062f\u0627\u0631 \u062d\u0627\u0644\u062a \u0646\u0647\u0627\u0646 \u06af\u0627\u0645 \u0642\u0628\u0644\u06cc (ht-1<\/sub>)\u060c \u062f\u0631 \u0648\u0632\u0646 \u0645\u062a\u0646\u0627\u0638\u0631 \u062e\u0648\u062f \u0636\u0631\u0628 \u0648 \u0633\u067e\u0633 \u0628\u0627 \u0647\u0645 \u062c\u0645\u0639 \u0645\u06cc\u200c\u0634\u0648\u0646\u062f \u0648 \u0628\u0647 \u06cc\u06a9 \u062a\u0627\u0628\u0639 \u0633\u06cc\u06af\u0645\u0648\u06cc\u062f \u0648\u0627\u0631\u062f \u0645\u06cc\u200c\u0634\u0648\u0646\u062f \u062a\u0627 \u062e\u0631\u0648\u062c\u06cc \u0628\u06cc\u0646 \u0628\u0627\u0632\u0647 \u0635\u0641\u0631 \u062a\u0627 \u06f1 \u0642\u0631\u0627\u0631 \u0628\u06af\u06cc\u0631\u062f. \u062a\u0641\u0627\u0648\u062a\u06cc \u06a9\u0647 \u0628\u0627 \u06af\u06cc\u062a \u0628\u0647\u200c\u0631\u0648\u0632\u0631\u0633\u0627\u0646\u06cc \u062f\u0627\u0631\u062f \u0627\u06cc\u0646 \u0627\u0633\u062a \u06a9\u0647 \u0648\u0632\u0646\u200c\u0647\u0627\u06cc\u06cc \u06a9\u0647 \u0645\u0642\u062f\u0627\u0631 \u0648\u0631\u0648\u062f\u06cc \u0648 \u062d\u0627\u0644\u062a \u0646\u0647\u0627\u0646 \u06af\u0627\u0645 \u0642\u0628\u0644\u06cc \u062f\u0631 \u0622\u0646 \u0636\u0631\u0628 \u0645\u06cc\u200c\u0634\u0648\u0646\u062f \u0645\u062a\u0641\u0627\u0648\u062a \u0627\u0633\u062a \u0648 \u0627\u06cc\u0646 \u06cc\u0639\u0646\u06cc \u0628\u0631\u062f\u0627\u0631\u0647\u0627\u06cc \u062e\u0631\u0648\u062c\u06cc \u062f\u0631 \u0627\u06cc\u0646\u062c\u0627 \u0628\u0627 \u0628\u0631\u062f\u0627\u0631 \u062e\u0631\u0648\u062c\u06cc \u06a9\u0647 \u062f\u0631 \u06af\u06cc\u062a \u0628\u0647\u200c\u0631\u0648\u0632\u0631\u0633\u0627\u0646\u06cc \u062f\u0627\u0631\u06cc\u0645 \u0645\u062a\u0641\u0627\u0648\u062a \u062e\u0648\u0627\u0647\u062f \u0628\u0648\u062f.<\/p>\n\n\n

\n
\"\u06af\u06cc\u062a<\/figure><\/div>\n\n\n

\u0633\u067e\u0633 \u062e\u0631\u0648\u062c\u06cc \u06af\u06cc\u062a reset \u0628\u0627 \u062d\u0627\u0644\u062a \u0646\u0647\u0627\u0646 \u06af\u0627\u0645 \u0642\u0628\u0644\u06cc \u0636\u0631\u0628 \u0646\u0642\u0637\u0647\u200c\u0627\u06cc \u0645\u06cc\u200c\u0634\u0648\u062f\u061b \u0647\u0645\u200c\u0686\u0646\u06cc\u0646 \u0648\u0631\u0648\u062f\u06cc \u062c\u062f\u06cc\u062f \u0627\u0628\u062a\u062f\u0627 \u062f\u0631 \u06cc\u06a9 \u0648\u0632\u0646 \u062e\u0627\u0635 \u0636\u0631\u0628 \u0648 \u0633\u067e\u0633 \u0628\u0627 \u062e\u0631\u0648\u062c\u06cc \u0636\u0631\u0628 \u06af\u06cc\u062a reset \u0628\u0627 \u062d\u0627\u0644\u062a \u0646\u0647\u0627\u0646 \u06af\u0627\u0645 \u0642\u0628\u0644\u06cc \u062c\u0645\u0639 \u0645\u06cc\u200c\u0634\u0648\u062f\u061b \u062f\u0631\u0646\u0647\u0627\u06cc\u062a \u0627\u06cc\u0646 \u0628\u0631\u062f\u0627\u0631 \u062e\u0631\u0648\u062c\u06cc \u0628\u0647 \u06cc\u06a9 \u062a\u0627\u0628\u0639 Tanh \u0648\u0627\u0631\u062f \u0645\u06cc\u200c\u0634\u0648\u062f.<\/p>\n\n\n

<\/a><\/div><\/div>\n\n\n\n

\u062e\u0631\u0648\u062c\u06cc \u0646\u0647\u0627\u06cc\u06cc<\/h3>\n\n\n\n

\u062f\u0631 \u06af\u0627\u0645 \u0646\u0647\u0627\u06cc\u06cc \u0645\u0627 \u0628\u0627\u0631 \u062f\u06cc\u06af\u0631 \u0627\u0632 \u0628\u0631\u062f\u0627\u0631 \u062e\u0631\u0648\u062c\u06cc \u06af\u06cc\u062a \u0628\u0647\u200c\u0631\u0648\u0632\u0631\u0633\u0627\u0646\u06cc \u0628\u0631\u0627\u06cc \u0628\u0647 \u062f\u0633\u062a \u0622\u0648\u0631\u062f\u0646 \u062d\u0627\u0644\u062a \u0646\u0647\u0627\u06cc\u06cc \u062c\u062f\u06cc\u062f (new hidden state) \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u06a9\u0646\u06cc\u0645.<\/p>\n\n\n

\n
\"\u062e\u0631\u0648\u062c\u06cc<\/figure><\/div>\n\n\n

\u062f\u0631 \u0627\u06cc\u0646 \u0645\u0631\u062d\u0644\u0647 \u0645\u0639\u06a9\u0648\u0633 \u0628\u0631\u062f\u0627\u0631 (Element-Wise Inverse Version) \u062e\u0631\u0648\u062c\u06cc \u06af\u06cc\u062a \u0628\u0647\u200c\u0631\u0648\u0632\u0631\u0633\u0627\u0646\u06cc \u0628\u0627 \u062e\u0631\u0648\u062c\u06cc \u06a9\u0647 \u0627\u0632 \u062a\u0627\u0628\u0639 Tanh \u0628\u0647 \u062f\u0633\u062a \u0622\u0648\u0631\u062f\u06cc\u0645 (r) \u0636\u0631\u0628 \u0646\u0642\u0637\u0647\u200c\u0627\u06cc \u0645\u06cc\u200c\u0634\u0648\u062f. \u0647\u062f\u0641 \u0627\u06cc\u0646 \u0627\u0633\u062a \u06a9\u0647 \u06af\u06cc\u062a \u0628\u0647\u200c\u0631\u0648\u0632\u0631\u0633\u0627\u0646\u06cc \u062a\u0634\u062e\u06cc\u0635 \u062f\u0647\u062f \u0686\u0647 \u0627\u0637\u0644\u0627\u0639\u0627\u062a \u062c\u062f\u06cc\u062f\u06cc \u06a9\u0647 \u062f\u0631 \u0627\u06cc\u0646 \u06af\u0627\u0645 \u0628\u0647 \u062f\u0633\u062a \u0622\u0645\u062f\u0647 \u0627\u0633\u062a \u062f\u0631 \u062d\u0627\u0644\u062a \u0646\u0647\u0627\u0646 \u062c\u062f\u06cc\u062f \u0630\u062e\u06cc\u0631\u0647 \u0634\u0648\u062f. \u062f\u0631\u0646\u0647\u0627\u06cc\u062a \u062e\u0631\u0648\u062c\u06cc \u0627\u06cc\u0646 \u0645\u0631\u062d\u0644\u0647 \u0628\u0627 \u062e\u0631\u0648\u062c\u06cc \u0636\u0631\u0628 \u0646\u0642\u0637\u0647\u200c\u0627\u06cc \u06af\u06cc\u062a \u0628\u0647\u200c\u0631\u0648\u0632\u0631\u0633\u0627\u0646\u06cc \u0628\u0627 \u062d\u0627\u0644\u062a \u0646\u0647\u0627\u0646 \u0642\u0628\u0644\u06cc (u) \u062c\u0645\u0639 \u0645\u06cc\u200c\u0634\u0648\u062f \u0648 \u062d\u0627\u0644\u062a \u0646\u0647\u0627\u0646 \u062c\u062f\u06cc\u062f \u0631\u0627 \u0627\u06cc\u062c\u0627\u062f \u0645\u06cc\u200c\u06a9\u0646\u062f. <\/p>\n\n\n\n

\u0627\u06cc\u0646 \u062d\u0627\u0644\u062a \u0646\u0647\u0627\u0646 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u062f \u0628\u0647\u200c\u0639\u0646\u0648\u0627\u0646 \u062e\u0631\u0648\u062c\u06cc \u0646\u0647\u0627\u06cc\u06cc (\u06af\u0627\u0645 \u0622\u062e\u0631) \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0634\u0648\u062f.<\/p>\n\n\n\n

\u062e\u0644\u0627\u0635\u0647 \u0645\u0637\u0627\u0644\u0628 \u062f\u0631\u0628\u0627\u0631\u0647 \u0634\u0628\u06a9\u0647 \u0639\u0635\u0628\u06cc GRU<\/h2>\n\n\n\n

\u0634\u0628\u06a9\u0647 \u0634\u0628\u06a9\u0647 \u0639\u0635\u0628\u06cc \u0648\u0627\u062d\u062f \u0628\u0627\u0632\u06af\u0634\u062a\u06cc \u06af\u06cc\u062a\u06cc \u0628\u0631\u0627\u06cc \u062d\u0644 \u0645\u0634\u06a9\u0644 \u0645\u062d\u0648\u0634\u062f\u06af\u06cc \u06af\u0631\u0627\u062f\u06cc\u0627\u0646 (Vanishing Gradient) \u06a9\u0647 \u062f\u0631 \u0634\u0628\u06a9\u0647 \u0639\u0635\u0628\u06cc \u0628\u0627\u0632\u06af\u0634\u062a\u06cc (RNN) \u0628\u0627 \u0622\u0646 \u0645\u0648\u0627\u062c\u0647 \u0628\u0648\u062f\u06cc\u0645 \u0645\u0639\u0631\u0641\u06cc \u0634\u062f. \u0627\u06cc\u0646 \u0646\u06a9\u062a\u0647 \u0644\u0627\u0632\u0645 \u0628\u0647 \u0630\u06a9\u0631 \u0627\u0633\u062a \u06a9\u0647 \u062f\u0631 \u062d\u0627\u0644 \u062d\u0627\u0636\u0631 \u0634\u0628\u06a9\u0647 \u0639\u0635\u0628\u06cc \u0628\u0627\u0632\u06af\u0634\u062a\u06cc \u0648 \u0627\u0646\u0648\u0627\u0639 \u062e\u0627\u0635 \u0622\u0646\u060c \u06cc\u0639\u0646\u06cc \u0634\u0628\u06a9\u0647\u200c\u0647\u0627\u06cc LSTM \u0648 GRU\u060c \u062f\u0631 \u0632\u0645\u06cc\u0646\u0647\u200c\u0647\u0627\u06cc \u0645\u062e\u062a\u0644\u0641\u06cc \u0645\u0627\u0646\u0646\u062f \u067e\u0631\u062f\u0627\u0632\u0634 \u0632\u0628\u0627\u0646\u200c\u0647\u0627\u06cc \u0637\u0628\u06cc\u0639\u06cc \u0628\u0627 \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u0627\u0646\u062a\u0642\u0627\u0644\u06cc (Transformer) \u062c\u0627\u06cc\u06af\u0632\u06cc\u0646 \u0634\u062f\u0647\u200c\u0627\u0646\u062f.<\/p>\n\n\n

<\/a><\/div><\/div>\n\n\n\n

\u0628\u0627 \u06a9\u0627\u0641\u0647\u200c\u062a\u062f\u0631\u06cc\u0633 \u06a9\u0644\u0627\u0633 \u0622\u0646\u0644\u0627\u06cc\u0646 \u0639\u0644\u0645 \u062f\u0627\u062f\u0647 \u0631\u0627 \u0622\u0633\u0627\u0646 \u0628\u06cc\u0627\u0645\u0648\u0632\u06cc\u062f!<\/h2>\n\n\n\n

\u0627\u06af\u0631 \u0628\u0647 \u0639\u0644\u0645 \u062f\u0627\u062f\u0647 \u0639\u0644\u0627\u0642\u0647 \u062f\u0627\u0631\u06cc\u062f \u0648 \u062f\u0648\u0633\u062a \u062f\u0627\u0631\u06cc\u062f \u0628\u0647\u200c\u0635\u0648\u0631\u062a \u0627\u0635\u0648\u0644\u06cc \u0627\u06cc\u0646 \u0634\u0627\u062e\u0647 \u0631\u0627 \u06cc\u0627\u062f \u0628\u06af\u06cc\u0631\u06cc\u062f \u0648 \u062f\u0631 \u0622\u0646 \u0641\u0639\u0627\u0644\u06cc\u062a \u06a9\u0646\u06cc\u062f\u060c \u06a9\u0644\u0627\u0633\u200c\u0647\u0627\u06cc \u0622\u0646\u0644\u0627\u06cc\u0646 \u0639\u0644\u0645 \u062f\u0627\u062f\u0647 \u06a9\u0627\u0641\u0647\u200c\u062a\u062f\u0631\u06cc\u0633 \u0641\u0631\u0635\u062a\u06cc \u0639\u0627\u0644\u06cc \u0628\u0631\u0627\u06cc \u0634\u0645\u0627\u0633\u062a.<\/p>\n\n\n\n

\u06a9\u0644\u0627\u0633\u200c\u0647\u0627\u06cc \u0622\u0646\u0644\u0627\u06cc\u0646 \u0639\u0644\u0645 \u062f\u0627\u062f\u0647 \u06a9\u0627\u0641\u0647\u200c\u062a\u062f\u0631\u06cc\u0633 \u062f\u0631 ‍\u06f1\u06f6\u06f0 \u0633\u0627\u0639\u062a \u0648 \u0628\u0647\u200c\u0635\u0648\u0631\u062a \u06a9\u0627\u0645\u0644\u0627\u064b \u06a9\u0627\u0631\u06af\u0627\u0647\u06cc \u0648 \u062f\u0631 \u0642\u0627\u0644\u0628 \u06a9\u0627\u0631 \u0631\u0648\u06cc \u067e\u0631\u0648\u0698\u0647\u200c\u0647\u0627\u06cc \u0648\u0627\u0642\u0639\u06cc \u062f\u06cc\u062a\u0627\u0633\u0627\u06cc\u0646\u0633 \u0628\u0631\u06af\u0632\u0627\u0631 \u0645\u06cc\u200c\u0634\u0648\u062f.<\/p>\n\n\n\n

\u0634\u0645\u0627 \u0628\u0627 \u0634\u0631\u06a9\u062a \u062f\u0631 \u06a9\u0644\u0627\u0633\u200c\u0647\u0627\u06cc \u0622\u0646\u0644\u0627\u06cc\u0646 \u0639\u0644\u0645 \u062f\u0627\u062f\u0647 \u06a9\u0627\u0641\u0647\u200c\u062a\u062f\u0631\u06cc\u0633\u060c \u0646\u0647\u200c\u062a\u0646\u0647\u0627 \u0628\u0647 \u062c\u0627\u0645\u0639\u200c\u062a\u0631\u06cc\u0646 \u0645\u0646\u0627\u0628\u0639 \u0622\u0645\u0648\u0632\u0634\u06cc \u0639\u0644\u0645 \u062f\u0627\u062f\u0647 \u062f\u0633\u062a\u0631\u0633\u06cc \u062f\u0627\u0631\u06cc\u062f\u060c \u0647\u0631 \u062c\u0627\u06cc \u0627\u06cc\u0631\u0627\u0646 \u06a9\u0647 \u0647\u0633\u062a\u06cc\u062f \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u06cc\u062f \u0639\u0644\u0645 \u062f\u0627\u062f\u0647 \u0631\u0627 \u0622\u0633\u0627\u0646 \u06cc\u0627\u062f \u0628\u06af\u06cc\u0631\u06cc\u062f.<\/p>\n\n\n\n

\u0628\u0631\u0627\u06cc \u0622\u0634\u0646\u0627\u06cc\u06cc \u0628\u0627 \u06a9\u0644\u0627\u0633\u200c\u0647\u0627\u06cc \u0622\u0646\u0644\u0627\u06cc\u0646 \u0639\u0644\u0645 \u062f\u0627\u062f\u0647 \u06a9\u0627\u0641\u0647\u200c\u062a\u062f\u0631\u06cc\u0633 \u0631\u0648\u06cc \u0627\u06cc\u0646 \u0644\u06cc\u0646\u06a9 \u06a9\u0644\u06cc\u06a9 \u06a9\u0646\u06cc\u062f:<\/p>\n\n\n

\u06a9\u0644\u0627\u0633\u200c\u0647\u0627\u06cc \u0622\u0646\u0644\u0627\u06cc\u0646 \u0639\u0644\u0645 \u062f\u0627\u062f\u0647 \u06a9\u0627\u0641\u0647\u200c\u062a\u062f\u0631\u06cc\u0633<\/a><\/p>","protected":false},"excerpt":{"rendered":"

\u0634\u0628\u06a9\u0647 \u0639\u0635\u0628\u06cc \u0648\u0627\u062d\u062f \u0628\u0627\u0632\u06af\u0634\u062a\u06cc \u06af\u06cc\u062a\u06cc (Gated Recurrent Unit) \u06cc\u0627 \u0628\u0647\u200c\u0627\u062e\u062a\u0635\u0627\u0631 \u0634\u0628\u06a9\u0647 GRU \u0646\u0648\u0639 \u062e\u0627\u0635\u06cc \u0634\u0628\u06a9\u0647 \u0639\u0635\u0628\u06cc \u0628\u0627\u0632\u06af\u0634\u062a\u06cc RNN \u0627\u0633\u062a. \u0627\u06cc\u0646 \u0634\u0628\u06a9\u0647 \u062a\u0627 \u062d\u062f \u0632\u06cc\u0627\u062f\u06cc \u0645\u0634\u0627\u0628\u0647 \u0634\u0628\u06a9\u0647 \u0639\u0635\u0628\u06cc LSTM (\u062d\u0627\u0641\u0638\u0647 \u06a9\u0648\u062a\u0627\u0647 \u0645\u062f\u062a \u0637\u0648\u0644\u0627\u0646\u06cc) \u0627\u0633\u062a\u061b \u0628\u0647\u200c\u0639\u0628\u0627\u0631\u062a \u062f\u06cc\u06af\u0631\u060c \u0634\u0628\u06a9\u0647 GRU \u0646\u0648\u0639 \u067e\u06cc\u0634\u0631\u0641\u062a\u0647\u200c\u062a\u0631\u06cc \u0627\u0632 \u0634\u0628\u06a9\u0647 \u0639\u0635\u0628\u06cc \u0628\u0627\u0632\u06af\u0634\u062a\u06cc RNN \u0627\u0633\u062a…<\/p>\n","protected":false},"author":4,"featured_media":9049,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[558],"tags":[],"yst_prominent_words":[],"class_list":["post-7123","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-558"],"amp_enabled":true,"_links":{"self":[{"href":"https:\/\/cafetadris.com\/blog\/wp-json\/wp\/v2\/posts\/7123","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/cafetadris.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/cafetadris.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/cafetadris.com\/blog\/wp-json\/wp\/v2\/users\/4"}],"replies":[{"embeddable":true,"href":"https:\/\/cafetadris.com\/blog\/wp-json\/wp\/v2\/comments?post=7123"}],"version-history":[{"count":8,"href":"https:\/\/cafetadris.com\/blog\/wp-json\/wp\/v2\/posts\/7123\/revisions"}],"predecessor-version":[{"id":20418,"href":"https:\/\/cafetadris.com\/blog\/wp-json\/wp\/v2\/posts\/7123\/revisions\/20418"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/cafetadris.com\/blog\/wp-json\/wp\/v2\/media\/9049"}],"wp:attachment":[{"href":"https:\/\/cafetadris.com\/blog\/wp-json\/wp\/v2\/media?parent=7123"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/cafetadris.com\/blog\/wp-json\/wp\/v2\/categories?post=7123"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/cafetadris.com\/blog\/wp-json\/wp\/v2\/tags?post=7123"},{"taxonomy":"yst_prominent_words","embeddable":true,"href":"https:\/\/cafetadris.com\/blog\/wp-json\/wp\/v2\/yst_prominent_words?post=7123"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}