![\"\u062a\u0648\u0627\u0628\u0639](\"http:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2021\/09\/\u062a\u0648\u0627\u0628\u0639-\u0641\u0639\u0627\u0644\u0633\u0627\u0632-Activation-Functions.mp4.gif\")
<\/figure><\/div>\n\n\n\u0634\u0628\u06a9\u0647\u200c\u0647\u0627\u06cc \u0639\u0635\u0628\u06cc \u0686\u0637\u0648\u0631 \u06a9\u0627\u0631 \u0645\u06cc\u200c\u06a9\u0646\u0646\u062f\u061f<\/strong><\/h2>\n\n\n\n\u0634\u0628\u06a9\u0647\u200c\u0647\u0627\u06cc \u0639\u0635\u0628\u06cc \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u067e\u0631\u062f\u0627\u0632\u0634 \u0627\u0637\u0644\u0627\u0639\u0627\u062a \u0647\u0633\u062a\u0646\u062f \u06a9\u0647 \u0627\u0632 \u0631\u0648\u06cc \u0646\u062d\u0648\u0647\u200c\u06cc \u06a9\u0627\u0631 \u0633\u06cc\u0633\u062a\u0645\u200c\u0647\u0627\u06cc \u0639\u0635\u0628\u06cc \u0632\u06cc\u0633\u062a\u06cc \u0627\u0644\u0647\u0627\u0645 \u06af\u0631\u0641\u062a\u0647 \u0634\u062f\u0647\u200c\u0627\u0646\u062f. \u0627\u06cc\u0646 \u0634\u0628\u06a9\u0647\u200c\u0647\u0627 \u0686\u0646\u062f\u06cc\u0646 \u0644\u0627\u06cc\u0647 \u0627\u0632 \u0646\u0648\u062f\u0647\u0627 \u06cc\u0627 \u0646\u0648\u0631\u0648\u0646\u200c\u0647\u0627\u06cc \u0645\u062a\u0635\u0644\u200c\u0628\u0647\u200c\u0647\u0645 \u0631\u0627 \u062f\u0631\u0628\u0631\u0645\u06cc\u200c\u06af\u06cc\u0631\u0646\u062f \u06a9\u0647 \u0627\u0637\u0644\u0627\u0639\u0627\u062a \u062f\u0631 \u0637\u0648\u0644 \u0622\u0646\u200c\u0647\u0627 \u0627\u0632 \u0633\u0645\u062a \u0644\u0627\u06cc\u0647 \u0648\u0631\u0648\u062f\u06cc \u0628\u0647\u200c\u0633\u0645\u062a \u0644\u0627\u06cc\u0647\u200c\u0647\u0627\u06cc \u0646\u0647\u0627\u0646 \u0648 \u0633\u067e\u0633 \u0644\u0627\u06cc\u0647\u200c\u0647\u0627\u06cc \u062e\u0631\u0648\u062c\u06cc \u062d\u0631\u06a9\u062a \u0645\u06cc\u200c\u06a9\u0646\u062f. \u062f\u0631 \u0627\u06cc\u0646 \u0634\u06a9\u0644 \u0646\u0645\u0627\u06cc \u06cc\u06a9 \u0634\u0628\u06a9\u0647 \u0639\u0635\u0628\u06cc \u0631\u0627 \u0645\u0634\u0627\u0647\u062f\u0647 \u0645\u06cc\u200c\u06a9\u0646\u06cc\u062f:<\/p>\n\n\n
\n![\"\u0633\u0627\u062e\u062a\u0627\u0631](\"http:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2021\/09\/\u0633\u0627\u062e\u062a\u0627\u0631-\u06cc\u06a9-\u0634\u0628\u06a9\u0647-\u0639\u0635\u0628\u06cc.jpg\")
<\/figure><\/div>\n\n\n\u062f\u0631 \u0647\u0631 \u0644\u0627\u06cc\u0647 \u0646\u062d\u0648\u0647\u200c\u06cc \u06a9\u0627\u0631 \u0647\u0631 \u0646\u0648\u0631\u0648\u0646 \u0628\u0647\u200c\u0627\u06cc\u0646 \u0634\u06a9\u0644 \u0627\u0633\u062a \u06a9\u0647 \u0627\u0628\u062a\u062f\u0627 \u0645\u0642\u0627\u062f\u06cc\u0631 \u0648\u0631\u0648\u062f\u06cc \u062f\u0631 \u0648\u0632\u0646 \u0645\u062a\u0646\u0627\u0638\u0631 \u062e\u0648\u062f \u0636\u0631\u0628 \u0648 \u0628\u0627 \u06cc\u06a9 \u0645\u0642\u062f\u0627\u0631 \u062b\u0627\u0628\u062a \u0628\u0627\u06cc\u0627\u0633 (Bias) \u062c\u0645\u0639 \u0645\u06cc\u200c\u0634\u0648\u062f\u061b \u062f\u0631\u0646\u0647\u0627\u06cc\u062a \u0646\u062a\u06cc\u062c\u0647\u200c\u06cc \u0627\u06cc\u0646 \u0636\u0631\u0628 \u0628\u0647 \u06cc\u06a9 \u062a\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u200c\u0633\u0627\u0632 \u0648\u0627\u0631\u062f \u0648 \u062e\u0631\u0648\u062c\u06cc \u0622\u0646 \u0628\u0647 \u0644\u0627\u06cc\u0647\u200c\u06cc \u0628\u0639\u062f\u06cc \u0645\u0646\u062a\u0642\u0644 \u0645\u06cc\u200c\u0634\u0648\u062f. \u0627\u06cc\u0646 \u0641\u0631\u0627\u06cc\u0646\u062f \u062a\u0627 \u0632\u0645\u0627\u0646\u06cc\u200c\u06a9\u0647 \u0628\u0647 \u0644\u0627\u06cc\u0647\u200c\u06cc \u0622\u062e\u0631 \u0628\u0631\u0633\u06cc\u0645 \u0647\u0645\u200c\u0686\u0646\u0627\u0646 \u062a\u06a9\u0631\u0627\u0631 \u0645\u06cc\u200c\u0634\u0648\u062f.<\/p>\n\n\n
\n![\"\u0646\u062d\u0648\u0647\u200c\u06cc](\"http:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2021\/09\/\u0646\u062d\u0648\u0647\u200c\u06cc-\u06a9\u0627\u0631-\u0647\u0631-\u0646\u0648\u0631\u0648\u0646-\u062f\u0631-\u06cc\u06a9-\u0634\u0628\u06a9\u0647\u200c\u06cc-\u0639\u0635\u0628\u06cc.jpg\")
<\/figure><\/div>\n\n![](\"https:\/\/storage.cafetadris.com\/blog\/2024\/07\/3gif.gif\")
<\/a><\/div><\/div>\n\n\n\n\u062a\u0648\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 (Activation Functions) \u0686\u06cc\u0633\u062a\u061f<\/h2>\n\n\n\n
\u062a\u0648\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 \u062f\u0631\u0648\u0627\u0642\u0639 \u0645\u0627\u0646\u0646\u062f \u06af\u0650\u06cc\u062a\u06cc \u0647\u0633\u062a\u0646\u062f \u06a9\u0647 \u062f\u0631 \u0647\u0631 \u0646\u0648\u0631\u0648\u0646 \u0648\u062c\u0648\u062f \u062f\u0627\u0631\u062f. \u0648\u0631\u0648\u062f\u06cc \u0627\u06cc\u0646 \u06af\u0650\u06cc\u062a \u0647\u0645\u0627\u0646 \u0648\u0631\u0648\u062f\u06cc\u200c\u0647\u0627\u06cc \u0647\u0631 \u0646\u0648\u0631\u0648\u0646 \u062f\u0631 \u0647\u0631 \u0644\u0627\u06cc\u0647 \u0627\u0633\u062a (\u062f\u0631 \u0648\u0632\u0646\u200c\u0647\u0627\u06cc \u0645\u062a\u0646\u0627\u0638\u0631 \u062e\u0648\u062f \u0636\u0631\u0628 \u0634\u062f\u0647\u200c\u0627\u0646\u062f \u0648 \u0628\u0627 \u0645\u0642\u062f\u0627\u0631 \u062b\u0627\u0628\u062a \u0628\u0627\u06cc\u0627\u0633 \u062c\u0645\u0639 \u0634\u062f\u0647\u200c\u0627\u0646\u062f) \u0648 \u062e\u0631\u0648\u062c\u06cc \u0622\u0646 \u0628\u0647 \u0644\u0627\u06cc\u0647\u200c\u06cc \u0628\u0639\u062f\u06cc \u0645\u0646\u062a\u0642\u0644 \u0645\u06cc\u200c\u0634\u0648\u062f. \u062a\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 \u062a\u0635\u0645\u06cc\u0645 \u0645\u06cc\u200c\u06af\u06cc\u0631\u062f \u0647\u0631 \u0646\u0648\u0631\u0648\u0646 \u0641\u0639\u0627\u0644 \u0634\u0648\u062f \u06cc\u0627 \u0646\u0647.<\/p>\n\n\n\n
\u062f\u0631 \u0627\u06cc\u0646 \u0634\u06a9\u0644 \u06cc\u06a9 \u0646\u0648\u0631\u0648\u0646 \u0631\u0627 \u0645\u0634\u0627\u0647\u062f\u0647 \u0645\u06cc\u200c\u06a9\u0646\u06cc\u0645:<\/p>\n\n\n
\n![\"\u0633\u0627\u062e\u062a\u0627\u0631](\"http:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2021\/09\/\u0633\u0627\u062e\u062a\u0627\u0631-\u06cc\u06a9-\u0646\u0648\u0631\u0648\u0646-\u062f\u0631-\u0634\u0628\u06a9\u0647\u200c\u06cc-\u0639\u0635\u0628\u06cc.jpg\")
<\/figure><\/div>\n\n\n\u0686\u0631\u0627 \u0627\u0632 \u062a\u0648\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u06a9\u0646\u06cc\u0645\u061f<\/strong><\/h2>\n\n\n\n\u0627\u06af\u0631 \u0627\u0632 \u062a\u0648\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 (Activation Functions<\/a>) \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0646\u06a9\u0646\u06cc\u0645\u060c \u0648\u0632\u0646\u200c\u0647\u0627 \u0648 \u0645\u0642\u062f\u0627\u0631 \u0628\u0627\u06cc\u0627\u0633 \u0641\u0642\u0637 \u06cc\u06a9 \u0645\u0639\u0627\u062f\u0644\u0647\u200c\u06cc \u062e\u0637\u06cc \u0631\u0627 \u0627\u06cc\u062c\u0627\u062f \u0645\u06cc\u200c\u06a9\u0646\u0646\u062f. \u062f\u0631\u0633\u062a \u0627\u0633\u062a \u06a9\u0647 \u0645\u0639\u0627\u062f\u0644\u0647\u200c\u06cc \u062e\u0637\u06cc \u062e\u06cc\u0644\u06cc \u0631\u0627\u062d\u062a\u200c\u062a\u0631 \u062d\u0644\u200c\u0634\u062f\u0646\u06cc \u0627\u0633\u062a\u060c \u0627\u0645\u0627 \u0628\u0631\u0627\u06cc \u062d\u0644 \u0645\u0633\u0627\u0626\u0644 \u067e\u06cc\u0686\u06cc\u062f\u0647 \u0646\u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u062f \u06a9\u0645\u06a9\u06cc \u0628\u0647 \u0645\u0627 \u06a9\u0646\u062f\u061b \u062f\u0631\u0648\u0627\u0642\u0639 \u0645\u0639\u0627\u062f\u0644\u0627\u062a \u062e\u0637\u06cc \u062f\u0631 \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0627\u0644\u06af\u0648\u0647\u0627\u06cc \u067e\u06cc\u0686\u06cc\u062f\u0647\u200c\u06cc \u062f\u0627\u062f\u0647\u200c\u06cc \u062e\u06cc\u0644\u06cc \u0645\u062d\u062f\u0648\u062f \u0647\u0633\u062a\u0646\u062f \u0648 \u06cc\u06a9 \u0634\u0628\u06a9\u0647\u200c\u06cc \u0639\u0635\u0628\u06cc \u0628\u062f\u0648\u0646 \u062a\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u200c\u0633\u0627\u0632 \u0641\u0642\u0637 \u06cc\u06a9 \u0645\u062f\u0644 \u0631\u06af\u0631\u0633\u06cc\u0648\u0646 \u062e\u0637\u06cc (Linear Regression Model) \u0627\u0633\u062a. \u0628\u0647\u200c\u0637\u0648\u0631 \u06a9\u0644\u06cc\u060c \u0634\u0628\u06a9\u0647\u200c\u0647\u0627\u06cc \u0639\u0635\u0628\u06cc \u0627\u0632 \u062a\u0648\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u06a9\u0646\u0646\u062f \u062a\u0627 \u0628\u062a\u0648\u0627\u0646\u0646\u062f \u0628\u0647 \u0634\u0628\u06a9\u0647 \u062f\u0631 \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u067e\u06cc\u0686\u06cc\u062f\u0647 \u06a9\u0645\u06a9 \u0648 \u067e\u06cc\u0634\u200c\u0628\u06cc\u0646\u06cc \u0642\u0627\u0628\u0644\u200c\u0642\u0628\u0648\u0644\u06cc \u0631\u0627 \u062f\u0631 \u062e\u0631\u0648\u062c\u06cc \u0627\u0631\u0627\u0626\u0647 \u06a9\u0646\u0646\u062f.<\/p>\n\n\n\n\u067e\u06cc\u0634\u0646\u0647\u0627\u062f \u0645\u06cc\u200c\u06a9\u0646\u06cc\u0645 \u0628\u0627 \u0631\u06af\u0631\u0633\u06cc\u0648\u0646 \u062e\u0637\u06cc (Linear Regression)<\/mark><\/a> \u0628\u06cc\u0634\u062a\u0631 \u0622\u0634\u0646\u0627 \u0634\u0648\u06cc\u062f.<\/p>\n\n\n\n\u0627\u0646\u0648\u0627\u0639 \u062a\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 \u0686\u06cc\u0633\u062a\u061f<\/strong><\/h2>\n\n\n\n\u0628\u0647\u200c\u0637\u0648\u0631 \u06a9\u0644\u06cc \u0645\u06cc\u200c\u062a\u0648\u0627\u0646 \u062a\u0648\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 (Activation Functions) \u0631\u0627 \u0628\u0647 \u062f\u0648 \u062f\u0633\u062a\u0647 \u062a\u0642\u0633\u06cc\u0645 \u06a9\u0631\u062f:<\/p>\n\n\n\n
\n- \u062a\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u200c\u0633\u0627\u0632 \u062e\u0637\u06cc (Linear or Identity Activation Function)<\/li>\n\n\n\n
- \u062a\u0648\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u200c\u0633\u0627\u0632 \u063a\u06cc\u0631\u062e\u0637\u06cc (Non-linear Activation Functions)<\/li>\n<\/ul>\n\n\n\n
\u062a\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 \u062e\u0637\u06cc<\/strong><\/h3>\n\n\n\n\u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u062f\u0642\u06cc\u0642\u0627\u064b \u062c\u0645\u0639 \u0648\u0632\u0646\u200c\u062f\u0627\u0631 \u0648\u0631\u0648\u062f\u06cc \u0647\u0631 \u0646\u0648\u062f \u0631\u0627 \u0639\u06cc\u0646\u0627\u064b \u0628\u0631\u0645\u06cc\u200c\u06af\u0631\u062f\u0627\u0646\u062f \u0648 \u0645\u0642\u0627\u062f\u06cc\u0631 \u0631\u0627 \u062f\u0631 \u0628\u0627\u0632\u0647\u200c\u06cc \u062e\u0627\u0635\u06cc \u0642\u0631\u0627\u0631 \u0646\u0645\u06cc\u200c\u062f\u0647\u062f.<\/p>\n\n\n
\n![\"\"](\"http:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2021\/09\/\u062a\u0627\u0628\u0639-\u0641\u0639\u0627\u0644\u200c\u0633\u0627\u0632-\u062e\u0637\u06cc.jpg\")
<\/figure><\/div>\n\n\n\u0645\u0639\u0627\u062f\u0644\u0647: f(x) = x<\/p>\n\n\n\n
\u0628\u0627\u0632\u0647: (-\u221e,+\u221e)<\/p>\n\n\n\n
\u0647\u0645\u0627\u0646\u200c\u0637\u0648\u0631 \u06a9\u0647 \u0642\u0628\u0644\u0627\u064b \u0627\u0634\u0627\u0631\u0647 \u06a9\u0631\u062f\u06cc\u0645\u060c \u0627\u06cc\u0646 \u0646\u0648\u0639 \u062a\u0648\u0627\u0628\u0639 \u0646\u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u0646\u062f \u0628\u0647 \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc\u06cc \u0628\u0627 \u067e\u06cc\u0686\u06cc\u062f\u06af\u06cc \u0628\u0627\u0644\u0627 \u06a9\u0645\u06a9 \u06a9\u0646\u0646\u062f.<\/p>\n\n\n
![](\"https:\/\/storage.cafetadris.com\/blog\/2024\/07\/2gif.gif\")
<\/a><\/div><\/div>\n\n\n\n\u062a\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 \u063a\u06cc\u0631\u062e\u0637\u06cc<\/h3>\n\n\n\n
\u0634\u0628\u06a9\u0647\u200c\u0647\u0627\u06cc \u0639\u0635\u0628\u06cc \u062c\u062f\u06cc\u062f \u0627\u0632 \u062a\u0648\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 \u063a\u06cc\u0631\u062e\u0637\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u06a9\u0646\u0646\u062f. \u0627\u06cc\u0646 \u062a\u0648\u0627\u0628\u0639 \u0628\u0647 \u0645\u062f\u0644 \u06a9\u0645\u06a9 \u0645\u06cc\u200c\u06a9\u0646\u0646\u062f \u062a\u0627 \u0646\u06af\u0627\u0634\u062a\u200c\u0647\u0627\u06cc \u067e\u06cc\u0686\u06cc\u062f\u0647 \u0631\u0627 \u0645\u06cc\u0627\u0646 \u0648\u0631\u0648\u062f\u06cc\u200c\u0647\u0627 \u0648 \u062e\u0631\u0648\u062c\u06cc\u200c\u0647\u0627\u06cc \u0634\u0628\u06a9\u0647 \u0628\u0647 \u0648\u062c\u0648\u062f \u0622\u0648\u0631\u062f\u061b \u0628\u0647\u200c\u0639\u0628\u0627\u0631\u062a \u062f\u06cc\u06af\u0631\u060c \u0627\u06cc\u0646 \u062a\u0648\u0627\u0628\u0639 \u0628\u0647 \u0645\u062f\u0644 \u0627\u06cc\u0646 \u0627\u0645\u06a9\u0627\u0646 \u0631\u0627 \u0645\u06cc\u200c\u062f\u0647\u0646\u062f \u062a\u0627 \u062e\u0648\u062f \u0631\u0627 \u0628\u0627 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u067e\u06cc\u0686\u06cc\u062f\u0647 \u0648 \u063a\u06cc\u0631\u062e\u0637\u06cc \u0648\u0641\u0642 \u062f\u0647\u062f. \u0627\u06cc\u0646 \u0645\u0648\u0636\u0648\u0639 \u0628\u0631\u0627\u06cc \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u067e\u06cc\u0686\u06cc\u062f\u0647\u200c\u0627\u06cc\u060c \u0645\u0627\u0646\u0646\u062f \u0639\u06a9\u0633\u060c \u0648\u06cc\u062f\u0626\u0648\u060c \u0635\u062f\u0627 \u0648 \u063a\u06cc\u0631\u0647\u060c \u0628\u0633\u06cc\u0627\u0631 \u0645\u0647\u0645 \u0627\u0633\u062a. \u062f\u0631 \u0627\u06a9\u062b\u0631 \u0645\u0648\u0627\u0642\u0639 \u062a\u0648\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 \u063a\u06cc\u0631\u062e\u0637\u06cc \u062f\u0631 \u0634\u0628\u06a9\u0647\u200c\u0647\u0627\u06cc \u0639\u0635\u0628\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u0634\u0648\u0646\u062f. \u062a\u0648\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 \u063a\u06cc\u0631\u062e\u0637\u06cc \u0627\u0646\u0648\u0627\u0639 \u0645\u062e\u062a\u0644\u0641\u06cc \u062f\u0627\u0631\u0646\u062f \u06a9\u0647 \u062f\u0631 \u0627\u062f\u0627\u0645\u0647 \u067e\u0631\u0637\u0631\u0641\u062f\u0627\u0631\u062a\u0631\u06cc\u0646 \u0622\u0646\u200c\u0647\u0627 \u0631\u0627 \u0634\u0631\u062d \u0645\u06cc\u200c\u062f\u0647\u06cc\u0645.<\/p>\n\n\n\n
1. \u062a\u0627\u0628\u0639 \u0633\u06cc\u06af\u0645\u0648\u06cc\u062f (Sigmoid<\/strong>)<\/strong><\/h4>\n\n\n\n\u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u06cc\u06a9 \u0645\u0646\u062d\u0646\u06cc S \u0634\u06a9\u0644 \u0627\u0633\u062a. \u0632\u0645\u0627\u0646\u06cc\u200c\u06a9\u0647 \u0645\u06cc\u200c\u062e\u0648\u0627\u0647\u06cc\u0645 \u062e\u0631\u0648\u062c\u06cc \u0645\u062f\u0644 \u0627\u062d\u062a\u0645\u0627\u0644 \u0628\u0627\u0634\u062f\u060c \u0627\u0632 \u062a\u0627\u0628\u0639 \u0633\u06cc\u06af\u0645\u0648\u06cc\u062f \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u06a9\u0646\u06cc\u0645\u061b \u0686\u0648\u0646 \u062a\u0627\u0628\u0639 \u0633\u06cc\u06af\u0645\u0648\u06cc\u062f \u0645\u0642\u0627\u062f\u06cc\u0631 \u0631\u0627 \u0628\u0647 \u0628\u0627\u0632\u0647 \u0635\u0641\u0631 \u062a\u0627 \u06f1 \u0645\u06cc\u200c\u0628\u0631\u062f \u0648 \u0627\u062d\u062a\u0645\u0627\u0644\u0627\u062a \u0647\u0645 \u0645\u06cc\u0627\u0646 \u0647\u0645\u06cc\u0646 \u0628\u0627\u0632\u0647 \u0642\u0631\u0627\u0631 \u062f\u0627\u0631\u0646\u062f.<\/p>\n\n\n\n
\u0645\u0632\u0627\u06cc\u0627<\/strong><\/h5>\n\n\n\n\n- \u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u062a\u0645\u0627\u06cc\u0632\u067e\u0630\u06cc\u0631 (Differentiable) \u0627\u0633\u062a\u061b \u06cc\u0639\u0646\u06cc \u062f\u0631 \u0647\u0631 \u0642\u0633\u0645\u062a \u0627\u0632 \u0645\u0646\u062d\u0646\u06cc \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u06cc\u0645 \u0634\u06cc\u0628 \u0645\u06cc\u0627\u0646 \u062f\u0648 \u0646\u0642\u0637\u0647 \u0631\u0627 \u062d\u0633\u0627\u0628 \u06a9\u0646\u06cc\u0645.<\/li>\n\n\n\n
- \u0627\u0632 \u0622\u0646\u062c\u0627 \u06a9\u0647 \u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u0645\u0642\u0627\u062f\u06cc\u0631 \u0631\u0627 \u0645\u06cc\u0627\u0646 \u0635\u0641\u0631 \u0648 \u06cc\u06a9 \u0642\u0631\u0627\u0631 \u0645\u06cc\u200c\u062f\u0647\u062f\u060c \u0646\u0648\u0639\u06cc \u0639\u0627\u062f\u06cc\u200c\u0633\u0627\u0632\u06cc \u0631\u0627 \u0628\u0631\u0627\u06cc \u062e\u0631\u0648\u062c\u06cc \u0647\u0631 \u0646\u0648\u0631\u0648\u0646 \u0627\u0646\u062c\u0627\u0645 \u0645\u06cc\u200c\u062f\u0647\u062f.<\/li>\n<\/ul>\n\n\n\n
\u0645\u0639\u0627\u06cc\u0628<\/strong><\/h5>\n\n\n\n\n- \u0628\u0627 \u0645\u062d\u0648\u0634\u062f\u06af\u06cc \u06af\u0631\u0627\u062f\u06cc\u0627\u0646 (Vanishing Gradient) \u0645\u0642\u0627\u062f\u06cc\u0631 \u0628\u0633\u06cc\u0627\u0631 \u0628\u0632\u0631\u06af \u06cc\u0627 \u0628\u0633\u06cc\u0627\u0631 \u06a9\u0648\u0686\u06a9 x\u060c \u0645\u0634\u062a\u0642 \u0628\u0633\u06cc\u0627\u0631 \u06a9\u0648\u0686\u06a9 \u0645\u06cc\u200c\u0634\u0648\u062f \u0648 \u062f\u0631\u0648\u0627\u0642\u0639 \u0634\u0628\u06a9\u0647 \u062f\u06cc\u06af\u0631 \u0622\u0645\u0648\u0632\u0634 \u0646\u0645\u06cc\u200c\u0628\u06cc\u0646\u062f \u0648 \u067e\u06cc\u0634\u200c\u0628\u06cc\u0646\u06cc\u200c\u0647\u0627\u06cc\u0634 \u062f\u0631 \u062e\u0631\u0648\u062c\u06cc \u062b\u0627\u0628\u062a \u0645\u06cc\u200c\u0645\u0627\u0646\u062f.<\/li>\n\n\n\n
- \u0628\u0647\u200c\u062f\u0644\u06cc\u0644 \u0645\u0634\u06a9\u0644 \u0645\u062d\u0648\u0634\u062f\u06af\u06cc\u200c\u06af\u0631\u0627\u062f\u06cc\u0627\u0646\u060c \u062a\u0627\u0628\u0639 \u0633\u06cc\u06af\u0645\u0648\u06cc\u062f \u0647\u0645\u200c\u06af\u0631\u0627\u06cc\u06cc \u06a9\u0646\u062f \u062f\u0627\u0631\u062f.<\/li>\n\n\n\n
- \u062e\u0631\u0648\u062c\u06cc \u062a\u0627\u0628\u0639 \u0633\u06cc\u06af\u0645\u0648\u06cc\u062f \u0635\u0641\u0631\u0645\u062d\u0648\u0631 (Zero-Centered) \u0646\u06cc\u0633\u062a\u061b \u0627\u06cc\u0646 \u0627\u0645\u0631 \u06a9\u0627\u0631\u0627\u06cc\u06cc \u0628\u0647\u200c\u0631\u0648\u0632\u0631\u0633\u0627\u0646\u06cc \u0648\u0632\u0646\u200c\u0647\u0627 \u0631\u0627 \u06a9\u0645 \u0645\u06cc\u200c\u06a9\u0646\u062f.<\/li>\n\n\n\n
- \u0627\u0632 \u0622\u0646\u062c\u0627 \u06a9\u0647 \u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u0639\u0645\u0644\u06cc\u0627\u062a \u0646\u0645\u0627\u06cc\u06cc (Exponential Operations) \u062f\u0627\u0631\u062f\u060c \u0645\u06cc\u200c\u062a\u0648\u0627\u0646 \u06af\u0641\u062a \u0647\u0632\u06cc\u0646\u0647\u200c\u06cc \u0645\u062d\u0627\u0633\u0628\u0627\u062a\u06cc \u0628\u0627\u0644\u0627\u06cc\u06cc \u062f\u0627\u0631\u062f \u0648 \u06a9\u0646\u062f\u062a\u0631 \u067e\u06cc\u0634 \u0645\u06cc\u200c\u0631\u0648\u062f.<\/li>\n<\/ul>\n\n\n\n
![\"\u062a\u0627\u0628\u0639](\"http:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2021\/09\/\u062a\u0627\u0628\u0639-\u0633\u06cc\u06af\u0645\u0648\u06cc\u062f-Sigmoid.jpg\")
<\/figure><\/div>\n\n\n\u0645\u0639\u0627\u062f\u0644\u0647: (f(x) = s= 1\/(1+e\u207b\u02e3<\/p>\n\n\n\n
\u0628\u0627\u0632\u0647: (0,1)<\/p>\n\n\n\n
\u06f2. \u062a\u0627\u0628\u0639 \u062a\u0627\u0646\u0698\u0627\u0646\u062a \u0647\u0627\u06cc\u067e\u0631\u0628\u0648\u0644\u06cc\u06a9 (Tanh, Hyperbolic Tangent)<\/h4>\n\n\n\n
\u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u0647\u0645 \u0645\u0627\u0646\u0646\u062f \u062a\u0627\u0628\u0639 \u0633\u06cc\u06af\u0645\u0648\u06cc\u062f \u0628\u0647\u200c\u0634\u06a9\u0644 S \u0627\u0633\u062a\u060c \u0627\u0645\u0627 \u062f\u0631 \u0645\u0642\u0627\u06cc\u0633\u0647 \u0628\u0627 \u062a\u0627\u0628\u0639 \u0633\u06cc\u06af\u0645\u0648\u06cc\u062f\u060c \u0646\u06a9\u0627\u062a \u0645\u062b\u0628\u062a \u0628\u06cc\u0634\u062a\u0631\u06cc \u062f\u0627\u0631\u062f.<\/p>\n\n\n\n
\u0645\u0632\u0627\u06cc\u0627<\/strong><\/h5>\n\n\n\n\n- \u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u0635\u0641\u0631\u0645\u062d\u0648\u0631 \u0627\u0633\u062a\u061b \u0628\u0646\u0627\u0628\u0631\u0627\u06cc\u0646 \u0628\u0647 \u0645\u062f\u0644 \u06a9\u0645\u06a9 \u0645\u06cc\u200c\u06a9\u0646\u062f \u062a\u0627 \u0645\u0642\u0627\u062f\u06cc\u0631 \u0648\u0631\u0648\u062f\u06cc \u0645\u0646\u0641\u06cc\u060c \u062e\u0646\u062b\u06cc \u0648 \u0645\u062b\u0628\u062a \u062f\u0627\u0634\u062a\u0647 \u0628\u0627\u0634\u062f\u061b \u0628\u0647\u200c\u0639\u0628\u0627\u0631\u062a \u062f\u06cc\u06af\u0631\u060c \u0645\u0642\u0627\u062f\u06cc\u0631 \u0645\u0646\u0641\u06cc\u060c \u0628\u0647\u200c\u0634\u062f\u062a \u0645\u0646\u0641\u06cc \u0648 \u0645\u0642\u0627\u062f\u06cc\u0631 \u0635\u0641\u0631 \u062f\u0631 \u06af\u0631\u0627\u0641 \u062a\u0627\u0646\u0698\u0627\u0646\u062a \u0647\u0627\u06cc\u067e\u0631\u0628\u0648\u0644\u06cc\u06a9 \u0646\u0632\u062f\u06cc\u06a9 \u0628\u0647 \u0635\u0641\u0631 \u0646\u06af\u0627\u0634\u062a \u0645\u06cc\u200c\u0634\u0648\u0646\u062f.<\/li>\n\n\n\n
- \u062a\u0627\u0628\u0639 \u0622\u0646 \u06cc\u06a9\u0646\u0648\u0627\u062e\u062a (Monotonic)\u060c \u0627\u0645\u0627 \u0645\u0634\u062a\u0642 \u0622\u0646 \u06cc\u06a9\u0646\u0648\u0627\u062e\u062a \u0646\u06cc\u0633\u062a.<\/li>\n<\/ul>\n\n\n\n
\u0645\u0639\u0627\u06cc\u0628<\/strong><\/h5>\n\n\n\n\n- \u0645\u062d\u0648\u0634\u062f\u06af\u06cc \u06af\u0631\u0627\u062f\u06cc\u0627\u0646<\/li>\n\n\n\n
- \u0647\u0645\u200c\u06af\u0631\u0627\u06cc\u06cc \u06a9\u0646\u062f<\/li>\n<\/ul>\n\n\n\n
![\"\u062a\u0627\u0628\u0639](\"http:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2021\/09\/\u062a\u0627\u0628\u0639-\u062a\u0627\u0646\u0698\u0627\u0646\u062a-\u0647\u0627\u06cc\u067e\u0631\u0628\u0648\u0644\u06cc\u06a9.jpg\")
<\/figure><\/div>\n\n\n\u0645\u0639\u0627\u062f\u0644\u0647: (f(x) = a =tanh(x) =(e\u02e3 – e\u207b\u02e3)\/(e\u02e3 +e\u207b\u02e3 <\/p>\n\n\n\n
\u0628\u0627\u0632\u0647: (1, 1-)<\/p>\n\n\n\n
\u06f3. \u062a\u0627\u0628\u0639 \u0648\u0627\u062d\u062f \u06cc\u06a9\u200c<\/strong>\u0633\u0648\u0634\u062f\u0647\u200c\u06cc \u062e\u0637\u06cc (ReLU \/ Rectified Linear Unit)<\/h4>\n\n\n\n\u062a\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 \u0648\u0627\u062d\u062f \u06cc\u06a9\u200c\u0633\u0648\u0634\u062f\u0647\u200c\u06cc \u062e\u0637\u06cc \u062f\u0631 \u0632\u0645\u06cc\u0646\u0647\u200c\u06cc \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0639\u0645\u06cc\u0642 \u0628\u0633\u06cc\u0627\u0631 \u0645\u0634\u0647\u0648\u0631 \u0627\u0633\u062a \u0648 \u062f\u0631 \u0628\u06cc\u0634\u062a\u0631 \u0645\u0648\u0627\u0642\u0639 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u0634\u0648\u062f. \u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u0628\u0647\u200c\u0627\u06cc\u0646 \u0635\u0648\u0631\u062a \u0639\u0645\u0644 \u0645\u06cc\u200c\u06a9\u0646\u062f \u06a9\u0647 \u0645\u0642\u0627\u062f\u06cc\u0631 \u0645\u0646\u0641\u06cc (\u0632\u06cc\u0631 \u0635\u0641\u0631) \u0631\u0627 \u0635\u0641\u0631 \u0648 \u0645\u0642\u0627\u062f\u06cc\u0631 \u0645\u062b\u0628\u062a (\u0628\u06cc\u0634\u062a\u0631 \u0627\u0632 \u0635\u0641\u0631) \u0648 \u0645\u0642\u0627\u062f\u06cc\u0631 \u0628\u0631\u0627\u0628\u0631 \u0628\u0627 \u0635\u0641\u0631 \u0631\u0627 \u0647\u0645\u0627\u0646 \u0645\u0642\u062f\u0627\u0631 \u062e\u0648\u062f\u0634 \u062f\u0631 \u0646\u0638\u0631 \u0645\u06cc\u200c\u06af\u06cc\u0631\u062f.<\/p>\n\n\n\n
\u0645\u0632\u0627\u06cc\u0627:<\/strong><\/h5>\n\n\n\n\n- \u0627\u0632 \u0646\u0638\u0631 \u0645\u062d\u0627\u0633\u0628\u0627\u062a\u06cc \u0628\u0633\u06cc\u0627\u0631 \u06a9\u0627\u0631\u0622\u0645\u062f \u0627\u0633\u062a \u0648 \u0628\u0647 \u0634\u0628\u06a9\u0647 \u0627\u062c\u0627\u0632\u0647 \u0645\u06cc\u200c\u062f\u0647\u062f \u0628\u0647\u200c\u0633\u0631\u0639\u062a \u0647\u0645\u06af\u0631\u0627 \u0634\u0648\u062f\u061b \u0632\u06cc\u0631\u0627 \u0631\u0627\u0628\u0637\u0647\u200c\u06cc \u0622\u0646 \u062e\u0637\u06cc \u0627\u0633\u062a \u0648 \u0628\u0647\u200c\u0647\u0645\u06cc\u0646 \u062f\u0644\u06cc\u0644\u060c \u062f\u0631 \u0645\u0642\u0627\u06cc\u0633\u0647 \u0628\u0627 \u062a\u0627\u0628\u0639\u200c\u0647\u0627\u06cc \u0633\u06cc\u06af\u0645\u0648\u06cc\u062f \u0648 Tanh\u060c \u0633\u0631\u06cc\u0639\u200c\u062a\u0631 \u0627\u0633\u062a.<\/li>\n<\/ul>\n\n\n\n
\u0645\u0639\u0627\u06cc\u0628:<\/strong><\/h5>\n\n\n\n\n- \u0645\u0634\u06a9\u0644 \u0645\u0631\u06af \u0646\u0648\u0631\u0648\u0646 \u06cc\u0627 \u0645\u0631\u06af ReLU \u062f\u0627\u0631\u062f\u061b \u06cc\u0639\u0646\u06cc \u0632\u0645\u0627\u0646\u06cc\u200c\u06a9\u0647 \u0648\u0631\u0648\u062f\u06cc \u0635\u0641\u0631 \u06cc\u0627 \u0646\u0632\u062f\u06cc\u06a9 \u0628\u0647 \u0635\u0641\u0631 \u0628\u0627\u0634\u062f\u060c \u062a\u0627\u0628\u0639 ReLU \u062f\u06cc\u06af\u0631 \u0639\u0645\u0644\u06a9\u0631\u062f\u06cc \u0646\u062f\u0627\u0631\u062f \u0648 \u0628\u0647\u200c\u0628\u06cc\u0627\u0646 \u062f\u06cc\u06af\u0631\u060c \u0645\u06cc\u200c\u0645\u06cc\u0631\u062f. \u062f\u0631 \u0627\u06cc\u0646 \u0635\u0648\u0631\u062a\u060c \u0645\u0642\u062f\u0627\u0631 \u06af\u0631\u0627\u062f\u06cc\u0627\u0646 \u062a\u0627\u0628\u0639 \u0635\u0641\u0631 \u0645\u06cc\u200c\u0634\u0648\u062f \u0648 \u0634\u0628\u06a9\u0647 \u0646\u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u062f \u0639\u0645\u0644\u06cc\u0627\u062a \u067e\u0633 \u0627\u0646\u062a\u0634\u0627\u0631 (Backpropagation) \u0631\u0627 \u0627\u0646\u062c\u0627\u0645 \u062f\u0647\u062f \u0648 \u0622\u0645\u0648\u0632\u0634 \u0628\u0628\u06cc\u0646\u062f.<\/li>\n\n\n\n
- \u062e\u0631\u0648\u062c\u06cc \u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u0635\u0641\u0631 \u06cc\u0627 \u0645\u062b\u0628\u062a \u0627\u0633\u062a \u0648 \u0627\u06cc\u0646 \u06cc\u0639\u0646\u06cc \u0635\u0641\u0631\u0645\u062d\u0648\u0631 \u0646\u06cc\u0633\u062a.<\/li>\n<\/ul>\n\n\n\n
![\"\u062a\u0627\u0628\u0639](\"http:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2021\/09\/\u062a\u0627\u0628\u0639-\u0648\u0627\u062d\u062f-\u06cc\u06a9\u200c\u0633\u0648\u0634\u062f\u0647\u200c\u06cc-\u062e\u0637\u06cc.jpg\")
<\/figure><\/div>\n\n\n\u0645\u0639\u0627\u062f\u0644\u0647: (f(x) = a =max(0,x <\/p>\n\n\n\n
\u0628\u0627\u0632\u0647: (\u221e+,0)<\/p>\n\n\n
<\/a><\/div><\/div>\n\n\n\n\u06f4. \u062a\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 Leaky ReLU<\/h4>\n\n\n\n
\u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 \u0628\u0631\u0627\u06cc \u062d\u0644 \u0645\u0634\u06a9\u0644 \u0627\u0635\u0644\u06cc \u062a\u0627\u0628\u0639 ReLU \u0627\u0631\u0627\u0626\u0647 \u0634\u062f\u0647 \u0627\u0633\u062a. \u062f\u0631 \u0634\u06a9\u0644 \u0628\u0639\u062f\u06cc \u0646\u0645\u0627\u06cc\u06cc \u0627\u0632 \u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u0631\u0627 \u0645\u0634\u0627\u0647\u062f\u0647 \u0645\u06cc\u200c\u06a9\u0646\u06cc\u0645:<\/p>\n\n\n\n
\u0645\u0632\u0627\u06cc\u0627<\/h5>\n\n\n\n\n- \u0627\u0632 \u0645\u0634\u06a9\u0644 \u0645\u0631\u06af ReLU \u062c\u0644\u0648\u06af\u06cc\u0631\u06cc \u0645\u06cc\u200c\u06a9\u0646\u062f. \u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u06cc\u06a9 \u0634\u06cc\u0628 \u0645\u062b\u0628\u062a \u0645\u0644\u0627\u06cc\u0645 \u0628\u0647\u200c\u0633\u0645\u062a \u0645\u0642\u0627\u062f\u06cc\u0631 \u0645\u0646\u0641\u06cc \u062f\u0627\u0631\u062f \u06a9\u0647 \u0627\u06cc\u0646 \u0627\u0645\u0631 \u0628\u0627\u0639\u062b \u0645\u06cc\u200c\u0634\u0648\u062f \u0639\u0645\u0644\u06cc\u0627\u062a \u067e\u0633 \u0627\u0646\u062a\u0634\u0627\u0631 (Backpropagation) \u062d\u062a\u06cc \u0628\u0631\u0627\u06cc \u0645\u0642\u0627\u062f\u06cc\u0631 \u0645\u0646\u0641\u06cc \u0647\u0645 \u0627\u0646\u062c\u0627\u0645 \u0634\u0648\u062f.<\/li>\n<\/ul>\n\n\n\n
\u0645\u0639\u0627\u06cc\u0628<\/strong><\/h5>\n\n\n\n\n- \u0628\u0631\u0627\u06cc \u0645\u0642\u0627\u062f\u06cc\u0631 \u0645\u0646\u0641\u06cc \u067e\u06cc\u0634\u200c\u0628\u06cc\u0646\u06cc (\u062e\u0631\u0648\u062c\u06cc) \u062b\u0627\u0628\u062a\u06cc \u0631\u0627 \u0627\u0631\u0627\u0626\u0647 \u0646\u0645\u06cc\u200c\u06a9\u0646\u062f.<\/li>\n\n\n\n
- \u062f\u0631 \u062d\u06cc\u0646 \u0639\u0645\u0644\u06cc\u0627\u062a \u0627\u0646\u062a\u0634\u0627\u0631 \u0631\u0648\u0628\u0647\u200c\u062c\u0644\u0648 (Forward Propagation) \u0627\u06af\u0631 \u0646\u0631\u062e \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc (Learning Rate) \u0631\u0627 \u062e\u06cc\u0644\u06cc \u0628\u0627\u0644\u0627 \u062f\u0631 \u0646\u0638\u0631 \u0628\u06af\u06cc\u0631\u06cc\u0645\u060c \u0645\u0634\u06a9\u0644 \u0645\u0631\u06af \u0646\u0648\u0631\u0648\u0646\u200c\u0647\u0627 \u0631\u0627 \u0631\u0642\u0645 \u0645\u06cc\u200c\u0632\u0646\u062f.<\/li>\n<\/ul>\n\n\n\n
![\"\u062a\u0627\u0628\u0639](\"http:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2021\/09\/\u062a\u0627\u0628\u0639-Leaky-ReLU.jpg\")
<\/figure><\/div>\n\n\n\u0645\u0639\u0627\u062f\u0644\u0647: (f(x)= a = max(0.01x, x <\/p>\n\n\n\n
\u0628\u0627\u0632\u0647: (\u221e+, 0.01)<\/p>\n\n\n\n
\u06f5. \u062a\u0627\u0628\u0639 \u0633\u0627\u0641\u062a\u200c\u0645\u06a9\u0633 (Softmax)<\/h4>\n\n\n\n
\u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 \u0627\u0632 \u062c\u0645\u0644\u0647 \u062a\u0648\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 (Activation Functions) \u0627\u0633\u062a \u06a9\u0647 \u062f\u0631 \u0637\u0628\u0642\u0647\u200c\u0628\u0646\u062f\u06cc\u200c\u0647\u0627\u06cc \u0686\u0646\u062f\u06a9\u0644\u0627\u0633\u0647 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u0634\u0648\u062f. \u0632\u0645\u0627\u0646\u06cc\u200c\u06a9\u0647 \u0627\u062d\u062a\u06cc\u0627\u062c \u062f\u0627\u0634\u062a\u0647 \u0628\u0627\u0634\u06cc\u0645 \u062f\u0631 \u062e\u0631\u0648\u062c\u06cc \u0627\u062d\u062a\u0645\u0627\u0644 \u0639\u0636\u0648\u06cc\u062a \u0628\u06cc\u0634\u062a\u0631 \u062f\u0648 \u06a9\u0644\u0627\u0633 \u0631\u0627 \u067e\u06cc\u0634\u200c\u0628\u06cc\u0646\u06cc \u06a9\u0646\u06cc\u0645\u060c \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u06cc\u0645 \u0628\u0647\u200c\u0633\u0631\u0627\u063a \u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u0628\u0631\u0648\u06cc\u0645. \u062a\u0627\u0628\u0639 \u0633\u0627\u0641\u062a\u200c\u0645\u06a9\u0633 \u062a\u0645\u0627\u0645\u06cc \u0645\u0642\u0627\u062f\u06cc\u0631 \u06cc\u06a9 \u0628\u0631\u062f\u0627\u0631 \u0628\u0627 \u0637\u0648\u0644 K \u0631\u0627 \u0628\u0647 \u0628\u0627\u0632\u0647\u200c\u06cc \u0635\u0641\u0631 \u062a\u0627 \u06f1 \u0645\u06cc\u200c\u0628\u0631\u062f\u060c \u0628\u0647\u200c\u0637\u0648\u0631\u06cc \u06a9\u0647 \u062c\u0645\u0639 \u062a\u0645\u0627\u0645\u06cc \u0645\u0642\u0627\u062f\u06cc\u0631 \u0627\u06cc\u0646 \u0628\u0631\u062f\u0627\u0631 \u0628\u0627 \u0647\u0645 \u06f1 \u0645\u06cc\u200c\u0634\u0648\u062f. \u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u0628\u0631\u0627\u06cc \u0646\u0648\u0631\u0648\u0646\u200c\u0647\u0627\u06cc \u0644\u0627\u06cc\u0647\u200c\u06cc \u062e\u0631\u0648\u062c\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u0634\u0648\u062f\u061b \u0632\u06cc\u0631\u0627 \u062f\u0631 \u0634\u0628\u06a9\u0647\u200c\u0647\u0627\u06cc \u0639\u0635\u0628\u06cc \u062f\u0631 \u0622\u062e\u0631\u06cc\u0646 \u0644\u0627\u06cc\u0647 (\u062e\u0631\u0648\u062c\u06cc) \u0628\u0647 \u0637\u0628\u0642\u0647\u200c\u0628\u0646\u062f\u06cc \u0648\u0631\u0648\u062f\u06cc\u200c\u0647\u0627 \u062f\u0631 \u06a9\u0644\u0627\u0633\u200c\u0647\u0627\u06cc \u0645\u062e\u062a\u0644\u0641 \u0646\u06cc\u0627\u0632 \u062f\u0627\u0631\u06cc\u0645.<\/p>\n\n\n\n
\u0645\u0632\u0627\u06cc\u0627<\/strong><\/h5>\n\n\n\n\n- \u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u0642\u0627\u0628\u0644\u06cc\u062a \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u062f\u0631 \u062a\u0633\u06a9 \u0647\u0627\u06cc \u0686\u0646\u062f\u06a9\u0644\u0627\u0633\u0647 \u0631\u0627 \u062f\u0627\u0631\u062f. \u062e\u0631\u0648\u062c\u06cc \u0647\u0631 \u06a9\u0644\u0627\u0633 \u0631\u0627 \u0645\u06cc\u0627\u0646 \u0635\u0641\u0631 \u062a\u0627 \u06f1 \u0639\u0627\u062f\u06cc\u200c\u0633\u0627\u0632\u06cc \u0645\u06cc\u200c\u06a9\u0646\u062f\u061b \u0633\u067e\u0633 \u0622\u0646\u200c\u0647\u0627 \u0631\u0627 \u0628\u0631 \u0645\u062c\u0645\u0648\u0639\u0647\u200c\u0634\u0627\u0646 \u062a\u0642\u0633\u06cc\u0645 \u0648 \u0627\u062d\u062a\u0645\u0627\u0644 \u0639\u0636\u0648\u06cc\u062a \u0645\u0642\u0627\u062f\u06cc\u0631 \u0648\u0631\u0648\u062f\u06cc \u0631\u0627 \u062f\u0631 \u0647\u0631 \u06a9\u0644\u0627\u0633 \u0628\u0647 \u0645\u0627 \u062f\u0631 \u062e\u0631\u0648\u062c\u06cc \u0627\u0631\u0627\u0626\u0647 \u0645\u06cc\u200c\u06a9\u0646\u062f.<\/li>\n<\/ul>\n\n\n\n
\u0645\u0639\u0627\u06cc\u0628<\/strong><\/h5>\n\n\n\n
<\/figure><\/div>\n\n\n\u062f\u0631 \u0647\u0631 \u0644\u0627\u06cc\u0647 \u0646\u062d\u0648\u0647\u200c\u06cc \u06a9\u0627\u0631 \u0647\u0631 \u0646\u0648\u0631\u0648\u0646 \u0628\u0647\u200c\u0627\u06cc\u0646 \u0634\u06a9\u0644 \u0627\u0633\u062a \u06a9\u0647 \u0627\u0628\u062a\u062f\u0627 \u0645\u0642\u0627\u062f\u06cc\u0631 \u0648\u0631\u0648\u062f\u06cc \u062f\u0631 \u0648\u0632\u0646 \u0645\u062a\u0646\u0627\u0638\u0631 \u062e\u0648\u062f \u0636\u0631\u0628 \u0648 \u0628\u0627 \u06cc\u06a9 \u0645\u0642\u062f\u0627\u0631 \u062b\u0627\u0628\u062a \u0628\u0627\u06cc\u0627\u0633 (Bias) \u062c\u0645\u0639 \u0645\u06cc\u200c\u0634\u0648\u062f\u061b \u062f\u0631\u0646\u0647\u0627\u06cc\u062a \u0646\u062a\u06cc\u062c\u0647\u200c\u06cc \u0627\u06cc\u0646 \u0636\u0631\u0628 \u0628\u0647 \u06cc\u06a9 \u062a\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u200c\u0633\u0627\u0632 \u0648\u0627\u0631\u062f \u0648 \u062e\u0631\u0648\u062c\u06cc \u0622\u0646 \u0628\u0647 \u0644\u0627\u06cc\u0647\u200c\u06cc \u0628\u0639\u062f\u06cc \u0645\u0646\u062a\u0642\u0644 \u0645\u06cc\u200c\u0634\u0648\u062f. \u0627\u06cc\u0646 \u0641\u0631\u0627\u06cc\u0646\u062f \u062a\u0627 \u0632\u0645\u0627\u0646\u06cc\u200c\u06a9\u0647 \u0628\u0647 \u0644\u0627\u06cc\u0647\u200c\u06cc \u0622\u062e\u0631 \u0628\u0631\u0633\u06cc\u0645 \u0647\u0645\u200c\u0686\u0646\u0627\u0646 \u062a\u06a9\u0631\u0627\u0631 \u0645\u06cc\u200c\u0634\u0648\u062f.<\/p>\n\n\n
<\/figure><\/div>\n\n<\/a><\/div><\/div>\n\n\n\n\u062a\u0648\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 (Activation Functions) \u0686\u06cc\u0633\u062a\u061f<\/h2>\n\n\n\n
\u062a\u0648\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 \u062f\u0631\u0648\u0627\u0642\u0639 \u0645\u0627\u0646\u0646\u062f \u06af\u0650\u06cc\u062a\u06cc \u0647\u0633\u062a\u0646\u062f \u06a9\u0647 \u062f\u0631 \u0647\u0631 \u0646\u0648\u0631\u0648\u0646 \u0648\u062c\u0648\u062f \u062f\u0627\u0631\u062f. \u0648\u0631\u0648\u062f\u06cc \u0627\u06cc\u0646 \u06af\u0650\u06cc\u062a \u0647\u0645\u0627\u0646 \u0648\u0631\u0648\u062f\u06cc\u200c\u0647\u0627\u06cc \u0647\u0631 \u0646\u0648\u0631\u0648\u0646 \u062f\u0631 \u0647\u0631 \u0644\u0627\u06cc\u0647 \u0627\u0633\u062a (\u062f\u0631 \u0648\u0632\u0646\u200c\u0647\u0627\u06cc \u0645\u062a\u0646\u0627\u0638\u0631 \u062e\u0648\u062f \u0636\u0631\u0628 \u0634\u062f\u0647\u200c\u0627\u0646\u062f \u0648 \u0628\u0627 \u0645\u0642\u062f\u0627\u0631 \u062b\u0627\u0628\u062a \u0628\u0627\u06cc\u0627\u0633 \u062c\u0645\u0639 \u0634\u062f\u0647\u200c\u0627\u0646\u062f) \u0648 \u062e\u0631\u0648\u062c\u06cc \u0622\u0646 \u0628\u0647 \u0644\u0627\u06cc\u0647\u200c\u06cc \u0628\u0639\u062f\u06cc \u0645\u0646\u062a\u0642\u0644 \u0645\u06cc\u200c\u0634\u0648\u062f. \u062a\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 \u062a\u0635\u0645\u06cc\u0645 \u0645\u06cc\u200c\u06af\u06cc\u0631\u062f \u0647\u0631 \u0646\u0648\u0631\u0648\u0646 \u0641\u0639\u0627\u0644 \u0634\u0648\u062f \u06cc\u0627 \u0646\u0647.<\/p>\n\n\n\n
\u062f\u0631 \u0627\u06cc\u0646 \u0634\u06a9\u0644 \u06cc\u06a9 \u0646\u0648\u0631\u0648\u0646 \u0631\u0627 \u0645\u0634\u0627\u0647\u062f\u0647 \u0645\u06cc\u200c\u06a9\u0646\u06cc\u0645:<\/p>\n\n\n
<\/figure><\/div>\n\n\n\u0686\u0631\u0627 \u0627\u0632 \u062a\u0648\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u06a9\u0646\u06cc\u0645\u061f<\/strong><\/h2>\n\n\n\n\u0627\u06af\u0631 \u0627\u0632 \u062a\u0648\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 (Activation Functions<\/a>) \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0646\u06a9\u0646\u06cc\u0645\u060c \u0648\u0632\u0646\u200c\u0647\u0627 \u0648 \u0645\u0642\u062f\u0627\u0631 \u0628\u0627\u06cc\u0627\u0633 \u0641\u0642\u0637 \u06cc\u06a9 \u0645\u0639\u0627\u062f\u0644\u0647\u200c\u06cc \u062e\u0637\u06cc \u0631\u0627 \u0627\u06cc\u062c\u0627\u062f \u0645\u06cc\u200c\u06a9\u0646\u0646\u062f. \u062f\u0631\u0633\u062a \u0627\u0633\u062a \u06a9\u0647 \u0645\u0639\u0627\u062f\u0644\u0647\u200c\u06cc \u062e\u0637\u06cc \u062e\u06cc\u0644\u06cc \u0631\u0627\u062d\u062a\u200c\u062a\u0631 \u062d\u0644\u200c\u0634\u062f\u0646\u06cc \u0627\u0633\u062a\u060c \u0627\u0645\u0627 \u0628\u0631\u0627\u06cc \u062d\u0644 \u0645\u0633\u0627\u0626\u0644 \u067e\u06cc\u0686\u06cc\u062f\u0647 \u0646\u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u062f \u06a9\u0645\u06a9\u06cc \u0628\u0647 \u0645\u0627 \u06a9\u0646\u062f\u061b \u062f\u0631\u0648\u0627\u0642\u0639 \u0645\u0639\u0627\u062f\u0644\u0627\u062a \u062e\u0637\u06cc \u062f\u0631 \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0627\u0644\u06af\u0648\u0647\u0627\u06cc \u067e\u06cc\u0686\u06cc\u062f\u0647\u200c\u06cc \u062f\u0627\u062f\u0647\u200c\u06cc \u062e\u06cc\u0644\u06cc \u0645\u062d\u062f\u0648\u062f \u0647\u0633\u062a\u0646\u062f \u0648 \u06cc\u06a9 \u0634\u0628\u06a9\u0647\u200c\u06cc \u0639\u0635\u0628\u06cc \u0628\u062f\u0648\u0646 \u062a\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u200c\u0633\u0627\u0632 \u0641\u0642\u0637 \u06cc\u06a9 \u0645\u062f\u0644 \u0631\u06af\u0631\u0633\u06cc\u0648\u0646 \u062e\u0637\u06cc (Linear Regression Model) \u0627\u0633\u062a. \u0628\u0647\u200c\u0637\u0648\u0631 \u06a9\u0644\u06cc\u060c \u0634\u0628\u06a9\u0647\u200c\u0647\u0627\u06cc \u0639\u0635\u0628\u06cc \u0627\u0632 \u062a\u0648\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u06a9\u0646\u0646\u062f \u062a\u0627 \u0628\u062a\u0648\u0627\u0646\u0646\u062f \u0628\u0647 \u0634\u0628\u06a9\u0647 \u062f\u0631 \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u067e\u06cc\u0686\u06cc\u062f\u0647 \u06a9\u0645\u06a9 \u0648 \u067e\u06cc\u0634\u200c\u0628\u06cc\u0646\u06cc \u0642\u0627\u0628\u0644\u200c\u0642\u0628\u0648\u0644\u06cc \u0631\u0627 \u062f\u0631 \u062e\u0631\u0648\u062c\u06cc \u0627\u0631\u0627\u0626\u0647 \u06a9\u0646\u0646\u062f.<\/p>\n\n\n\n\u067e\u06cc\u0634\u0646\u0647\u0627\u062f \u0645\u06cc\u200c\u06a9\u0646\u06cc\u0645 \u0628\u0627 \u0631\u06af\u0631\u0633\u06cc\u0648\u0646 \u062e\u0637\u06cc (Linear Regression)<\/mark><\/a> \u0628\u06cc\u0634\u062a\u0631 \u0622\u0634\u0646\u0627 \u0634\u0648\u06cc\u062f.<\/p>\n\n\n\n\u0627\u0646\u0648\u0627\u0639 \u062a\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 \u0686\u06cc\u0633\u062a\u061f<\/strong><\/h2>\n\n\n\n\u0628\u0647\u200c\u0637\u0648\u0631 \u06a9\u0644\u06cc \u0645\u06cc\u200c\u062a\u0648\u0627\u0646 \u062a\u0648\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 (Activation Functions) \u0631\u0627 \u0628\u0647 \u062f\u0648 \u062f\u0633\u062a\u0647 \u062a\u0642\u0633\u06cc\u0645 \u06a9\u0631\u062f:<\/p>\n\n\n\n
\n- \u062a\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u200c\u0633\u0627\u0632 \u062e\u0637\u06cc (Linear or Identity Activation Function)<\/li>\n\n\n\n
- \u062a\u0648\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u200c\u0633\u0627\u0632 \u063a\u06cc\u0631\u062e\u0637\u06cc (Non-linear Activation Functions)<\/li>\n<\/ul>\n\n\n\n
\u062a\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 \u062e\u0637\u06cc<\/strong><\/h3>\n\n\n\n\u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u062f\u0642\u06cc\u0642\u0627\u064b \u062c\u0645\u0639 \u0648\u0632\u0646\u200c\u062f\u0627\u0631 \u0648\u0631\u0648\u062f\u06cc \u0647\u0631 \u0646\u0648\u062f \u0631\u0627 \u0639\u06cc\u0646\u0627\u064b \u0628\u0631\u0645\u06cc\u200c\u06af\u0631\u062f\u0627\u0646\u062f \u0648 \u0645\u0642\u0627\u062f\u06cc\u0631 \u0631\u0627 \u062f\u0631 \u0628\u0627\u0632\u0647\u200c\u06cc \u062e\u0627\u0635\u06cc \u0642\u0631\u0627\u0631 \u0646\u0645\u06cc\u200c\u062f\u0647\u062f.<\/p>\n\n\n
\n<\/figure><\/div>\n\n\n\u0645\u0639\u0627\u062f\u0644\u0647: f(x) = x<\/p>\n\n\n\n
\u0628\u0627\u0632\u0647: (-\u221e,+\u221e)<\/p>\n\n\n\n
\u0647\u0645\u0627\u0646\u200c\u0637\u0648\u0631 \u06a9\u0647 \u0642\u0628\u0644\u0627\u064b \u0627\u0634\u0627\u0631\u0647 \u06a9\u0631\u062f\u06cc\u0645\u060c \u0627\u06cc\u0646 \u0646\u0648\u0639 \u062a\u0648\u0627\u0628\u0639 \u0646\u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u0646\u062f \u0628\u0647 \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc\u06cc \u0628\u0627 \u067e\u06cc\u0686\u06cc\u062f\u06af\u06cc \u0628\u0627\u0644\u0627 \u06a9\u0645\u06a9 \u06a9\u0646\u0646\u062f.<\/p>\n\n\n
<\/a><\/div><\/div>\n\n\n\n\u062a\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 \u063a\u06cc\u0631\u062e\u0637\u06cc<\/h3>\n\n\n\n
\u0634\u0628\u06a9\u0647\u200c\u0647\u0627\u06cc \u0639\u0635\u0628\u06cc \u062c\u062f\u06cc\u062f \u0627\u0632 \u062a\u0648\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 \u063a\u06cc\u0631\u062e\u0637\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u06a9\u0646\u0646\u062f. \u0627\u06cc\u0646 \u062a\u0648\u0627\u0628\u0639 \u0628\u0647 \u0645\u062f\u0644 \u06a9\u0645\u06a9 \u0645\u06cc\u200c\u06a9\u0646\u0646\u062f \u062a\u0627 \u0646\u06af\u0627\u0634\u062a\u200c\u0647\u0627\u06cc \u067e\u06cc\u0686\u06cc\u062f\u0647 \u0631\u0627 \u0645\u06cc\u0627\u0646 \u0648\u0631\u0648\u062f\u06cc\u200c\u0647\u0627 \u0648 \u062e\u0631\u0648\u062c\u06cc\u200c\u0647\u0627\u06cc \u0634\u0628\u06a9\u0647 \u0628\u0647 \u0648\u062c\u0648\u062f \u0622\u0648\u0631\u062f\u061b \u0628\u0647\u200c\u0639\u0628\u0627\u0631\u062a \u062f\u06cc\u06af\u0631\u060c \u0627\u06cc\u0646 \u062a\u0648\u0627\u0628\u0639 \u0628\u0647 \u0645\u062f\u0644 \u0627\u06cc\u0646 \u0627\u0645\u06a9\u0627\u0646 \u0631\u0627 \u0645\u06cc\u200c\u062f\u0647\u0646\u062f \u062a\u0627 \u062e\u0648\u062f \u0631\u0627 \u0628\u0627 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u067e\u06cc\u0686\u06cc\u062f\u0647 \u0648 \u063a\u06cc\u0631\u062e\u0637\u06cc \u0648\u0641\u0642 \u062f\u0647\u062f. \u0627\u06cc\u0646 \u0645\u0648\u0636\u0648\u0639 \u0628\u0631\u0627\u06cc \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u067e\u06cc\u0686\u06cc\u062f\u0647\u200c\u0627\u06cc\u060c \u0645\u0627\u0646\u0646\u062f \u0639\u06a9\u0633\u060c \u0648\u06cc\u062f\u0626\u0648\u060c \u0635\u062f\u0627 \u0648 \u063a\u06cc\u0631\u0647\u060c \u0628\u0633\u06cc\u0627\u0631 \u0645\u0647\u0645 \u0627\u0633\u062a. \u062f\u0631 \u0627\u06a9\u062b\u0631 \u0645\u0648\u0627\u0642\u0639 \u062a\u0648\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 \u063a\u06cc\u0631\u062e\u0637\u06cc \u062f\u0631 \u0634\u0628\u06a9\u0647\u200c\u0647\u0627\u06cc \u0639\u0635\u0628\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u0634\u0648\u0646\u062f. \u062a\u0648\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 \u063a\u06cc\u0631\u062e\u0637\u06cc \u0627\u0646\u0648\u0627\u0639 \u0645\u062e\u062a\u0644\u0641\u06cc \u062f\u0627\u0631\u0646\u062f \u06a9\u0647 \u062f\u0631 \u0627\u062f\u0627\u0645\u0647 \u067e\u0631\u0637\u0631\u0641\u062f\u0627\u0631\u062a\u0631\u06cc\u0646 \u0622\u0646\u200c\u0647\u0627 \u0631\u0627 \u0634\u0631\u062d \u0645\u06cc\u200c\u062f\u0647\u06cc\u0645.<\/p>\n\n\n\n
1. \u062a\u0627\u0628\u0639 \u0633\u06cc\u06af\u0645\u0648\u06cc\u062f (Sigmoid<\/strong>)<\/strong><\/h4>\n\n\n\n\u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u06cc\u06a9 \u0645\u0646\u062d\u0646\u06cc S \u0634\u06a9\u0644 \u0627\u0633\u062a. \u0632\u0645\u0627\u0646\u06cc\u200c\u06a9\u0647 \u0645\u06cc\u200c\u062e\u0648\u0627\u0647\u06cc\u0645 \u062e\u0631\u0648\u062c\u06cc \u0645\u062f\u0644 \u0627\u062d\u062a\u0645\u0627\u0644 \u0628\u0627\u0634\u062f\u060c \u0627\u0632 \u062a\u0627\u0628\u0639 \u0633\u06cc\u06af\u0645\u0648\u06cc\u062f \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u06a9\u0646\u06cc\u0645\u061b \u0686\u0648\u0646 \u062a\u0627\u0628\u0639 \u0633\u06cc\u06af\u0645\u0648\u06cc\u062f \u0645\u0642\u0627\u062f\u06cc\u0631 \u0631\u0627 \u0628\u0647 \u0628\u0627\u0632\u0647 \u0635\u0641\u0631 \u062a\u0627 \u06f1 \u0645\u06cc\u200c\u0628\u0631\u062f \u0648 \u0627\u062d\u062a\u0645\u0627\u0644\u0627\u062a \u0647\u0645 \u0645\u06cc\u0627\u0646 \u0647\u0645\u06cc\u0646 \u0628\u0627\u0632\u0647 \u0642\u0631\u0627\u0631 \u062f\u0627\u0631\u0646\u062f.<\/p>\n\n\n\n
\u0645\u0632\u0627\u06cc\u0627<\/strong><\/h5>\n\n\n\n\n- \u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u062a\u0645\u0627\u06cc\u0632\u067e\u0630\u06cc\u0631 (Differentiable) \u0627\u0633\u062a\u061b \u06cc\u0639\u0646\u06cc \u062f\u0631 \u0647\u0631 \u0642\u0633\u0645\u062a \u0627\u0632 \u0645\u0646\u062d\u0646\u06cc \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u06cc\u0645 \u0634\u06cc\u0628 \u0645\u06cc\u0627\u0646 \u062f\u0648 \u0646\u0642\u0637\u0647 \u0631\u0627 \u062d\u0633\u0627\u0628 \u06a9\u0646\u06cc\u0645.<\/li>\n\n\n\n
- \u0627\u0632 \u0622\u0646\u062c\u0627 \u06a9\u0647 \u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u0645\u0642\u0627\u062f\u06cc\u0631 \u0631\u0627 \u0645\u06cc\u0627\u0646 \u0635\u0641\u0631 \u0648 \u06cc\u06a9 \u0642\u0631\u0627\u0631 \u0645\u06cc\u200c\u062f\u0647\u062f\u060c \u0646\u0648\u0639\u06cc \u0639\u0627\u062f\u06cc\u200c\u0633\u0627\u0632\u06cc \u0631\u0627 \u0628\u0631\u0627\u06cc \u062e\u0631\u0648\u062c\u06cc \u0647\u0631 \u0646\u0648\u0631\u0648\u0646 \u0627\u0646\u062c\u0627\u0645 \u0645\u06cc\u200c\u062f\u0647\u062f.<\/li>\n<\/ul>\n\n\n\n
\u0645\u0639\u0627\u06cc\u0628<\/strong><\/h5>\n\n\n\n\n- \u0628\u0627 \u0645\u062d\u0648\u0634\u062f\u06af\u06cc \u06af\u0631\u0627\u062f\u06cc\u0627\u0646 (Vanishing Gradient) \u0645\u0642\u0627\u062f\u06cc\u0631 \u0628\u0633\u06cc\u0627\u0631 \u0628\u0632\u0631\u06af \u06cc\u0627 \u0628\u0633\u06cc\u0627\u0631 \u06a9\u0648\u0686\u06a9 x\u060c \u0645\u0634\u062a\u0642 \u0628\u0633\u06cc\u0627\u0631 \u06a9\u0648\u0686\u06a9 \u0645\u06cc\u200c\u0634\u0648\u062f \u0648 \u062f\u0631\u0648\u0627\u0642\u0639 \u0634\u0628\u06a9\u0647 \u062f\u06cc\u06af\u0631 \u0622\u0645\u0648\u0632\u0634 \u0646\u0645\u06cc\u200c\u0628\u06cc\u0646\u062f \u0648 \u067e\u06cc\u0634\u200c\u0628\u06cc\u0646\u06cc\u200c\u0647\u0627\u06cc\u0634 \u062f\u0631 \u062e\u0631\u0648\u062c\u06cc \u062b\u0627\u0628\u062a \u0645\u06cc\u200c\u0645\u0627\u0646\u062f.<\/li>\n\n\n\n
- \u0628\u0647\u200c\u062f\u0644\u06cc\u0644 \u0645\u0634\u06a9\u0644 \u0645\u062d\u0648\u0634\u062f\u06af\u06cc\u200c\u06af\u0631\u0627\u062f\u06cc\u0627\u0646\u060c \u062a\u0627\u0628\u0639 \u0633\u06cc\u06af\u0645\u0648\u06cc\u062f \u0647\u0645\u200c\u06af\u0631\u0627\u06cc\u06cc \u06a9\u0646\u062f \u062f\u0627\u0631\u062f.<\/li>\n\n\n\n
- \u062e\u0631\u0648\u062c\u06cc \u062a\u0627\u0628\u0639 \u0633\u06cc\u06af\u0645\u0648\u06cc\u062f \u0635\u0641\u0631\u0645\u062d\u0648\u0631 (Zero-Centered) \u0646\u06cc\u0633\u062a\u061b \u0627\u06cc\u0646 \u0627\u0645\u0631 \u06a9\u0627\u0631\u0627\u06cc\u06cc \u0628\u0647\u200c\u0631\u0648\u0632\u0631\u0633\u0627\u0646\u06cc \u0648\u0632\u0646\u200c\u0647\u0627 \u0631\u0627 \u06a9\u0645 \u0645\u06cc\u200c\u06a9\u0646\u062f.<\/li>\n\n\n\n
- \u0627\u0632 \u0622\u0646\u062c\u0627 \u06a9\u0647 \u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u0639\u0645\u0644\u06cc\u0627\u062a \u0646\u0645\u0627\u06cc\u06cc (Exponential Operations) \u062f\u0627\u0631\u062f\u060c \u0645\u06cc\u200c\u062a\u0648\u0627\u0646 \u06af\u0641\u062a \u0647\u0632\u06cc\u0646\u0647\u200c\u06cc \u0645\u062d\u0627\u0633\u0628\u0627\u062a\u06cc \u0628\u0627\u0644\u0627\u06cc\u06cc \u062f\u0627\u0631\u062f \u0648 \u06a9\u0646\u062f\u062a\u0631 \u067e\u06cc\u0634 \u0645\u06cc\u200c\u0631\u0648\u062f.<\/li>\n<\/ul>\n\n\n\n
<\/figure><\/div>\n\n\n\u0645\u0639\u0627\u062f\u0644\u0647: (f(x) = s= 1\/(1+e\u207b\u02e3<\/p>\n\n\n\n
\u0628\u0627\u0632\u0647: (0,1)<\/p>\n\n\n\n
\u06f2. \u062a\u0627\u0628\u0639 \u062a\u0627\u0646\u0698\u0627\u0646\u062a \u0647\u0627\u06cc\u067e\u0631\u0628\u0648\u0644\u06cc\u06a9 (Tanh, Hyperbolic Tangent)<\/h4>\n\n\n\n
\u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u0647\u0645 \u0645\u0627\u0646\u0646\u062f \u062a\u0627\u0628\u0639 \u0633\u06cc\u06af\u0645\u0648\u06cc\u062f \u0628\u0647\u200c\u0634\u06a9\u0644 S \u0627\u0633\u062a\u060c \u0627\u0645\u0627 \u062f\u0631 \u0645\u0642\u0627\u06cc\u0633\u0647 \u0628\u0627 \u062a\u0627\u0628\u0639 \u0633\u06cc\u06af\u0645\u0648\u06cc\u062f\u060c \u0646\u06a9\u0627\u062a \u0645\u062b\u0628\u062a \u0628\u06cc\u0634\u062a\u0631\u06cc \u062f\u0627\u0631\u062f.<\/p>\n\n\n\n
\u0645\u0632\u0627\u06cc\u0627<\/strong><\/h5>\n\n\n\n\n- \u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u0635\u0641\u0631\u0645\u062d\u0648\u0631 \u0627\u0633\u062a\u061b \u0628\u0646\u0627\u0628\u0631\u0627\u06cc\u0646 \u0628\u0647 \u0645\u062f\u0644 \u06a9\u0645\u06a9 \u0645\u06cc\u200c\u06a9\u0646\u062f \u062a\u0627 \u0645\u0642\u0627\u062f\u06cc\u0631 \u0648\u0631\u0648\u062f\u06cc \u0645\u0646\u0641\u06cc\u060c \u062e\u0646\u062b\u06cc \u0648 \u0645\u062b\u0628\u062a \u062f\u0627\u0634\u062a\u0647 \u0628\u0627\u0634\u062f\u061b \u0628\u0647\u200c\u0639\u0628\u0627\u0631\u062a \u062f\u06cc\u06af\u0631\u060c \u0645\u0642\u0627\u062f\u06cc\u0631 \u0645\u0646\u0641\u06cc\u060c \u0628\u0647\u200c\u0634\u062f\u062a \u0645\u0646\u0641\u06cc \u0648 \u0645\u0642\u0627\u062f\u06cc\u0631 \u0635\u0641\u0631 \u062f\u0631 \u06af\u0631\u0627\u0641 \u062a\u0627\u0646\u0698\u0627\u0646\u062a \u0647\u0627\u06cc\u067e\u0631\u0628\u0648\u0644\u06cc\u06a9 \u0646\u0632\u062f\u06cc\u06a9 \u0628\u0647 \u0635\u0641\u0631 \u0646\u06af\u0627\u0634\u062a \u0645\u06cc\u200c\u0634\u0648\u0646\u062f.<\/li>\n\n\n\n
- \u062a\u0627\u0628\u0639 \u0622\u0646 \u06cc\u06a9\u0646\u0648\u0627\u062e\u062a (Monotonic)\u060c \u0627\u0645\u0627 \u0645\u0634\u062a\u0642 \u0622\u0646 \u06cc\u06a9\u0646\u0648\u0627\u062e\u062a \u0646\u06cc\u0633\u062a.<\/li>\n<\/ul>\n\n\n\n
\u0645\u0639\u0627\u06cc\u0628<\/strong><\/h5>\n\n\n\n\n- \u0645\u062d\u0648\u0634\u062f\u06af\u06cc \u06af\u0631\u0627\u062f\u06cc\u0627\u0646<\/li>\n\n\n\n
- \u0647\u0645\u200c\u06af\u0631\u0627\u06cc\u06cc \u06a9\u0646\u062f<\/li>\n<\/ul>\n\n\n\n
<\/figure><\/div>\n\n\n\u0645\u0639\u0627\u062f\u0644\u0647: (f(x) = a =tanh(x) =(e\u02e3 – e\u207b\u02e3)\/(e\u02e3 +e\u207b\u02e3 <\/p>\n\n\n\n
\u0628\u0627\u0632\u0647: (1, 1-)<\/p>\n\n\n\n
\u06f3. \u062a\u0627\u0628\u0639 \u0648\u0627\u062d\u062f \u06cc\u06a9\u200c<\/strong>\u0633\u0648\u0634\u062f\u0647\u200c\u06cc \u062e\u0637\u06cc (ReLU \/ Rectified Linear Unit)<\/h4>\n\n\n\n\u062a\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 \u0648\u0627\u062d\u062f \u06cc\u06a9\u200c\u0633\u0648\u0634\u062f\u0647\u200c\u06cc \u062e\u0637\u06cc \u062f\u0631 \u0632\u0645\u06cc\u0646\u0647\u200c\u06cc \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0639\u0645\u06cc\u0642 \u0628\u0633\u06cc\u0627\u0631 \u0645\u0634\u0647\u0648\u0631 \u0627\u0633\u062a \u0648 \u062f\u0631 \u0628\u06cc\u0634\u062a\u0631 \u0645\u0648\u0627\u0642\u0639 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u0634\u0648\u062f. \u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u0628\u0647\u200c\u0627\u06cc\u0646 \u0635\u0648\u0631\u062a \u0639\u0645\u0644 \u0645\u06cc\u200c\u06a9\u0646\u062f \u06a9\u0647 \u0645\u0642\u0627\u062f\u06cc\u0631 \u0645\u0646\u0641\u06cc (\u0632\u06cc\u0631 \u0635\u0641\u0631) \u0631\u0627 \u0635\u0641\u0631 \u0648 \u0645\u0642\u0627\u062f\u06cc\u0631 \u0645\u062b\u0628\u062a (\u0628\u06cc\u0634\u062a\u0631 \u0627\u0632 \u0635\u0641\u0631) \u0648 \u0645\u0642\u0627\u062f\u06cc\u0631 \u0628\u0631\u0627\u0628\u0631 \u0628\u0627 \u0635\u0641\u0631 \u0631\u0627 \u0647\u0645\u0627\u0646 \u0645\u0642\u062f\u0627\u0631 \u062e\u0648\u062f\u0634 \u062f\u0631 \u0646\u0638\u0631 \u0645\u06cc\u200c\u06af\u06cc\u0631\u062f.<\/p>\n\n\n\n
\u0645\u0632\u0627\u06cc\u0627:<\/strong><\/h5>\n\n\n\n\n- \u0627\u0632 \u0646\u0638\u0631 \u0645\u062d\u0627\u0633\u0628\u0627\u062a\u06cc \u0628\u0633\u06cc\u0627\u0631 \u06a9\u0627\u0631\u0622\u0645\u062f \u0627\u0633\u062a \u0648 \u0628\u0647 \u0634\u0628\u06a9\u0647 \u0627\u062c\u0627\u0632\u0647 \u0645\u06cc\u200c\u062f\u0647\u062f \u0628\u0647\u200c\u0633\u0631\u0639\u062a \u0647\u0645\u06af\u0631\u0627 \u0634\u0648\u062f\u061b \u0632\u06cc\u0631\u0627 \u0631\u0627\u0628\u0637\u0647\u200c\u06cc \u0622\u0646 \u062e\u0637\u06cc \u0627\u0633\u062a \u0648 \u0628\u0647\u200c\u0647\u0645\u06cc\u0646 \u062f\u0644\u06cc\u0644\u060c \u062f\u0631 \u0645\u0642\u0627\u06cc\u0633\u0647 \u0628\u0627 \u062a\u0627\u0628\u0639\u200c\u0647\u0627\u06cc \u0633\u06cc\u06af\u0645\u0648\u06cc\u062f \u0648 Tanh\u060c \u0633\u0631\u06cc\u0639\u200c\u062a\u0631 \u0627\u0633\u062a.<\/li>\n<\/ul>\n\n\n\n
\u0645\u0639\u0627\u06cc\u0628:<\/strong><\/h5>\n\n\n\n\n- \u0645\u0634\u06a9\u0644 \u0645\u0631\u06af \u0646\u0648\u0631\u0648\u0646 \u06cc\u0627 \u0645\u0631\u06af ReLU \u062f\u0627\u0631\u062f\u061b \u06cc\u0639\u0646\u06cc \u0632\u0645\u0627\u0646\u06cc\u200c\u06a9\u0647 \u0648\u0631\u0648\u062f\u06cc \u0635\u0641\u0631 \u06cc\u0627 \u0646\u0632\u062f\u06cc\u06a9 \u0628\u0647 \u0635\u0641\u0631 \u0628\u0627\u0634\u062f\u060c \u062a\u0627\u0628\u0639 ReLU \u062f\u06cc\u06af\u0631 \u0639\u0645\u0644\u06a9\u0631\u062f\u06cc \u0646\u062f\u0627\u0631\u062f \u0648 \u0628\u0647\u200c\u0628\u06cc\u0627\u0646 \u062f\u06cc\u06af\u0631\u060c \u0645\u06cc\u200c\u0645\u06cc\u0631\u062f. \u062f\u0631 \u0627\u06cc\u0646 \u0635\u0648\u0631\u062a\u060c \u0645\u0642\u062f\u0627\u0631 \u06af\u0631\u0627\u062f\u06cc\u0627\u0646 \u062a\u0627\u0628\u0639 \u0635\u0641\u0631 \u0645\u06cc\u200c\u0634\u0648\u062f \u0648 \u0634\u0628\u06a9\u0647 \u0646\u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u062f \u0639\u0645\u0644\u06cc\u0627\u062a \u067e\u0633 \u0627\u0646\u062a\u0634\u0627\u0631 (Backpropagation) \u0631\u0627 \u0627\u0646\u062c\u0627\u0645 \u062f\u0647\u062f \u0648 \u0622\u0645\u0648\u0632\u0634 \u0628\u0628\u06cc\u0646\u062f.<\/li>\n\n\n\n
- \u062e\u0631\u0648\u062c\u06cc \u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u0635\u0641\u0631 \u06cc\u0627 \u0645\u062b\u0628\u062a \u0627\u0633\u062a \u0648 \u0627\u06cc\u0646 \u06cc\u0639\u0646\u06cc \u0635\u0641\u0631\u0645\u062d\u0648\u0631 \u0646\u06cc\u0633\u062a.<\/li>\n<\/ul>\n\n\n\n
<\/figure><\/div>\n\n\n\u0645\u0639\u0627\u062f\u0644\u0647: (f(x) = a =max(0,x <\/p>\n\n\n\n
\u0628\u0627\u0632\u0647: (\u221e+,0)<\/p>\n\n\n
<\/a><\/div><\/div>\n\n\n\n\u06f4. \u062a\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 Leaky ReLU<\/h4>\n\n\n\n
\u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 \u0628\u0631\u0627\u06cc \u062d\u0644 \u0645\u0634\u06a9\u0644 \u0627\u0635\u0644\u06cc \u062a\u0627\u0628\u0639 ReLU \u0627\u0631\u0627\u0626\u0647 \u0634\u062f\u0647 \u0627\u0633\u062a. \u062f\u0631 \u0634\u06a9\u0644 \u0628\u0639\u062f\u06cc \u0646\u0645\u0627\u06cc\u06cc \u0627\u0632 \u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u0631\u0627 \u0645\u0634\u0627\u0647\u062f\u0647 \u0645\u06cc\u200c\u06a9\u0646\u06cc\u0645:<\/p>\n\n\n\n
\u0645\u0632\u0627\u06cc\u0627<\/h5>\n\n\n\n\n- \u0627\u0632 \u0645\u0634\u06a9\u0644 \u0645\u0631\u06af ReLU \u062c\u0644\u0648\u06af\u06cc\u0631\u06cc \u0645\u06cc\u200c\u06a9\u0646\u062f. \u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u06cc\u06a9 \u0634\u06cc\u0628 \u0645\u062b\u0628\u062a \u0645\u0644\u0627\u06cc\u0645 \u0628\u0647\u200c\u0633\u0645\u062a \u0645\u0642\u0627\u062f\u06cc\u0631 \u0645\u0646\u0641\u06cc \u062f\u0627\u0631\u062f \u06a9\u0647 \u0627\u06cc\u0646 \u0627\u0645\u0631 \u0628\u0627\u0639\u062b \u0645\u06cc\u200c\u0634\u0648\u062f \u0639\u0645\u0644\u06cc\u0627\u062a \u067e\u0633 \u0627\u0646\u062a\u0634\u0627\u0631 (Backpropagation) \u062d\u062a\u06cc \u0628\u0631\u0627\u06cc \u0645\u0642\u0627\u062f\u06cc\u0631 \u0645\u0646\u0641\u06cc \u0647\u0645 \u0627\u0646\u062c\u0627\u0645 \u0634\u0648\u062f.<\/li>\n<\/ul>\n\n\n\n
\u0645\u0639\u0627\u06cc\u0628<\/strong><\/h5>\n\n\n\n\n- \u0628\u0631\u0627\u06cc \u0645\u0642\u0627\u062f\u06cc\u0631 \u0645\u0646\u0641\u06cc \u067e\u06cc\u0634\u200c\u0628\u06cc\u0646\u06cc (\u062e\u0631\u0648\u062c\u06cc) \u062b\u0627\u0628\u062a\u06cc \u0631\u0627 \u0627\u0631\u0627\u0626\u0647 \u0646\u0645\u06cc\u200c\u06a9\u0646\u062f.<\/li>\n\n\n\n
- \u062f\u0631 \u062d\u06cc\u0646 \u0639\u0645\u0644\u06cc\u0627\u062a \u0627\u0646\u062a\u0634\u0627\u0631 \u0631\u0648\u0628\u0647\u200c\u062c\u0644\u0648 (Forward Propagation) \u0627\u06af\u0631 \u0646\u0631\u062e \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc (Learning Rate) \u0631\u0627 \u062e\u06cc\u0644\u06cc \u0628\u0627\u0644\u0627 \u062f\u0631 \u0646\u0638\u0631 \u0628\u06af\u06cc\u0631\u06cc\u0645\u060c \u0645\u0634\u06a9\u0644 \u0645\u0631\u06af \u0646\u0648\u0631\u0648\u0646\u200c\u0647\u0627 \u0631\u0627 \u0631\u0642\u0645 \u0645\u06cc\u200c\u0632\u0646\u062f.<\/li>\n<\/ul>\n\n\n\n
<\/figure><\/div>\n\n\n\u0645\u0639\u0627\u062f\u0644\u0647: (f(x)= a = max(0.01x, x <\/p>\n\n\n\n
\u0628\u0627\u0632\u0647: (\u221e+, 0.01)<\/p>\n\n\n\n
\u06f5. \u062a\u0627\u0628\u0639 \u0633\u0627\u0641\u062a\u200c\u0645\u06a9\u0633 (Softmax)<\/h4>\n\n\n\n
\u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 \u0627\u0632 \u062c\u0645\u0644\u0647 \u062a\u0648\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 (Activation Functions) \u0627\u0633\u062a \u06a9\u0647 \u062f\u0631 \u0637\u0628\u0642\u0647\u200c\u0628\u0646\u062f\u06cc\u200c\u0647\u0627\u06cc \u0686\u0646\u062f\u06a9\u0644\u0627\u0633\u0647 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u0634\u0648\u062f. \u0632\u0645\u0627\u0646\u06cc\u200c\u06a9\u0647 \u0627\u062d\u062a\u06cc\u0627\u062c \u062f\u0627\u0634\u062a\u0647 \u0628\u0627\u0634\u06cc\u0645 \u062f\u0631 \u062e\u0631\u0648\u062c\u06cc \u0627\u062d\u062a\u0645\u0627\u0644 \u0639\u0636\u0648\u06cc\u062a \u0628\u06cc\u0634\u062a\u0631 \u062f\u0648 \u06a9\u0644\u0627\u0633 \u0631\u0627 \u067e\u06cc\u0634\u200c\u0628\u06cc\u0646\u06cc \u06a9\u0646\u06cc\u0645\u060c \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u06cc\u0645 \u0628\u0647\u200c\u0633\u0631\u0627\u063a \u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u0628\u0631\u0648\u06cc\u0645. \u062a\u0627\u0628\u0639 \u0633\u0627\u0641\u062a\u200c\u0645\u06a9\u0633 \u062a\u0645\u0627\u0645\u06cc \u0645\u0642\u0627\u062f\u06cc\u0631 \u06cc\u06a9 \u0628\u0631\u062f\u0627\u0631 \u0628\u0627 \u0637\u0648\u0644 K \u0631\u0627 \u0628\u0647 \u0628\u0627\u0632\u0647\u200c\u06cc \u0635\u0641\u0631 \u062a\u0627 \u06f1 \u0645\u06cc\u200c\u0628\u0631\u062f\u060c \u0628\u0647\u200c\u0637\u0648\u0631\u06cc \u06a9\u0647 \u062c\u0645\u0639 \u062a\u0645\u0627\u0645\u06cc \u0645\u0642\u0627\u062f\u06cc\u0631 \u0627\u06cc\u0646 \u0628\u0631\u062f\u0627\u0631 \u0628\u0627 \u0647\u0645 \u06f1 \u0645\u06cc\u200c\u0634\u0648\u062f. \u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u0628\u0631\u0627\u06cc \u0646\u0648\u0631\u0648\u0646\u200c\u0647\u0627\u06cc \u0644\u0627\u06cc\u0647\u200c\u06cc \u062e\u0631\u0648\u062c\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u0634\u0648\u062f\u061b \u0632\u06cc\u0631\u0627 \u062f\u0631 \u0634\u0628\u06a9\u0647\u200c\u0647\u0627\u06cc \u0639\u0635\u0628\u06cc \u062f\u0631 \u0622\u062e\u0631\u06cc\u0646 \u0644\u0627\u06cc\u0647 (\u062e\u0631\u0648\u062c\u06cc) \u0628\u0647 \u0637\u0628\u0642\u0647\u200c\u0628\u0646\u062f\u06cc \u0648\u0631\u0648\u062f\u06cc\u200c\u0647\u0627 \u062f\u0631 \u06a9\u0644\u0627\u0633\u200c\u0647\u0627\u06cc \u0645\u062e\u062a\u0644\u0641 \u0646\u06cc\u0627\u0632 \u062f\u0627\u0631\u06cc\u0645.<\/p>\n\n\n\n
\u0645\u0632\u0627\u06cc\u0627<\/strong><\/h5>\n\n\n\n\n- \u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u0642\u0627\u0628\u0644\u06cc\u062a \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u062f\u0631 \u062a\u0633\u06a9 \u0647\u0627\u06cc \u0686\u0646\u062f\u06a9\u0644\u0627\u0633\u0647 \u0631\u0627 \u062f\u0627\u0631\u062f. \u062e\u0631\u0648\u062c\u06cc \u0647\u0631 \u06a9\u0644\u0627\u0633 \u0631\u0627 \u0645\u06cc\u0627\u0646 \u0635\u0641\u0631 \u062a\u0627 \u06f1 \u0639\u0627\u062f\u06cc\u200c\u0633\u0627\u0632\u06cc \u0645\u06cc\u200c\u06a9\u0646\u062f\u061b \u0633\u067e\u0633 \u0622\u0646\u200c\u0647\u0627 \u0631\u0627 \u0628\u0631 \u0645\u062c\u0645\u0648\u0639\u0647\u200c\u0634\u0627\u0646 \u062a\u0642\u0633\u06cc\u0645 \u0648 \u0627\u062d\u062a\u0645\u0627\u0644 \u0639\u0636\u0648\u06cc\u062a \u0645\u0642\u0627\u062f\u06cc\u0631 \u0648\u0631\u0648\u062f\u06cc \u0631\u0627 \u062f\u0631 \u0647\u0631 \u06a9\u0644\u0627\u0633 \u0628\u0647 \u0645\u0627 \u062f\u0631 \u062e\u0631\u0648\u062c\u06cc \u0627\u0631\u0627\u0626\u0647 \u0645\u06cc\u200c\u06a9\u0646\u062f.<\/li>\n<\/ul>\n\n\n\n
\u0645\u0639\u0627\u06cc\u0628<\/strong><\/h5>\n\n\n\n
\u067e\u06cc\u0634\u0646\u0647\u0627\u062f \u0645\u06cc\u200c\u06a9\u0646\u06cc\u0645 \u0628\u0627 \u0631\u06af\u0631\u0633\u06cc\u0648\u0646 \u062e\u0637\u06cc (Linear Regression)<\/mark><\/a> \u0628\u06cc\u0634\u062a\u0631 \u0622\u0634\u0646\u0627 \u0634\u0648\u06cc\u062f.<\/p>\n\n\n\n \u0628\u0647\u200c\u0637\u0648\u0631 \u06a9\u0644\u06cc \u0645\u06cc\u200c\u062a\u0648\u0627\u0646 \u062a\u0648\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 (Activation Functions) \u0631\u0627 \u0628\u0647 \u062f\u0648 \u062f\u0633\u062a\u0647 \u062a\u0642\u0633\u06cc\u0645 \u06a9\u0631\u062f:<\/p>\n\n\n\n \u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u062f\u0642\u06cc\u0642\u0627\u064b \u062c\u0645\u0639 \u0648\u0632\u0646\u200c\u062f\u0627\u0631 \u0648\u0631\u0648\u062f\u06cc \u0647\u0631 \u0646\u0648\u062f \u0631\u0627 \u0639\u06cc\u0646\u0627\u064b \u0628\u0631\u0645\u06cc\u200c\u06af\u0631\u062f\u0627\u0646\u062f \u0648 \u0645\u0642\u0627\u062f\u06cc\u0631 \u0631\u0627 \u062f\u0631 \u0628\u0627\u0632\u0647\u200c\u06cc \u062e\u0627\u0635\u06cc \u0642\u0631\u0627\u0631 \u0646\u0645\u06cc\u200c\u062f\u0647\u062f.<\/p>\n\n\n \u0645\u0639\u0627\u062f\u0644\u0647: f(x) = x<\/p>\n\n\n\n \u0628\u0627\u0632\u0647: (-\u221e,+\u221e)<\/p>\n\n\n\n \u0647\u0645\u0627\u0646\u200c\u0637\u0648\u0631 \u06a9\u0647 \u0642\u0628\u0644\u0627\u064b \u0627\u0634\u0627\u0631\u0647 \u06a9\u0631\u062f\u06cc\u0645\u060c \u0627\u06cc\u0646 \u0646\u0648\u0639 \u062a\u0648\u0627\u0628\u0639 \u0646\u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u0646\u062f \u0628\u0647 \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc\u06cc \u0628\u0627 \u067e\u06cc\u0686\u06cc\u062f\u06af\u06cc \u0628\u0627\u0644\u0627 \u06a9\u0645\u06a9 \u06a9\u0646\u0646\u062f.<\/p>\n\n\n \u0634\u0628\u06a9\u0647\u200c\u0647\u0627\u06cc \u0639\u0635\u0628\u06cc \u062c\u062f\u06cc\u062f \u0627\u0632 \u062a\u0648\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 \u063a\u06cc\u0631\u062e\u0637\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u06a9\u0646\u0646\u062f. \u0627\u06cc\u0646 \u062a\u0648\u0627\u0628\u0639 \u0628\u0647 \u0645\u062f\u0644 \u06a9\u0645\u06a9 \u0645\u06cc\u200c\u06a9\u0646\u0646\u062f \u062a\u0627 \u0646\u06af\u0627\u0634\u062a\u200c\u0647\u0627\u06cc \u067e\u06cc\u0686\u06cc\u062f\u0647 \u0631\u0627 \u0645\u06cc\u0627\u0646 \u0648\u0631\u0648\u062f\u06cc\u200c\u0647\u0627 \u0648 \u062e\u0631\u0648\u062c\u06cc\u200c\u0647\u0627\u06cc \u0634\u0628\u06a9\u0647 \u0628\u0647 \u0648\u062c\u0648\u062f \u0622\u0648\u0631\u062f\u061b \u0628\u0647\u200c\u0639\u0628\u0627\u0631\u062a \u062f\u06cc\u06af\u0631\u060c \u0627\u06cc\u0646 \u062a\u0648\u0627\u0628\u0639 \u0628\u0647 \u0645\u062f\u0644 \u0627\u06cc\u0646 \u0627\u0645\u06a9\u0627\u0646 \u0631\u0627 \u0645\u06cc\u200c\u062f\u0647\u0646\u062f \u062a\u0627 \u062e\u0648\u062f \u0631\u0627 \u0628\u0627 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u067e\u06cc\u0686\u06cc\u062f\u0647 \u0648 \u063a\u06cc\u0631\u062e\u0637\u06cc \u0648\u0641\u0642 \u062f\u0647\u062f. \u0627\u06cc\u0646 \u0645\u0648\u0636\u0648\u0639 \u0628\u0631\u0627\u06cc \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u067e\u06cc\u0686\u06cc\u062f\u0647\u200c\u0627\u06cc\u060c \u0645\u0627\u0646\u0646\u062f \u0639\u06a9\u0633\u060c \u0648\u06cc\u062f\u0626\u0648\u060c \u0635\u062f\u0627 \u0648 \u063a\u06cc\u0631\u0647\u060c \u0628\u0633\u06cc\u0627\u0631 \u0645\u0647\u0645 \u0627\u0633\u062a. \u062f\u0631 \u0627\u06a9\u062b\u0631 \u0645\u0648\u0627\u0642\u0639 \u062a\u0648\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 \u063a\u06cc\u0631\u062e\u0637\u06cc \u062f\u0631 \u0634\u0628\u06a9\u0647\u200c\u0647\u0627\u06cc \u0639\u0635\u0628\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u0634\u0648\u0646\u062f. \u062a\u0648\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 \u063a\u06cc\u0631\u062e\u0637\u06cc \u0627\u0646\u0648\u0627\u0639 \u0645\u062e\u062a\u0644\u0641\u06cc \u062f\u0627\u0631\u0646\u062f \u06a9\u0647 \u062f\u0631 \u0627\u062f\u0627\u0645\u0647 \u067e\u0631\u0637\u0631\u0641\u062f\u0627\u0631\u062a\u0631\u06cc\u0646 \u0622\u0646\u200c\u0647\u0627 \u0631\u0627 \u0634\u0631\u062d \u0645\u06cc\u200c\u062f\u0647\u06cc\u0645.<\/p>\n\n\n\n \u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u06cc\u06a9 \u0645\u0646\u062d\u0646\u06cc S \u0634\u06a9\u0644 \u0627\u0633\u062a. \u0632\u0645\u0627\u0646\u06cc\u200c\u06a9\u0647 \u0645\u06cc\u200c\u062e\u0648\u0627\u0647\u06cc\u0645 \u062e\u0631\u0648\u062c\u06cc \u0645\u062f\u0644 \u0627\u062d\u062a\u0645\u0627\u0644 \u0628\u0627\u0634\u062f\u060c \u0627\u0632 \u062a\u0627\u0628\u0639 \u0633\u06cc\u06af\u0645\u0648\u06cc\u062f \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u06a9\u0646\u06cc\u0645\u061b \u0686\u0648\u0646 \u062a\u0627\u0628\u0639 \u0633\u06cc\u06af\u0645\u0648\u06cc\u062f \u0645\u0642\u0627\u062f\u06cc\u0631 \u0631\u0627 \u0628\u0647 \u0628\u0627\u0632\u0647 \u0635\u0641\u0631 \u062a\u0627 \u06f1 \u0645\u06cc\u200c\u0628\u0631\u062f \u0648 \u0627\u062d\u062a\u0645\u0627\u0644\u0627\u062a \u0647\u0645 \u0645\u06cc\u0627\u0646 \u0647\u0645\u06cc\u0646 \u0628\u0627\u0632\u0647 \u0642\u0631\u0627\u0631 \u062f\u0627\u0631\u0646\u062f.<\/p>\n\n\n\n \u0645\u0639\u0627\u062f\u0644\u0647: (f(x) = s= 1\/(1+e\u207b\u02e3<\/p>\n\n\n\n \u0628\u0627\u0632\u0647: (0,1)<\/p>\n\n\n\n \u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u0647\u0645 \u0645\u0627\u0646\u0646\u062f \u062a\u0627\u0628\u0639 \u0633\u06cc\u06af\u0645\u0648\u06cc\u062f \u0628\u0647\u200c\u0634\u06a9\u0644 S \u0627\u0633\u062a\u060c \u0627\u0645\u0627 \u062f\u0631 \u0645\u0642\u0627\u06cc\u0633\u0647 \u0628\u0627 \u062a\u0627\u0628\u0639 \u0633\u06cc\u06af\u0645\u0648\u06cc\u062f\u060c \u0646\u06a9\u0627\u062a \u0645\u062b\u0628\u062a \u0628\u06cc\u0634\u062a\u0631\u06cc \u062f\u0627\u0631\u062f.<\/p>\n\n\n\n \u0645\u0639\u0627\u062f\u0644\u0647: (f(x) = a =tanh(x) =(e\u02e3 – e\u207b\u02e3)\/(e\u02e3 +e\u207b\u02e3 <\/p>\n\n\n\n \u0628\u0627\u0632\u0647: (1, 1-)<\/p>\n\n\n\n \u062a\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 \u0648\u0627\u062d\u062f \u06cc\u06a9\u200c\u0633\u0648\u0634\u062f\u0647\u200c\u06cc \u062e\u0637\u06cc \u062f\u0631 \u0632\u0645\u06cc\u0646\u0647\u200c\u06cc \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0639\u0645\u06cc\u0642 \u0628\u0633\u06cc\u0627\u0631 \u0645\u0634\u0647\u0648\u0631 \u0627\u0633\u062a \u0648 \u062f\u0631 \u0628\u06cc\u0634\u062a\u0631 \u0645\u0648\u0627\u0642\u0639 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u0634\u0648\u062f. \u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u0628\u0647\u200c\u0627\u06cc\u0646 \u0635\u0648\u0631\u062a \u0639\u0645\u0644 \u0645\u06cc\u200c\u06a9\u0646\u062f \u06a9\u0647 \u0645\u0642\u0627\u062f\u06cc\u0631 \u0645\u0646\u0641\u06cc (\u0632\u06cc\u0631 \u0635\u0641\u0631) \u0631\u0627 \u0635\u0641\u0631 \u0648 \u0645\u0642\u0627\u062f\u06cc\u0631 \u0645\u062b\u0628\u062a (\u0628\u06cc\u0634\u062a\u0631 \u0627\u0632 \u0635\u0641\u0631) \u0648 \u0645\u0642\u0627\u062f\u06cc\u0631 \u0628\u0631\u0627\u0628\u0631 \u0628\u0627 \u0635\u0641\u0631 \u0631\u0627 \u0647\u0645\u0627\u0646 \u0645\u0642\u062f\u0627\u0631 \u062e\u0648\u062f\u0634 \u062f\u0631 \u0646\u0638\u0631 \u0645\u06cc\u200c\u06af\u06cc\u0631\u062f.<\/p>\n\n\n\n \u0645\u0639\u0627\u062f\u0644\u0647: (f(x) = a =max(0,x <\/p>\n\n\n\n \u0628\u0627\u0632\u0647: (\u221e+,0)<\/p>\n\n\n \u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 \u0628\u0631\u0627\u06cc \u062d\u0644 \u0645\u0634\u06a9\u0644 \u0627\u0635\u0644\u06cc \u062a\u0627\u0628\u0639 ReLU \u0627\u0631\u0627\u0626\u0647 \u0634\u062f\u0647 \u0627\u0633\u062a. \u062f\u0631 \u0634\u06a9\u0644 \u0628\u0639\u062f\u06cc \u0646\u0645\u0627\u06cc\u06cc \u0627\u0632 \u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u0631\u0627 \u0645\u0634\u0627\u0647\u062f\u0647 \u0645\u06cc\u200c\u06a9\u0646\u06cc\u0645:<\/p>\n\n\n\n \u0645\u0639\u0627\u062f\u0644\u0647: (f(x)= a = max(0.01x, x <\/p>\n\n\n\n \u0628\u0627\u0632\u0647: (\u221e+, 0.01)<\/p>\n\n\n\n \u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 \u0627\u0632 \u062c\u0645\u0644\u0647 \u062a\u0648\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 (Activation Functions) \u0627\u0633\u062a \u06a9\u0647 \u062f\u0631 \u0637\u0628\u0642\u0647\u200c\u0628\u0646\u062f\u06cc\u200c\u0647\u0627\u06cc \u0686\u0646\u062f\u06a9\u0644\u0627\u0633\u0647 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u0634\u0648\u062f. \u0632\u0645\u0627\u0646\u06cc\u200c\u06a9\u0647 \u0627\u062d\u062a\u06cc\u0627\u062c \u062f\u0627\u0634\u062a\u0647 \u0628\u0627\u0634\u06cc\u0645 \u062f\u0631 \u062e\u0631\u0648\u062c\u06cc \u0627\u062d\u062a\u0645\u0627\u0644 \u0639\u0636\u0648\u06cc\u062a \u0628\u06cc\u0634\u062a\u0631 \u062f\u0648 \u06a9\u0644\u0627\u0633 \u0631\u0627 \u067e\u06cc\u0634\u200c\u0628\u06cc\u0646\u06cc \u06a9\u0646\u06cc\u0645\u060c \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u06cc\u0645 \u0628\u0647\u200c\u0633\u0631\u0627\u063a \u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u0628\u0631\u0648\u06cc\u0645. \u062a\u0627\u0628\u0639 \u0633\u0627\u0641\u062a\u200c\u0645\u06a9\u0633 \u062a\u0645\u0627\u0645\u06cc \u0645\u0642\u0627\u062f\u06cc\u0631 \u06cc\u06a9 \u0628\u0631\u062f\u0627\u0631 \u0628\u0627 \u0637\u0648\u0644 K \u0631\u0627 \u0628\u0647 \u0628\u0627\u0632\u0647\u200c\u06cc \u0635\u0641\u0631 \u062a\u0627 \u06f1 \u0645\u06cc\u200c\u0628\u0631\u062f\u060c \u0628\u0647\u200c\u0637\u0648\u0631\u06cc \u06a9\u0647 \u062c\u0645\u0639 \u062a\u0645\u0627\u0645\u06cc \u0645\u0642\u0627\u062f\u06cc\u0631 \u0627\u06cc\u0646 \u0628\u0631\u062f\u0627\u0631 \u0628\u0627 \u0647\u0645 \u06f1 \u0645\u06cc\u200c\u0634\u0648\u062f. \u0627\u06cc\u0646 \u062a\u0627\u0628\u0639 \u0628\u0631\u0627\u06cc \u0646\u0648\u0631\u0648\u0646\u200c\u0647\u0627\u06cc \u0644\u0627\u06cc\u0647\u200c\u06cc \u062e\u0631\u0648\u062c\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u0634\u0648\u062f\u061b \u0632\u06cc\u0631\u0627 \u062f\u0631 \u0634\u0628\u06a9\u0647\u200c\u0647\u0627\u06cc \u0639\u0635\u0628\u06cc \u062f\u0631 \u0622\u062e\u0631\u06cc\u0646 \u0644\u0627\u06cc\u0647 (\u062e\u0631\u0648\u062c\u06cc) \u0628\u0647 \u0637\u0628\u0642\u0647\u200c\u0628\u0646\u062f\u06cc \u0648\u0631\u0648\u062f\u06cc\u200c\u0647\u0627 \u062f\u0631 \u06a9\u0644\u0627\u0633\u200c\u0647\u0627\u06cc \u0645\u062e\u062a\u0644\u0641 \u0646\u06cc\u0627\u0632 \u062f\u0627\u0631\u06cc\u0645.<\/p>\n\n\n\n\u0627\u0646\u0648\u0627\u0639 \u062a\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 \u0686\u06cc\u0633\u062a\u061f<\/strong><\/h2>\n\n\n\n
\n
\u062a\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 \u062e\u0637\u06cc<\/strong><\/h3>\n\n\n\n
<\/figure><\/div>\n\n\n<\/a><\/div><\/div>\n\n\n\n\u062a\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 \u063a\u06cc\u0631\u062e\u0637\u06cc<\/h3>\n\n\n\n
1. \u062a\u0627\u0628\u0639 \u0633\u06cc\u06af\u0645\u0648\u06cc\u062f (Sigmoid<\/strong>)<\/strong><\/h4>\n\n\n\n
\u0645\u0632\u0627\u06cc\u0627<\/strong><\/h5>\n\n\n\n
\n
\u0645\u0639\u0627\u06cc\u0628<\/strong><\/h5>\n\n\n\n
\n
<\/figure><\/div>\n\n\n\u06f2. \u062a\u0627\u0628\u0639 \u062a\u0627\u0646\u0698\u0627\u0646\u062a \u0647\u0627\u06cc\u067e\u0631\u0628\u0648\u0644\u06cc\u06a9 (Tanh, Hyperbolic Tangent)<\/h4>\n\n\n\n
\u0645\u0632\u0627\u06cc\u0627<\/strong><\/h5>\n\n\n\n
\n
\u0645\u0639\u0627\u06cc\u0628<\/strong><\/h5>\n\n\n\n
\n
<\/figure><\/div>\n\n\n\u06f3. \u062a\u0627\u0628\u0639 \u0648\u0627\u062d\u062f \u06cc\u06a9\u200c<\/strong>\u0633\u0648\u0634\u062f\u0647\u200c\u06cc \u062e\u0637\u06cc (ReLU \/ Rectified Linear Unit)<\/h4>\n\n\n\n
\u0645\u0632\u0627\u06cc\u0627:<\/strong><\/h5>\n\n\n\n
\n
\u0645\u0639\u0627\u06cc\u0628:<\/strong><\/h5>\n\n\n\n
\n
<\/figure><\/div>\n\n\n<\/a><\/div><\/div>\n\n\n\n\u06f4. \u062a\u0627\u0628\u0639 \u0641\u0639\u0627\u0644\u0633\u0627\u0632 Leaky ReLU<\/h4>\n\n\n\n
\u0645\u0632\u0627\u06cc\u0627<\/h5>\n\n\n\n
\n
\u0645\u0639\u0627\u06cc\u0628<\/strong><\/h5>\n\n\n\n
\n
<\/figure><\/div>\n\n\n\u06f5. \u062a\u0627\u0628\u0639 \u0633\u0627\u0641\u062a\u200c\u0645\u06a9\u0633 (Softmax)<\/h4>\n\n\n\n
\u0645\u0632\u0627\u06cc\u0627<\/strong><\/h5>\n\n\n\n
\n
\u0645\u0639\u0627\u06cc\u0628<\/strong><\/h5>\n\n\n\n
![\"\u062a\u0627\u0628\u0639](\"http:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2021\/09\/\u062a\u0627\u0628\u0639-\u0633\u0627\u0641\u062a\u200c\u0645\u06a9\u0633.jpg\")
<\/figure><\/div>\n\n\n