{"id":18302,"date":"2024-07-20T18:16:24","date_gmt":"2024-07-20T13:46:24","guid":{"rendered":"https:\/\/cafetadris.com\/blog\/?p=18302"},"modified":"2024-08-02T11:50:09","modified_gmt":"2024-08-02T07:20:09","slug":"%d8%a2%d9%85%d9%88%d8%b2%d8%b4-%da%af%d8%a7%d9%85%d8%a8%d9%87%da%af%d8%a7%d9%85-%d9%be%db%8c%d8%a7%d8%af%d9%87%d8%b3%d8%a7%d8%b2%db%8c-%d9%85%d8%af%d9%84%d9%87","status":"publish","type":"post","link":"https:\/\/cafetadris.com\/blog\/%d8%a2%d9%85%d9%88%d8%b2%d8%b4-%da%af%d8%a7%d9%85%d8%a8%d9%87%da%af%d8%a7%d9%85-%d9%be%db%8c%d8%a7%d8%af%d9%87%d8%b3%d8%a7%d8%b2%db%8c-%d9%85%d8%af%d9%84%d9%87\/","title":{"rendered":"\u0622\u0645\u0648\u0632\u0634 \u06af\u0627\u0645\u200c\u0628\u0647\u200c\u06af\u0627\u0645 \u067e\u06cc\u0627\u062f\u0647\u200c\u0633\u0627\u0632\u06cc \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631 \u0628\u0627 PyTorch"},"content":{"rendered":"\n

\u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631\u0647\u0627 (Transformers<\/a>)\u060c \u0628\u0647 \u0639\u0646\u0648\u0627\u0646 \u06cc\u06a9\u06cc \u0627\u0632 \u067e\u06cc\u0634\u0631\u0641\u062a\u0647\u200c\u062a\u0631\u06cc\u0646 \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0639\u0645\u06cc\u0642\u060c \u0646\u0642\u0634 \u0645\u0647\u0645\u06cc \u062f\u0631 \u062a\u062d\u0648\u0644 \u067e\u0631\u062f\u0627\u0632\u0634 \u0632\u0628\u0627\u0646 \u0637\u0628\u06cc\u0639\u06cc \u0627\u06cc\u0641\u0627 \u06a9\u0631\u062f\u0647\u200c\u0627\u0646\u062f. \u0627\u06cc\u0646 \u0645\u062f\u0644\u200c\u0647\u0627 \u0628\u0627 \u0645\u06a9\u0627\u0646\u06cc\u0632\u0645 \u062a\u0648\u062c\u0647 \u062e\u0648\u062f \u0642\u0627\u0628\u0644\u06cc\u062a \u067e\u0631\u062f\u0627\u0632\u0634 \u0645\u0648\u0627\u0632\u06cc \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0648 \u0645\u062f\u06cc\u0631\u06cc\u062a \u0648\u0627\u0628\u0633\u062a\u06af\u06cc\u200c\u0647\u0627\u06cc \u0628\u0644\u0646\u062f\u0645\u062f\u062a \u0631\u0627 \u062f\u0627\u0631\u0646\u062f. PyTorch\u060c \u0628\u0647 \u0639\u0646\u0648\u0627\u0646 \u06cc\u06a9 \u06a9\u062a\u0627\u0628\u062e\u0627\u0646\u0647 \u0645\u062a\u0646\u200c\u0628\u0627\u0632 \u0648 \u0642\u062f\u0631\u062a\u0645\u0646\u062f\u060c \u0627\u0645\u06a9\u0627\u0646 \u067e\u06cc\u0627\u062f\u0647\u200c\u0633\u0627\u0632\u06cc \u0648 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631\u0647\u0627 \u0631\u0627 \u0628\u0647 \u0633\u0627\u062f\u06af\u06cc \u0641\u0631\u0627\u0647\u0645 \u06a9\u0631\u062f\u0647 \u0627\u0633\u062a. \u062f\u0631 \u0627\u06cc\u0646 \u0645\u0642\u0627\u0644\u0647\u060c \u0628\u0647 \u0628\u0631\u0631\u0633\u06cc \u0646\u062d\u0648\u0647 \u067e\u06cc\u0627\u062f\u0647\u200c\u0633\u0627\u0632\u06cc \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631 \u0628\u0627 PyTorch \u0648 \u06a9\u0627\u0631\u0628\u0631\u062f\u0647\u0627\u06cc \u0645\u062a\u0646\u0648\u0639 \u0622\u0646\u200c\u0647\u0627 \u062f\u0631 \u0632\u0645\u06cc\u0646\u0647\u200c\u0647\u0627\u06cc\u06cc \u0645\u0627\u0646\u0646\u062f \u062a\u0631\u062c\u0645\u0647 \u0645\u0627\u0634\u06cc\u0646\u06cc\u060c \u067e\u0631\u062f\u0627\u0632\u0634 \u0632\u0628\u0627\u0646 \u0637\u0628\u06cc\u0639\u06cc \u0648 \u062a\u0634\u062e\u06cc\u0635 \u06af\u0641\u062a\u0627\u0631 \u0645\u06cc\u200c\u067e\u0631\u062f\u0627\u0632\u06cc\u0645 \u062a\u0627 \u062e\u0648\u0627\u0646\u0646\u062f\u06af\u0627\u0646 \u0628\u0627 \u0642\u0627\u0628\u0644\u06cc\u062a\u200c\u0647\u0627 \u0648 \u062a\u0648\u0627\u0646\u0627\u06cc\u06cc\u200c\u0647\u0627\u06cc \u0627\u06cc\u0646 \u0645\u062f\u0644\u200c\u0647\u0627 \u0648 \u0627\u0628\u0632\u0627\u0631\u0647\u0627\u06cc \u0645\u0631\u062a\u0628\u0637 \u0622\u0634\u0646\u0627 \u0634\u0648\u0646\u062f.<\/p>\n\n\n\n

\u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631 \u0686\u06cc\u0633\u062a\u061f<\/h2>\n\n\n\n

\u0645\u062f\u0644 \u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631 \u0628\u0631\u0627\u06cc \u0627\u0648\u0644\u06cc\u0646 \u0628\u0627\u0631 \u062f\u0631 \u0633\u0627\u0644 \u06f2\u06f0\u06f1\u06f7 \u062a\u0648\u0633\u0637 \u062a\u06cc\u0645 \u062a\u062d\u0642\u06cc\u0642\u0627\u062a\u06cc \u06af\u0648\u06af\u0644 \u0645\u0639\u0631\u0641\u06cc \u0634\u062f. \u0645\u0642\u0627\u0644\u0647 \u0645\u0639\u0631\u0648\u0641 Attention is All You Need<\/mark><\/a>  \u0627\u06cc\u0646 \u0645\u062f\u0644 \u0631\u0627 \u0628\u0647 \u062c\u0647\u0627\u0646 \u0645\u0639\u0631\u0641\u06cc \u06a9\u0631\u062f \u0648 \u0646\u0634\u0627\u0646 \u062f\u0627\u062f \u06a9\u0647 \u0628\u0627 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u0645\u06a9\u0627\u0646\u06cc\u0632\u0645 \u062a\u0648\u062c\u0647 (Attention Mechanism)\u060c \u0645\u06cc\u200c\u062a\u0648\u0627\u0646 \u0628\u0647 \u062f\u0642\u062a\u200c\u0647\u0627\u06cc \u0628\u06cc\u200c\u0633\u0627\u0628\u0642\u0647\u200c\u0627\u06cc \u062f\u0631 \u067e\u0631\u062f\u0627\u0632\u0634 \u0632\u0628\u0627\u0646 \u0637\u0628\u06cc\u0639\u06cc \u062f\u0633\u062a \u06cc\u0627\u0641\u062a. \u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631\u0647\u0627 \u0627\u0632 \u0633\u0627\u062e\u062a\u0627\u0631 \u0645\u0646\u062d\u0635\u0631\u0628\u0647\u200c\u0641\u0631\u062f \u062e\u0648\u062f \u0628\u0631\u0627\u06cc \u067e\u0631\u062f\u0627\u0632\u0634 \u0645\u0648\u0627\u0632\u06cc \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0628\u0647\u0631\u0647 \u0645\u06cc\u200c\u0628\u0631\u0646\u062f \u0648 \u0628\u0631\u062e\u0644\u0627\u0641 \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u0633\u0646\u062a\u06cc \u0645\u0627\u0646\u0646\u062fRNN \u0647\u0627 \u06a9\u0647 \u0628\u0647 \u062a\u0631\u062a\u06cc\u0628 \u0632\u0645\u0627\u0646 \u067e\u0631\u062f\u0627\u0632\u0634 \u0645\u06cc\u200c\u0634\u0648\u0646\u062f\u060c \u0642\u0627\u062f\u0631\u0627\u0646\u062f \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0631\u0627 \u0628\u0647 \u0635\u0648\u0631\u062a \u0645\u0648\u0627\u0632\u06cc \u067e\u0631\u062f\u0627\u0632\u0634 \u06a9\u0646\u0646\u062f. \u0627\u06cc\u0646 \u0648\u06cc\u0698\u06af\u06cc \u0628\u0627\u0639\u062b \u0634\u062f\u0647 \u062a\u0627 \u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631\u0647\u0627 \u0628\u062a\u0648\u0627\u0646\u0646\u062f \u0648\u0627\u0628\u0633\u062a\u06af\u06cc\u200c\u0647\u0627\u06cc \u0628\u0644\u0646\u062f\u0645\u062f\u062a \u062f\u0631 \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0631\u0627 \u0628\u0647\u062a\u0631 \u0645\u062f\u06cc\u0631\u06cc\u062a \u06a9\u0646\u0646\u062f \u0648 \u06a9\u0627\u0631\u0627\u06cc\u06cc \u0628\u0627\u0644\u0627\u062a\u0631\u06cc \u062f\u0631 \u0648\u0638\u0627\u06cc\u0641 \u0645\u062e\u062a\u0644\u0641 \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0639\u0645\u06cc\u0642 \u062f\u0627\u0634\u062a\u0647 \u0628\u0627\u0634\u0646\u062f.<\/p>\n\n\n\n

\u067e\u06cc\u0634\u0646\u0647\u0627\u062f \u0645\u06cc\u200c\u06a9\u0646\u06cc\u0645 \u0627\u06cc\u0646 \u0648\u06cc\u062f\u0626\u0648\u06cc \u06cc\u0648\u062a\u06cc\u0648\u0628<\/mark><\/a> \u0631\u0627 \u06a9\u0647 \u0631\u0636\u0627 \u0634\u06a9\u0631\u0632\u0627\u062f \u062f\u0631 \u0622\u0646 \u0628\u0647\u200c\u0637\u0648\u0631 \u06a9\u0627\u0645\u0644 \u0645\u0642\u0627\u0644\u0647 \u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631\u0647\u0627 \u0631\u0627 \u0628\u0631\u0631\u0633\u06cc \u06a9\u0631\u062f\u0647 \u0646\u06cc\u0632 \u062a\u0645\u0627\u0634\u0627 \u06a9\u0646\u06cc\u062f.<\/p>\n\n\n\n

\u06cc\u06a9\u06cc \u0627\u0632 \u0645\u0647\u0645\u200c\u062a\u0631\u06cc\u0646 \u0627\u062c\u0632\u0627\u06cc \u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631\u0647\u0627\u060c \u0645\u06a9\u0627\u0646\u06cc\u0632\u0645 \u062a\u0648\u062c\u0647 \u06cc\u0627 \u0628\u0647\u200c\u0637\u0648\u0631 \u062e\u0627\u0635\u060c \u0645\u06a9\u0627\u0646\u06cc\u0632\u0645 \u062e\u0648\u062f-\u062a\u0648\u062c\u0647 (Self-Attention) \u0627\u0633\u062a \u06a9\u0647 \u0628\u0647 \u0645\u062f\u0644 \u0627\u062c\u0627\u0632\u0647 \u0645\u06cc\u200c\u062f\u0647\u062f \u062a\u0627 \u0628\u0647 \u062a\u0645\u0627\u0645 \u0628\u062e\u0634\u200c\u0647\u0627\u06cc \u0648\u0631\u0648\u062f\u06cc \u0646\u06af\u0627\u0647 \u06a9\u0631\u062f\u0647 \u0648 \u0627\u0647\u0645\u06cc\u062a \u0647\u0631 \u0628\u062e\u0634 \u0631\u0627 \u0628\u0631\u0627\u06cc \u062a\u0648\u0644\u06cc\u062f \u062e\u0631\u0648\u062c\u06cc \u0645\u062d\u0627\u0633\u0628\u0647 \u06a9\u0646\u062f. \u0627\u06cc\u0646 \u0645\u06a9\u0627\u0646\u06cc\u0632\u0645 \u06cc\u06a9 \u0637\u0631\u062d \u0648\u0632\u0646\u200c\u062f\u0647\u06cc \u0627\u0633\u062a \u06a9\u0647 \u0628\u0647 \u0645\u062f\u0644 \u0627\u062c\u0627\u0632\u0647 \u0645\u06cc\u200c\u062f\u0647\u062f \u0647\u0646\u06af\u0627\u0645 \u062a\u0648\u0644\u06cc\u062f \u062e\u0631\u0648\u062c\u06cc \u0628\u0647 \u0628\u062e\u0634\u200c\u0647\u0627\u06cc \u0645\u062e\u062a\u0644\u0641 \u0648\u0631\u0648\u062f\u06cc \u062a\u0648\u062c\u0647 \u06a9\u0646\u062f. \u062f\u0631\u0648\u0627\u0642\u0639\u060c \u0645\u06a9\u0627\u0646\u06cc\u0632\u0645 \u062e\u0648\u062f-\u062a\u0648\u062c\u0647 \u0628\u0647 \u0645\u062f\u0644 \u0627\u062c\u0627\u0632\u0647 \u0645\u06cc\u200c\u062f\u0647\u062f \u06a9\u0647 \u06a9\u0644\u0645\u0627\u062a \u06cc\u0627 \u0648\u06cc\u0698\u06af\u06cc\u200c\u0647\u0627\u06cc \u0645\u062e\u062a\u0644\u0641 \u062f\u0631 \u062a\u0648\u0627\u0644\u06cc \u0648\u0631\u0648\u062f\u06cc \u0631\u0627 \u062f\u0631 \u0646\u0638\u0631 \u0628\u06af\u06cc\u0631\u062f \u0648 \u0628\u0647 \u0647\u0631 \u06cc\u06a9 \u0648\u0632\u0646\u06cc \u0627\u062e\u062a\u0635\u0627\u0635 \u062f\u0647\u062f \u06a9\u0647 \u0646\u0634\u0627\u0646\u200c\u062f\u0647\u0646\u062f\u0647 \u0627\u0647\u0645\u06cc\u062a \u0622\u0646 \u0628\u0631\u0627\u06cc \u062a\u0648\u0644\u06cc\u062f \u06cc\u06a9 \u062e\u0631\u0648\u062c\u06cc \u0645\u0634\u062e\u0635 \u0627\u0633\u062a.<\/p>\n\n\n\n

\u0628\u0631\u0627\u06cc \u0645\u062b\u0627\u0644\u060c \u062f\u0631 \u062a\u0631\u062c\u0645\u0647 \u06cc\u06a9 \u062c\u0645\u0644\u0647\u060c \u0647\u0646\u06af\u0627\u0645 \u062a\u0631\u062c\u0645\u0647 \u06cc\u06a9 \u06a9\u0644\u0645\u0647 \u062e\u0627\u0635\u060c \u0645\u062f\u0644 \u0645\u0645\u06a9\u0646 \u0627\u0633\u062a \u0648\u0632\u0646\u200c\u0647\u0627\u06cc \u062a\u0648\u062c\u0647 \u0628\u06cc\u0634\u062a\u0631\u06cc \u0628\u0647 \u06a9\u0644\u0645\u0627\u062a\u06cc \u06a9\u0647 \u0628\u0647 \u0635\u0648\u0631\u062a \u062f\u0633\u062a\u0648\u0631\u06cc \u06cc\u0627 \u0645\u0639\u0646\u0627\u06cc\u06cc \u0628\u0627 \u06a9\u0644\u0645\u0647 \u0647\u062f\u0641 \u0645\u0631\u062a\u0628\u0637 \u0647\u0633\u062a\u0646\u062f\u060c \u0627\u062e\u062a\u0635\u0627\u0635 \u062f\u0647\u062f. \u0627\u06cc\u0646 \u0641\u0631\u0622\u06cc\u0646\u062f \u0628\u0647 \u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631 \u0627\u06cc\u0646 \u0627\u0645\u06a9\u0627\u0646 \u0631\u0627 \u0645\u06cc\u200c\u062f\u0647\u062f \u06a9\u0647 \u0648\u0627\u0628\u0633\u062a\u06af\u06cc\u200c\u0647\u0627 \u0628\u06cc\u0646 \u06a9\u0644\u0645\u0627\u062a \u06cc\u0627 \u0648\u06cc\u0698\u06af\u06cc\u200c\u0647\u0627 \u0631\u0627 \u0628\u062f\u0648\u0646 \u062a\u0648\u062c\u0647 \u0628\u0647 \u0641\u0627\u0635\u0644\u0647 \u0622\u0646\u200c\u0647\u0627 \u0627\u0632 \u06cc\u06a9\u062f\u06cc\u06af\u0631 \u062f\u0631 \u062a\u0648\u0627\u0644\u06cc \u0628\u0647 \u062f\u0633\u062a \u0622\u0648\u0631\u062f.<\/p>\n\n\n\n

\u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631\u0647\u0627 \u0627\u0632 \u0686\u0647 \u0628\u062e\u0634\u200c\u0647\u0627\u06cc\u06cc \u062a\u0634\u06a9\u06cc\u0644 \u0634\u062f\u0647\u200c\u0627\u0646\u062f\u061f<\/h3>\n\n\n\n

\u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631\u0647\u0627 \u0627\u0632 \u062f\u0648 \u0628\u062e\u0634 \u0627\u0635\u0644\u06cc \u0628\u0647 \u0646\u0627\u0645\u200c\u0647\u0627\u06cc \u0627\u0646\u06a9\u0648\u062f\u0631 (Encoder) \u0648 \u062f\u06a9\u0648\u062f\u0631 (Decoder) \u062a\u0634\u06a9\u06cc\u0644 \u0634\u062f\u0647\u200c\u0627\u0646\u062f. \u0627\u0646\u06a9\u0648\u062f\u0631 \u0648\u0638\u06cc\u0641\u0647 \u062f\u0627\u0631\u062f \u0648\u0631\u0648\u062f\u06cc\u200c\u0647\u0627 \u0631\u0627 \u0628\u0647 \u06cc\u06a9 \u0646\u0645\u0627\u06cc\u0634 \u062f\u0627\u062e\u0644\u06cc \u062a\u0628\u062f\u06cc\u0644 \u06a9\u0646\u062f\u060c \u062f\u0631 \u062d\u0627\u0644\u06cc \u06a9\u0647 \u062f\u06a9\u0648\u062f\u0631 \u0627\u0632 \u0627\u06cc\u0646 \u0646\u0645\u0627\u06cc\u0634 \u062f\u0627\u062e\u0644\u06cc \u0628\u0631\u0627\u06cc \u062a\u0648\u0644\u06cc\u062f \u062e\u0631\u0648\u062c\u06cc\u200c\u0647\u0627 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u06a9\u0646\u062f. \u0647\u0631 \u062f\u0648 \u0628\u062e\u0634 \u0627\u0632 \u0645\u06a9\u0627\u0646\u06cc\u0632\u0645 \u062a\u0648\u062c\u0647 \u0628\u0647\u0631\u0647 \u0645\u06cc\u200c\u0628\u0631\u0646\u062f \u06a9\u0647 \u0628\u0647 \u0645\u062f\u0644 \u0627\u062c\u0627\u0632\u0647 \u0645\u06cc\u200c\u062f\u0647\u062f \u062a\u0645\u0631\u06a9\u0632 \u062e\u0648\u062f \u0631\u0627 \u0628\u0631 \u0631\u0648\u06cc \u0628\u062e\u0634\u200c\u0647\u0627\u06cc \u0645\u0647\u0645\u200c\u062a\u0631 \u0648\u0631\u0648\u062f\u06cc \u06cc\u0627 \u062e\u0631\u0648\u062c\u06cc \u062a\u0646\u0638\u06cc\u0645 \u06a9\u0646\u062f.<\/p>\n\n\n

\n
\"\"<\/figure><\/div>\n\n\n

\u0628\u0631\u0627\u06cc \u0622\u0634\u0646\u0627\u06cc\u06cc \u0628\u06cc\u0634\u062a\u0631 \u0628\u0627 \u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631\u0647\u0627 \u0645\u0642\u0627\u0644\u0647 \u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631 \u0686\u06cc\u0633\u062a\u061f<\/a> <\/mark>\u0631\u0627 \u0628\u062e\u0648\u0627\u0646\u06cc\u062f.<\/p>\n\n\n\n

\u067e\u0633 \u0627\u0632 \u0645\u0639\u0631\u0641\u06cc\u060c \u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631\u0647\u0627 \u0628\u0647\u200c\u0633\u0631\u0639\u062a \u062c\u0627\u06cc\u06af\u0632\u06cc\u0646 \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u0642\u062f\u06cc\u0645\u06cc\u200c\u062a\u0631 \u0645\u0627\u0646\u0646\u062f RNN \u0634\u062f\u0647 \u0648 \u0628\u0647 \u0627\u0633\u062a\u0627\u0646\u062f\u0627\u0631\u062f \u062c\u062f\u06cc\u062f\u06cc \u062f\u0631 \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0639\u0645\u06cc\u0642 \u0648 \u067e\u0631\u062f\u0627\u0632\u0634 \u0632\u0628\u0627\u0646 \u0637\u0628\u06cc\u0639\u06cc \u062a\u0628\u062f\u06cc\u0644 \u0634\u062f\u0646\u062f. \u0627\u06cc\u0646 \u0645\u062f\u0644\u200c\u0647\u0627 \u062f\u0631 \u0628\u0633\u06cc\u0627\u0631\u06cc \u0627\u0632 \u0648\u0638\u0627\u06cc\u0641 \u0645\u0627\u0646\u0646\u062f \u062a\u0631\u062c\u0645\u0647 \u0645\u0627\u0634\u06cc\u0646\u06cc\u060c \u062a\u0648\u0644\u06cc\u062f \u0645\u062a\u0646\u060c \u062e\u0644\u0627\u0635\u0647\u200c\u0633\u0627\u0632\u06cc \u0648 \u067e\u0627\u0633\u062e \u0628\u0647 \u0633\u0648\u0627\u0644\u0627\u062a \u0628\u0647 \u06a9\u0627\u0631 \u06af\u0631\u0641\u062a\u0647 \u0634\u062f\u0647 \u0648 \u0646\u062a\u0627\u06cc\u062c \u0628\u0633\u06cc\u0627\u0631 \u0628\u0647\u062a\u0631\u06cc \u0646\u0633\u0628\u062a \u0628\u0647 \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u067e\u06cc\u0634\u06cc\u0646 \u0628\u0647 \u062f\u0633\u062a \u0622\u0648\u0631\u062f\u200c\u0647\u200c\u0627\u0646\u062f. \u0627\u0632 \u0632\u0645\u0627\u0646 \u0645\u0639\u0631\u0641\u06cc\u200c\u0634\u0627\u0646 \u062a\u0627\u06a9\u0646\u0648\u0646\u060c \u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631\u0647\u0627 \u0628\u0647\u0628\u0648\u062f\u0647\u0627\u06cc \u0628\u0633\u06cc\u0627\u0631\u06cc \u062f\u0627\u0634\u062a\u0647 \u0648 \u0646\u0633\u062e\u0647\u200c\u0647\u0627\u06cc \u067e\u06cc\u0634\u0631\u0641\u062a\u0647\u200c\u062a\u0631\u06cc \u0627\u0632 \u0622\u0646\u200c\u0647\u0627 \u0645\u0627\u0646\u0646\u062f BERT \u0648 GPT \u0646\u06cc\u0632 \u0645\u0639\u0631\u0641\u06cc \u0634\u062f\u0647\u200c\u0627\u0646\u062f \u06a9\u0647 \u0647\u0631 \u06a9\u062f\u0627\u0645 \u0642\u0627\u0628\u0644\u06cc\u062a\u200c\u0647\u0627 \u0648 \u06a9\u0627\u0631\u0628\u0631\u062f\u0647\u0627\u06cc \u062c\u062f\u06cc\u062f\u06cc \u0631\u0627 \u0628\u0647 \u0627\u0631\u0645\u063a\u0627\u0646 \u0622\u0648\u0631\u062f\u0647\u200c\u0627\u0646\u062f.<\/p>\n\n\n\n

 PyTorch \u0648 \u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631\u0647\u0627<\/h2>\n\n\n\n

PyTorch \u06cc\u06a9 \u06a9\u062a\u0627\u0628\u062e\u0627\u0646\u0647 \u0645\u062a\u0646\u200c\u0628\u0627\u0632 \u0628\u0631\u0627\u06cc \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0639\u0645\u06cc\u0642 \u0627\u0633\u062a \u06a9\u0647 \u062a\u0648\u0633\u0637 \u0641\u06cc\u0633\u0628\u0648\u06a9 \u062a\u0648\u0633\u0639\u0647 \u062f\u0627\u062f\u0647 \u0634\u062f\u0647 \u0627\u0633\u062a. \u0627\u06cc\u0646 \u06a9\u062a\u0627\u0628\u062e\u0627\u0646\u0647 \u0628\u0647 \u062f\u0644\u06cc\u0644 \u0633\u0627\u062f\u06af\u06cc \u062f\u0631 \u0627\u0633\u062a\u0641\u0627\u062f\u0647\u060c \u0627\u0646\u0639\u0637\u0627\u0641\u200c\u067e\u0630\u06cc\u0631\u06cc \u0628\u0627\u0644\u0627 \u0648 \u067e\u0634\u062a\u06cc\u0628\u0627\u0646\u06cc \u0642\u0648\u06cc \u0627\u0632 GPU \u0647\u0627\u060c \u0628\u0647 \u06cc\u06a9\u06cc \u0627\u0632 \u0645\u062d\u0628\u0648\u0628\u200c\u062a\u0631\u06cc\u0646 \u0627\u0628\u0632\u0627\u0631\u0647\u0627 \u062f\u0631 \u0645\u06cc\u0627\u0646 \u067e\u0698\u0648\u0647\u0634\u06af\u0631\u0627\u0646 \u0648 \u062a\u0648\u0633\u0639\u0647\u200c\u062f\u0647\u0646\u062f\u06af\u0627\u0646 \u062a\u0628\u062f\u06cc\u0644 \u0634\u062f\u0647 \u0627\u0633\u062a. \u067e\u0627\u06cc\u062a\u0648\u0631\u0686 \u0627\u0645\u06a9\u0627\u0646 \u062a\u0639\u0631\u06cc\u0641\u060c \u0622\u0645\u0648\u0632\u0634 \u0648 \u0627\u0631\u0632\u06cc\u0627\u0628\u06cc \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u067e\u06cc\u0686\u06cc\u062f\u0647 \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0639\u0645\u06cc\u0642 \u0627\u0632 \u062c\u0645\u0644\u0647 \u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631\u0647\u0627 \u0631\u0627 \u0628\u0627 \u06a9\u0645\u062a\u0631\u06cc\u0646 \u062f\u0631\u062f\u0633\u0631 \u0641\u0631\u0627\u0647\u0645 \u0645\u06cc\u200c\u06a9\u0646\u062f.<\/p>\n\n\n\n

\u0628\u0631\u0627\u06cc \u0622\u0634\u0646\u0627\u06cc\u06cc \u0628\u06cc\u0634\u062a\u0631 \u0628\u0627 \u067e\u0627\u06cc\u062a\u0648\u0631\u0686 \u0645\u0642\u0627\u0644\u0647 \u0622\u0634\u0646\u0627\u06cc\u06cc \u06a9\u0627\u0645\u0644 \u0628\u0627 \u06a9\u062a\u0627\u0628\u062e\u0627\u0646\u0647 PyTorch<\/mark><\/a> \u0631\u0627 \u0628\u062e\u0648\u0627\u0646\u06cc\u062f.<\/p>\n\n\n\n

\u06a9\u0627\u0631\u0628\u0631\u062f\u0647\u0627\u06cc \u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631 \u0628\u0627 PyTorch<\/h3>\n\n\n\n

\u0647\u0645\u0627\u0646\u200c\u0637\u0648\u0631 \u06a9\u0647 \u0627\u0634\u0627\u0631\u0647 \u06a9\u0631\u062f\u06cc\u0645\u060c \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631 \u062f\u0631 \u062d\u0648\u0632\u0647\u200c\u0647\u0627\u06cc \u0645\u062e\u062a\u0644\u0641\u06cc \u0627\u0632 \u067e\u0631\u062f\u0627\u0632\u0634 \u0632\u0628\u0627\u0646 \u0637\u0628\u06cc\u0639\u06cc \u0648 \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0639\u0645\u06cc\u0642 \u0628\u0647 \u06a9\u0627\u0631 \u06af\u0631\u0641\u062a\u0647 \u0645\u06cc\u200c\u0634\u0648\u0646\u062f. \u067e\u0627\u06cc\u062a\u0648\u0631\u0686 \u0628\u0647 \u0639\u0646\u0648\u0627\u0646 \u06cc\u06a9\u06cc \u0627\u0632 \u0627\u0628\u0632\u0627\u0631\u0647\u0627\u06cc \u0642\u062f\u0631\u062a\u0645\u0646\u062f \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0639\u0645\u06cc\u0642\u060c \u0627\u0645\u06a9\u0627\u0646 \u067e\u06cc\u0627\u062f\u0647\u200c\u0633\u0627\u0632\u06cc \u0648 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631\u0647\u0627 \u0631\u0627 \u0628\u0647 \u0631\u0627\u062d\u062a\u06cc \u0641\u0631\u0627\u0647\u0645 \u06a9\u0631\u062f\u0647 \u0627\u0633\u062a. \u062f\u0631 \u0627\u06cc\u0646 \u0628\u062e\u0634 \u0628\u0647 \u0628\u0631\u062e\u06cc \u0627\u0632 \u06a9\u0627\u0631\u0628\u0631\u062f\u0647\u0627\u06cc \u0627\u0635\u0644\u06cc \u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631\u0647\u0627 \u0628\u0627 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u067e\u0627\u06cc\u062a\u0648\u0631\u0686 \u0645\u06cc\u200c\u067e\u0631\u062f\u0627\u0632\u06cc\u0645.<\/p>\n\n\n\n

\u062a\u0631\u062c\u0645\u0647 \u0645\u0627\u0634\u06cc\u0646\u06cc<\/h4>\n\n\n\n

\u06cc\u06a9\u06cc \u0627\u0632 \u0628\u0631\u062c\u0633\u062a\u0647\u200c\u062a\u0631\u06cc\u0646 \u06a9\u0627\u0631\u0628\u0631\u062f\u0647\u0627\u06cc \u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631\u060c \u062a\u0631\u062c\u0645\u0647 \u0645\u0627\u0634\u06cc\u0646\u06cc \u0627\u0633\u062a. \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631 \u0628\u0647 \u062f\u0644\u06cc\u0644 \u062a\u0648\u0627\u0646\u0627\u06cc\u06cc \u0628\u0627\u0644\u0627 \u062f\u0631 \u062f\u0631\u06a9 \u0648\u0627\u0628\u0633\u062a\u06af\u06cc\u200c\u0647\u0627\u06cc \u0628\u0644\u0646\u062f\u0645\u062f\u062a \u0648 \u0633\u0627\u062e\u062a\u0627\u0631 \u062c\u0645\u0644\u0627\u062a\u060c \u062f\u0631 \u062a\u0631\u062c\u0645\u0647 \u0645\u062a\u0648\u0646 \u0627\u0632 \u06cc\u06a9 \u0632\u0628\u0627\u0646 \u0628\u0647 \u0632\u0628\u0627\u0646 \u062f\u06cc\u06af\u0631 \u0628\u0633\u06cc\u0627\u0631 \u0645\u0624\u062b\u0631 \u0647\u0633\u062a\u0646\u062f. \u0628\u0627 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u067e\u0627\u06cc\u062a\u0648\u0631\u0686\u060c \u0645\u06cc\u200c\u062a\u0648\u0627\u0646 \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u062a\u0631\u062c\u0645\u0647 \u0645\u0627\u0634\u06cc\u0646\u06cc \u0642\u062f\u0631\u062a\u0645\u0646\u062f\u06cc \u0633\u0627\u062e\u062a \u06a9\u0647 \u062f\u0642\u062a \u0648 \u0633\u0631\u0639\u062a \u0628\u0627\u0644\u0627\u06cc\u06cc \u062f\u0627\u0631\u0646\u062f. \u0627\u06cc\u0646 \u0645\u062f\u0644\u200c\u0647\u0627 \u0642\u0627\u062f\u0631\u0646\u062f \u062a\u0631\u062c\u0645\u0647\u200c\u0647\u0627\u06cc \u0637\u0628\u06cc\u0639\u06cc \u0648 \u062f\u0642\u06cc\u0642\u200c\u062a\u0631\u06cc \u0646\u0633\u0628\u062a \u0628\u0647 \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u0633\u0646\u062a\u06cc \u0627\u0631\u0627\u0626\u0647 \u062f\u0647\u0646\u062f.<\/p>\n\n\n\n

\u067e\u0631\u062f\u0627\u0632\u0634 \u0632\u0628\u0627\u0646 \u0637\u0628\u06cc\u0639\u06cc<\/h4>\n\n\n\n

\u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631\u0647\u0627 \u062f\u0631 \u067e\u0631\u062f\u0627\u0632\u0634 \u0632\u0628\u0627\u0646 \u0637\u0628\u06cc\u0639\u06cc (NLP) \u0646\u06cc\u0632 \u06a9\u0627\u0631\u0628\u0631\u062f\u0647\u0627\u06cc \u06af\u0633\u062a\u0631\u062f\u0647\u200c\u0627\u06cc \u062f\u0627\u0631\u0646\u062f. \u0627\u0632 \u062c\u0645\u0644\u0647 \u0627\u06cc\u0646 \u06a9\u0627\u0631\u0628\u0631\u062f\u0647\u0627 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646 \u0628\u0647 \u062a\u062d\u0644\u06cc\u0644 \u0645\u062a\u0648\u0646\u060c \u0627\u0633\u062a\u062e\u0631\u0627\u062c \u0645\u0641\u0627\u0647\u06cc\u0645 \u0648 \u0645\u0639\u0627\u0646\u06cc\u060c \u062e\u0644\u0627\u0635\u0647\u200c\u0633\u0627\u0632\u06cc \u0645\u062a\u0648\u0646\u060c \u067e\u0627\u0633\u062e \u0628\u0647 \u0633\u0648\u0627\u0644\u0627\u062a \u0648 \u062a\u0648\u0644\u06cc\u062f \u062e\u0648\u062f\u06a9\u0627\u0631 \u0645\u062a\u0648\u0646 \u0627\u0634\u0627\u0631\u0647 \u06a9\u0631\u062f. \u067e\u0627\u06cc\u062a\u0648\u0631\u0686 \u0628\u0627 \u0627\u0631\u0627\u0626\u0647 \u0627\u0628\u0632\u0627\u0631\u0647\u0627\u06cc \u0645\u0646\u0627\u0633\u0628\u060c \u0628\u0647 \u067e\u0698\u0648\u0647\u0634\u06af\u0631\u0627\u0646 \u0648 \u062a\u0648\u0633\u0639\u0647\u200c\u062f\u0647\u0646\u062f\u06af\u0627\u0646 \u0627\u06cc\u0646 \u0627\u0645\u06a9\u0627\u0646 \u0631\u0627 \u0645\u06cc\u200c\u062f\u0647\u062f \u06a9\u0647 \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u067e\u06cc\u0686\u06cc\u062f\u0647 NLP \u0631\u0627 \u0628\u0647 \u0633\u0627\u062f\u06af\u06cc \u067e\u06cc\u0627\u062f\u0647\u200c\u0633\u0627\u0632\u06cc \u0648 \u0627\u062c\u0631\u0627 \u06a9\u0646\u0646\u062f.<\/p>\n\n\n\n

\u062a\u0634\u062e\u06cc\u0635 \u06af\u0641\u062a\u0627\u0631<\/h4>\n\n\n\n

\u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631\u0647\u0627 \u0647\u0645\u0686\u0646\u06cc\u0646 \u062f\u0631 \u062a\u0634\u062e\u06cc\u0635 \u06af\u0641\u062a\u0627\u0631 \u06a9\u0627\u0631\u0628\u0631\u062f\u0647\u0627\u06cc \u0641\u0631\u0627\u0648\u0627\u0646\u06cc \u062f\u0627\u0631\u0646\u062f. \u0627\u06cc\u0646 \u0645\u062f\u0644\u200c\u0647\u0627 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u0646\u062f \u06af\u0641\u062a\u0627\u0631 \u0627\u0646\u0633\u0627\u0646 \u0631\u0627 \u0628\u0647 \u0645\u062a\u0646 \u062a\u0628\u062f\u06cc\u0644 \u06a9\u0646\u0646\u062f \u0648 \u062f\u0631 \u06a9\u0627\u0631\u0628\u0631\u062f\u0647\u0627\u06cc \u0645\u062e\u062a\u0644\u0641\u06cc \u0645\u0627\u0646\u0646\u062f \u062f\u0633\u062a\u06cc\u0627\u0631\u0647\u0627\u06cc \u0635\u0648\u062a\u06cc\u060c \u0633\u06cc\u0633\u062a\u0645\u200c\u0647\u0627\u06cc \u067e\u0627\u0633\u062e\u06af\u0648\u06cc\u06cc \u062e\u0648\u062f\u06a9\u0627\u0631 \u0648 \u062a\u0628\u062f\u06cc\u0644 \u06af\u0641\u062a\u0627\u0631 \u0628\u0647 \u0645\u062a\u0646 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0634\u0648\u0646\u062f. \u067e\u0627\u06cc\u062a\u0648\u0631\u0686 \u0628\u0627 \u067e\u0634\u062a\u06cc\u0628\u0627\u0646\u06cc \u0627\u0632 \u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631\u0647\u0627\u060c \u0628\u0647 \u062a\u0648\u0633\u0639\u0647\u200c\u062f\u0647\u0646\u062f\u06af\u0627\u0646 \u0627\u06cc\u0646 \u0627\u0645\u06a9\u0627\u0646 \u0631\u0627 \u0645\u06cc\u200c\u062f\u0647\u062f \u06a9\u0647 \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u062a\u0634\u062e\u06cc\u0635 \u06af\u0641\u062a\u0627\u0631 \u0628\u0627 \u062f\u0642\u062a \u0628\u0627\u0644\u0627 \u0627\u06cc\u062c\u0627\u062f \u06a9\u0646\u0646\u062f.<\/p>\n\n\n\n

\u062a\u0648\u0644\u06cc\u062f \u062e\u0648\u062f\u06a9\u0627\u0631 \u0645\u062a\u0646<\/h4>\n\n\n\n

\u06cc\u06a9\u06cc \u062f\u06cc\u06af\u0631 \u0627\u0632 \u06a9\u0627\u0631\u0628\u0631\u062f\u0647\u0627\u06cc \u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631\u0647\u0627\u060c \u062a\u0648\u0644\u06cc\u062f \u062e\u0648\u062f\u06a9\u0627\u0631 \u0645\u062a\u0646 \u0627\u0633\u062a. \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631 \u0645\u0627\u0646\u0646\u062f GPT \u0642\u0627\u062f\u0631 \u0647\u0633\u062a\u0646\u062f \u0645\u062a\u0648\u0646 \u062c\u062f\u06cc\u062f\u06cc \u062a\u0648\u0644\u06cc\u062f \u06a9\u0646\u0646\u062f \u06a9\u0647 \u0627\u0632 \u0646\u0638\u0631 \u0632\u0628\u0627\u0646 \u0648 \u0633\u0628\u06a9 \u0628\u0647 \u0645\u062a\u0648\u0646 \u0627\u0646\u0633\u0627\u0646\u06cc \u0628\u0633\u06cc\u0627\u0631 \u0646\u0632\u062f\u06cc\u06a9 \u0647\u0633\u062a\u0646\u062f. \u0627\u06cc\u0646 \u0645\u062f\u0644\u200c\u0647\u0627 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u0646\u062f \u0628\u0631\u0627\u06cc \u062a\u0648\u0644\u06cc\u062f \u0645\u062d\u062a\u0648\u0627\u06cc \u0645\u062a\u0646\u06cc\u060c \u0646\u0648\u0634\u062a\u0646 \u0645\u0642\u0627\u0644\u0627\u062a\u060c \u062f\u0627\u0633\u062a\u0627\u0646\u200c\u0633\u0631\u0627\u06cc\u06cc \u0648 \u062d\u062a\u06cc \u0627\u06cc\u062c\u0627\u062f \u0645\u06a9\u0627\u0644\u0645\u0627\u062a \u062e\u0648\u062f\u06a9\u0627\u0631 \u062f\u0631 \u0686\u062a\u200c\u0628\u0627\u062a\u200c\u0647\u0627 \u0628\u0647 \u06a9\u0627\u0631 \u0631\u0648\u0646\u062f.<\/p>\n\n\n\n

\u062a\u062d\u0644\u06cc\u0644 \u0627\u062d\u0633\u0627\u0633\u0627\u062a<\/h4>\n\n\n\n

\u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u0646\u062f \u0627\u062d\u0633\u0627\u0633\u0627\u062a \u0645\u0648\u062c\u0648\u062f \u062f\u0631 \u0645\u062a\u0648\u0646 \u0631\u0627 \u062a\u062d\u0644\u06cc\u0644 \u06a9\u0631\u062f\u0647 \u0648 \u062a\u0634\u062e\u06cc\u0635 \u062f\u0647\u0646\u062f. \u0627\u06cc\u0646 \u06a9\u0627\u0631\u0628\u0631\u062f \u062f\u0631 \u0632\u0645\u06cc\u0646\u0647\u200c\u0647\u0627\u06cc\u06cc \u0645\u0627\u0646\u0646\u062f \u062a\u062d\u0644\u06cc\u0644 \u0646\u0638\u0631\u0627\u062a \u06a9\u0627\u0631\u0628\u0631\u0627\u0646\u060c \u0628\u0631\u0631\u0633\u06cc \u0628\u0627\u0632\u062e\u0648\u0631\u062f\u0647\u0627 \u0648 \u0634\u0646\u0627\u0633\u0627\u06cc\u06cc \u0627\u062d\u0633\u0627\u0633\u0627\u062a \u0645\u062b\u0628\u062a\u060c \u0645\u0646\u0641\u06cc \u0648 \u062e\u0646\u062b\u06cc \u0628\u0633\u06cc\u0627\u0631 \u0645\u0641\u06cc\u062f \u0627\u0633\u062a. \u067e\u0627\u06cc\u062a\u0648\u0631\u0686 \u0627\u0628\u0632\u0627\u0631\u0647\u0627\u06cc \u0645\u0646\u0627\u0633\u0628\u06cc \u0628\u0631\u0627\u06cc \u067e\u06cc\u0627\u062f\u0647\u200c\u0633\u0627\u0632\u06cc \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u062a\u062d\u0644\u06cc\u0644 \u0627\u062d\u0633\u0627\u0633\u0627\u062a \u0627\u0631\u0627\u0626\u0647 \u0645\u06cc\u200c\u062f\u0647\u062f \u06a9\u0647 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u0646\u062f \u062f\u0642\u062a \u0628\u0627\u0644\u0627\u06cc\u06cc \u062f\u0631 \u0627\u06cc\u0646 \u0632\u0645\u06cc\u0646\u0647 \u062f\u0627\u0634\u062a\u0647 \u0628\u0627\u0634\u0646\u062f.<\/p>\n\n\n\n

\u067e\u0627\u0633\u062e \u0628\u0647 \u0633\u0648\u0627\u0644\u0627\u062a<\/h4>\n\n\n\n

\u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631\u0647\u0627 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u0646\u062f \u0628\u0647 \u0633\u0648\u0627\u0644\u0627\u062a \u06a9\u0627\u0631\u0628\u0631\u0627\u0646 \u067e\u0627\u0633\u062e \u062f\u0647\u0646\u062f. \u0627\u06cc\u0646 \u06a9\u0627\u0631\u0628\u0631\u062f \u062f\u0631 \u0633\u06cc\u0633\u062a\u0645\u200c\u0647\u0627\u06cc \u062c\u0633\u062a\u062c\u0648\u06cc \u0627\u0637\u0644\u0627\u0639\u0627\u062a\u060c \u0686\u062a\u200c\u0628\u0627\u062a\u200c\u0647\u0627 \u0648 \u062f\u0633\u062a\u06cc\u0627\u0631\u0647\u0627\u06cc \u0647\u0648\u0634\u0645\u0646\u062f \u0628\u0633\u06cc\u0627\u0631 \u0645\u0624\u062b\u0631 \u0627\u0633\u062a. \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631 \u0628\u0627 \u062f\u0631\u06a9 \u0633\u0648\u0627\u0644\u0627\u062a \u0648 \u0627\u0633\u062a\u062e\u0631\u0627\u062c \u067e\u0627\u0633\u062e\u200c\u0647\u0627\u06cc \u0645\u0646\u0627\u0633\u0628 \u0627\u0632 \u0645\u062a\u0648\u0646 \u0645\u0648\u062c\u0648\u062f\u060c \u0628\u0647 \u06a9\u0627\u0631\u0628\u0631\u0627\u0646 \u06a9\u0645\u06a9 \u0645\u06cc\u200c\u06a9\u0646\u0646\u062f \u0628\u0647 \u0633\u0631\u0639\u062a \u0628\u0647 \u0627\u0637\u0644\u0627\u0639\u0627\u062a \u0645\u0648\u0631\u062f \u0646\u06cc\u0627\u0632 \u062e\u0648\u062f \u062f\u0633\u062a \u06cc\u0627\u0628\u0646\u062f.<\/p>\n\n\n\n

\u0633\u0627\u062e\u062a \u06cc\u06a9 \u0645\u062f\u0644 \u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631 \u0628\u0627 PyTorch<\/h2>\n\n\n\n

\u0633\u0627\u062e\u062a \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631 \u0628\u0627 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u067e\u0627\u06cc\u062a\u0648\u0631\u0686 \u0628\u0647 \u0686\u0646\u062f\u06cc\u0646 \u0645\u0631\u062d\u0644\u0647 \u062a\u0642\u0633\u06cc\u0645 \u0645\u06cc\u200c\u0634\u0648\u062f:<\/p>\n\n\n\n

\u062a\u0639\u0631\u06cc\u0641 \u0628\u0644\u0648\u06a9\u200c\u0647\u0627\u06cc \u067e\u0627\u06cc\u0647\u200c\u0627\u06cc \u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631<\/h3>\n\n\n\n

\u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631 \u0627\u0632 \u0686\u0646\u062f\u06cc\u0646 \u0628\u0644\u0648\u06a9 \u067e\u0627\u06cc\u0647\u200c\u0627\u06cc \u062a\u0634\u06a9\u06cc\u0644 \u0634\u062f\u0647 \u0627\u0633\u062a \u06a9\u0647 \u0634\u0627\u0645\u0644 \u062a\u0648\u062c\u0647 \u0686\u0646\u062f\u0633\u0631 (Multi-Head Attention)\u060c \u0634\u0628\u06a9\u0647\u200c\u0647\u0627\u06cc \u067e\u06cc\u0634\u200c\u062e\u0648\u0631 \u0645\u0648\u0636\u0639\u06cc (Position-Wise Feed-Forward Networks) \u0648 \u06a9\u062f\u06af\u0630\u0627\u0631\u06cc \u0645\u0648\u0636\u0639\u06cc  (Positional Encoding)  \u0645\u06cc\u200c\u0628\u0627\u0634\u062f. \u0647\u0631 \u06cc\u06a9 \u0627\u0632 \u0627\u06cc\u0646 \u0628\u0644\u0648\u06a9\u200c\u0647\u0627 \u0628\u0627\u06cc\u062f \u0628\u0647 \u0635\u0648\u0631\u062a \u062c\u062f\u0627\u06af\u0627\u0646\u0647 \u0628\u0631\u0627\u06cc \u0645\u062f\u0644 \u062a\u0639\u0631\u06cc\u0641 \u0634\u0648\u0646\u062f.<\/p>\n\n\n\n

\u0633\u0627\u062e\u062a \u0628\u0644\u0648\u06a9 \u0631\u0645\u0632\u06af\u0630\u0627\u0631<\/h3>\n\n\n\n

\u0628\u0644\u0648\u06a9 \u0631\u0645\u0632\u06af\u0630\u0627\u0631 (Encoder Block) \u0645\u0633\u0626\u0648\u0644 \u067e\u0631\u062f\u0627\u0632\u0634 \u0648\u0631\u0648\u062f\u06cc\u200c\u0647\u0627 \u0648 \u062a\u0648\u0644\u06cc\u062f \u0628\u0627\u0632\u0646\u0645\u0627\u06cc\u06cc\u200c\u0647\u0627\u06cc \u062f\u0627\u062e\u0644\u06cc \u0627\u0633\u062a. \u0627\u06cc\u0646 \u0628\u0644\u0648\u06a9 \u0634\u0627\u0645\u0644 \u0644\u0627\u06cc\u0647\u200c\u0647\u0627\u06cc \u062a\u0648\u062c\u0647 \u0686\u0646\u062f\u0633\u0631 \u0648 \u0634\u0628\u06a9\u0647\u200c\u0647\u0627\u06cc \u067e\u06cc\u0634\u200c\u062e\u0648\u0631 \u0645\u0648\u0636\u0639\u06cc \u0627\u0633\u062a \u06a9\u0647 \u0628\u0647 \u062a\u0631\u062a\u06cc\u0628 \u067e\u0631\u062f\u0627\u0632\u0634 \u0645\u06cc\u200c\u0634\u0648\u0646\u062f. \u0627\u06cc\u0646 \u062a\u0631\u06a9\u06cc\u0628 \u0628\u0647 \u0645\u062f\u0644 \u06a9\u0645\u06a9 \u0645\u06cc\u200c\u06a9\u0646\u062f \u062a\u0627 \u0648\u06cc\u0698\u06af\u06cc\u200c\u0647\u0627\u06cc \u067e\u06cc\u0686\u06cc\u062f\u0647\u200c\u0627\u06cc \u0627\u0632 \u0648\u0631\u0648\u062f\u06cc\u200c\u0647\u0627 \u0627\u0633\u062a\u062e\u0631\u0627\u062c \u06a9\u0631\u062f\u0647 \u0648 \u062a\u0631\u062a\u06cc\u0628 \u062a\u0648\u06a9\u0646\u200c\u0647\u0627 \u0631\u0627 \u062f\u0631 \u062f\u0646\u0628\u0627\u0644\u0647 \u062f\u0631 \u0646\u0638\u0631 \u0628\u06af\u06cc\u0631\u062f.<\/p>\n\n\n\n

\u0633\u0627\u062e\u062a \u0628\u0644\u0648\u06a9 \u0631\u0645\u0632\u06af\u0634\u0627<\/h3>\n\n\n\n

\u0628\u0644\u0648\u06a9 \u0631\u0645\u0632\u06af\u0634\u0627 (Decoder Block) \u0645\u0633\u0626\u0648\u0644 \u062a\u0648\u0644\u06cc\u062f \u062e\u0631\u0648\u062c\u06cc\u200c\u0647\u0627 \u0628\u0631 \u0627\u0633\u0627\u0633 \u0628\u0627\u0632\u0646\u0645\u0627\u06cc\u06cc\u200c\u0647\u0627\u06cc \u062f\u0627\u062e\u0644\u06cc \u062a\u0648\u0644\u06cc\u062f \u0634\u062f\u0647 \u062a\u0648\u0633\u0637 \u0631\u0645\u0632\u06af\u0630\u0627\u0631 \u0627\u0633\u062a. \u0627\u06cc\u0646 \u0628\u0644\u0648\u06a9 \u0646\u06cc\u0632 \u0634\u0627\u0645\u0644 \u0644\u0627\u06cc\u0647\u200c\u0647\u0627\u06cc \u062a\u0648\u062c\u0647 \u0686\u0646\u062f\u0633\u0631 \u0648 \u0634\u0628\u06a9\u0647\u200c\u0647\u0627\u06cc \u067e\u06cc\u0634\u200c\u062e\u0648\u0631 \u0645\u0648\u0636\u0639\u06cc \u0627\u0633\u062a. \u0639\u0644\u0627\u0648\u0647 \u0628\u0631 \u0627\u06cc\u0646\u060c \u0628\u0644\u0648\u06a9 \u0631\u0645\u0632\u06af\u0634\u0627 \u0628\u0647 \u0628\u0627\u0632\u0646\u0645\u0627\u06cc\u06cc\u200c\u0647\u0627\u06cc \u062a\u0648\u0644\u06cc\u062f \u0634\u062f\u0647 \u062a\u0648\u0633\u0637 \u0631\u0645\u0632\u06af\u0630\u0627\u0631 \u0646\u06cc\u0632 \u062a\u0648\u062c\u0647 \u0645\u06cc\u200c\u06a9\u0646\u062f \u062a\u0627 \u0627\u0637\u0644\u0627\u0639\u0627\u062a \u0648\u0631\u0648\u062f\u06cc \u0631\u0627 \u0628\u0647 \u062e\u0631\u0648\u062c\u06cc \u0645\u0631\u062a\u0628\u0637 \u062a\u0628\u062f\u06cc\u0644 \u06a9\u0646\u062f.<\/p>\n\n\n\n

\u062a\u0631\u06a9\u06cc\u0628 \u0644\u0627\u06cc\u0647\u200c\u0647\u0627\u06cc \u0631\u0645\u0632\u06af\u0630\u0627\u0631 \u0648 \u0631\u0645\u0632\u06af\u0634\u0627<\/h3>\n\n\n\n

\u062f\u0631 \u0646\u0647\u0627\u06cc\u062a\u060c \u0644\u0627\u06cc\u0647\u200c\u0647\u0627\u06cc \u0631\u0645\u0632\u06af\u0630\u0627\u0631 \u0648 \u0631\u0645\u0632\u06af\u0634\u0627 \u0628\u0627 \u0647\u0645 \u062a\u0631\u06a9\u06cc\u0628 \u0645\u06cc\u200c\u0634\u0648\u0646\u062f \u062a\u0627 \u0634\u0628\u06a9\u0647 \u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631 \u06a9\u0627\u0645\u0644 \u0633\u0627\u062e\u062a\u0647 \u0634\u0648\u062f. \u0627\u06cc\u0646 \u0634\u0628\u06a9\u0647 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u062f \u0628\u0631\u0627\u06cc \u0648\u0638\u0627\u06cc\u0641 \u0645\u062e\u062a\u0644\u0641\u06cc \u0645\u0627\u0646\u0646\u062f \u062a\u0631\u062c\u0645\u0647 \u0645\u0627\u0634\u06cc\u0646\u06cc\u060c \u067e\u0631\u062f\u0627\u0632\u0634 \u0632\u0628\u0627\u0646 \u0637\u0628\u06cc\u0639\u06cc \u0648 \u063a\u06cc\u0631\u0647 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0634\u0648\u062f. \u062a\u0631\u06a9\u06cc\u0628 \u0627\u06cc\u0646 \u0628\u0644\u0648\u06a9\u200c\u0647\u0627 \u0628\u0647 \u0645\u062f\u0644 \u0627\u062c\u0627\u0632\u0647 \u0645\u06cc\u200c\u062f\u0647\u062f \u062a\u0627 \u0628\u0627 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u0645\u06a9\u0627\u0646\u06cc\u0632\u0645 \u062a\u0648\u062c\u0647 \u0648 \u067e\u0631\u062f\u0627\u0632\u0634 \u062a\u0648\u0627\u0644\u06cc\u060c \u0631\u0648\u0627\u0628\u0637 \u067e\u06cc\u0686\u06cc\u062f\u0647 \u0628\u06cc\u0646 \u0648\u0631\u0648\u062f\u06cc\u200c\u0647\u0627 \u0648 \u062e\u0631\u0648\u062c\u06cc\u200c\u0647\u0627 \u0631\u0627 \u06cc\u0627\u062f \u0628\u06af\u06cc\u0631\u062f \u0648 \u0639\u0645\u0644\u06a9\u0631\u062f \u0628\u0647\u062a\u0631\u06cc \u062f\u0631 \u0627\u0646\u062c\u0627\u0645 \u0648\u0638\u0627\u06cc\u0641 \u0645\u062e\u062a\u0644\u0641 \u062f\u0627\u0634\u062a\u0647 \u0628\u0627\u0634\u062f.<\/p>\n\n\n\n

\u067e\u06cc\u0627\u062f\u0647\u200c\u0633\u0627\u0632\u06cc \u06cc\u06a9 \u0645\u062f\u0644 \u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631 \u0628\u0627 PyTorch<\/h2>\n\n\n\n

\u0628\u0631\u0627\u06cc \u0633\u0627\u062e\u062a \u06cc\u06a9 \u0645\u062f\u0644 \u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631 \u0628\u0627 PyTorch \u0627\u0628\u062a\u062f\u0627 \u0644\u0627\u0632\u0645 \u0627\u0633\u062a \u06a9\u062a\u0627\u0628\u062e\u0627\u0646\u0647\u200c\u0647\u0627\u06cc \u0645\u0648\u0631\u062f \u0646\u06cc\u0627\u0632 \u0631\u0627 \u0641\u0631\u0627\u062e\u0648\u0627\u0646\u06cc \u06a9\u0646\u06cc\u0645:<\/p>\n\n\n

\nimport torch<\/code>
\nimport torch.nn as nn<\/code>
\nimport torch.optim as optim<\/code>
\nimport torch.utils.data as data<\/code>
\nimport math<\/code><\/p>\n\n\n\n

\u062a\u0639\u0631\u06cc\u0641 \u0628\u0644\u0648\u06a9\u200c \u062a\u0648\u062c\u0647 \u0686\u0646\u062f\u0633\u0631<\/h3>\n\n\n\n

\u0645\u06a9\u0627\u0646\u06cc\u0632\u0645 \u062a\u0648\u062c\u0647 \u0686\u0646\u062f\u0633\u0631 (Multi-Head Attention) \u0627\u0631\u062a\u0628\u0627\u0637 \u0628\u06cc\u0646 \u0647\u0631 \u062c\u0641\u062a \u0627\u0632 \u0645\u0648\u0642\u0639\u06cc\u062a\u200c\u0647\u0627 \u0631\u0627 \u062f\u0631 \u06cc\u06a9 \u062f\u0646\u0628\u0627\u0644\u0647 \u0645\u062d\u0627\u0633\u0628\u0647 \u0645\u06cc\u200c\u06a9\u0646\u062f. \u0627\u06cc\u0646 \u0645\u06a9\u0627\u0646\u06cc\u0632\u0645 \u0634\u0627\u0645\u0644 \u0686\u0646\u062f\u06cc\u0646 \u0633\u0631 \u062a\u0648\u062c\u0647 \u06cc\u0627 attention head \u0627\u0633\u062a \u06a9\u0647 \u062c\u0646\u0628\u0647\u200c\u0647\u0627\u06cc \u0645\u062e\u062a\u0644\u0641 \u062f\u0646\u0628\u0627\u0644\u0647 \u0648\u0631\u0648\u062f\u06cc \u0631\u0627 \u062f\u0631\u06a9 \u0648 \u062a\u062d\u0644\u06cc\u0644 \u0645\u06cc\u200c\u06a9\u0646\u0646\u062f. \u0628\u0631\u0627\u06cc \u062a\u0639\u0631\u06cc\u0641 \u0627\u06cc\u0646 \u0628\u0644\u0648\u06a9\u200c\u0647\u0627\u060c \u0627\u0628\u062a\u062f\u0627 \u06cc\u06a9 \u06a9\u0644\u0627\u0633 MultiHeadAttention \u06a9\u0647 \u0627\u0632 nn.Module \u0627\u0631\u062b\u200c\u0628\u0631\u06cc \u0645\u06cc\u200c\u06a9\u0646\u062f \u0645\u06cc\u200c\u0633\u0627\u0632\u06cc\u0645:<\/p>\n\n\n

\nclass MultiHeadAttention(nn.Module):<\/code>
\n    def __init__(self, d_model, num_heads):<\/code>
\n        super(MultiHeadAttention, self).__init__()<\/code>
\n        # Ensure that the model dimension (d_model) is divisible by the number of heads<\/span><\/code>
\n        assert d_model % num_heads == 0, \"d_model must be divisible by num_heads\"<\/code>
\n        # Initialize dimensions<\/span><\/code>
\n        self.d_model = d_model # Model's dimension<\/span><\/code>
\n        self.num_heads = num_heads # Number of attention heads<\/span><\/code>
\n        self.d_k = d_model \/\/ num_heads # Dimension of each head's key, query, and value<\/span><\/code>
\n        # Linear layers for transforming inputs<\/span><\/code>
\n        self.W_q = nn.Linear(d_model, d_model) # Query transformation<\/span><\/code>
\n        self.W_k = nn.Linear(d_model, d_model) # Key transformation<\/span><\/code>
\n        self.W_v = nn.Linear(d_model, d_model) # Value transformation<\/span><\/code>
\n        self.W_o = nn.Linear(d_model, d_model) # Output transformation<\/span><\/code><\/p>\n\n\n\n

\u06a9\u0647 \u062f\u0631 \u0622\u0646:<\/p>\n\n\n\n