{"id":8332,"date":"2022-06-15T17:48:00","date_gmt":"2022-06-15T13:18:00","guid":{"rendered":"http:\/\/cafetadris.com\/blog\/?p=8332"},"modified":"2024-10-02T21:24:07","modified_gmt":"2024-10-02T17:54:07","slug":"%d8%b4%d8%a8%da%a9%d9%87-bert-%da%86%db%8c%d8%b3%d8%aa","status":"publish","type":"post","link":"https:\/\/cafetadris.com\/blog\/%d8%b4%d8%a8%da%a9%d9%87-bert-%da%86%db%8c%d8%b3%d8%aa\/","title":{"rendered":"\u0634\u0628\u06a9\u0647 BERT \u0686\u06cc\u0633\u062a \u0648 \u062f\u0631 \u067e\u0631\u062f\u0627\u0632\u0634 \u0632\u0628\u0627\u0646\u200c\u0647\u0627\u06cc \u0637\u0628\u06cc\u0639\u06cc (NLP) \u0686\u0647 \u0646\u0642\u0634\u06cc \u062f\u0627\u0631\u062f\u061f"},"content":{"rendered":"\n

\u0634\u0628\u06a9\u0647 BERT \u0686\u06cc\u0633\u062a \u0648 \u0686\u0637\u0648\u0631 \u067e\u062f\u06cc\u062f \u0622\u0645\u062f\u061f \u0686\u06af\u0648\u0646\u0647 \u062f\u0631 \u062d\u0648\u0632\u0647 \u067e\u0631\u062f\u0627\u0632\u0634 \u0632\u0628\u0627\u0646\u200c\u0647\u0627\u06cc \u0637\u0628\u06cc\u0639\u06cc \u06cc\u0627 \u0647\u0645\u0627\u0646 NLP \u0627\u0646\u0642\u0644\u0627\u0628 \u06a9\u0631\u062f\u0647 \u0627\u0633\u062a\u061f \u062f\u0631 \u0627\u06cc\u0646 \u0645\u0637\u0644\u0628 \u0628\u0647\u200c\u0635\u0648\u0631\u062a \u0645\u0641\u0635\u0644 \u0645\u062f\u0644 BERT \u0631\u0627 \u0645\u0639\u0631\u0641\u06cc \u06a9\u0631\u062f\u0647\u200c\u0627\u06cc\u0645\u060c \u0627\u0632 \u0633\u0631\u0622\u063a\u0627\u0632\u0634 \u06af\u0641\u062a\u0647\u200c\u0627\u06cc\u0645\u060c \u0622\u0646 \u0631\u0627 \u0634\u0631\u062d \u062f\u0627\u062f\u0647\u200c\u0627\u06cc\u0645 \u0648 \u0646\u0634\u0627\u0646 \u062f\u0627\u062f\u0647\u200c\u0627\u06cc\u0645 \u0686\u06af\u0648\u0646\u0647 \u062d\u0648\u0632\u0647\u200c\u06cc \u067e\u0631\u062f\u0627\u0632\u0634 \u0632\u0628\u0627\u0646\u200c\u0647\u0627\u06cc \u0637\u0628\u06cc\u0639\u06cc \u0631\u0627 \u0645\u062a\u062d\u0648\u0644 \u06a9\u0631\u062f\u0647 \u0627\u0633\u062a.<\/p>\n\n\n

<\/div>\n\n
<\/a><\/div><\/div>\n\n\n\n

\u0634\u0628\u06a9\u0647 BERT<\/strong> \u0686\u06cc\u0633\u062a \u0648 \u0686\u0637\u0648\u0631 \u067e\u062f\u06cc\u062f \u0622\u0645\u062f\u061f<\/h2>\n\n\n\n

\u0632\u0645\u0627\u0646\u06cc \u06a9\u0647 \u0628\u0631\u0627\u06cc \u0627\u0648\u0644\u06cc\u0646 \u0628\u0627\u0631 \u06cc\u06a9 \u0634\u0628\u06a9\u0647 \u0639\u0635\u0628\u06cc \u067e\u06cc\u0686\u0634\u06cc (Convolutional Neural Network) \u062f\u0631 \u0645\u0633\u0627\u0628\u0642\u0647 ImageNet \u0628\u0631\u0646\u062f\u0647 \u0634\u062f\u060c \u062a\u0648\u062c\u0647 \u0647\u0645\u06af\u0627\u0646 \u0628\u0647 \u0645\u0628\u062d\u062b \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0645\u0627\u0634\u06cc\u0646 \u0648 \u062f\u0631 \u0627\u062f\u0627\u0645\u0647 \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0639\u0645\u06cc\u0642 \u062c\u0644\u0628 \u0634\u062f. \u062f\u06cc\u06af\u0631 \u0647\u0645\u06af\u0627\u0646 \u0631\u0627\u0647\u200c\u062d\u0644 \u062a\u0645\u0627\u0645\u06cc \u0645\u0634\u06a9\u0644\u200c\u0647\u0627 \u0631\u0627 \u062f\u0631 \u0627\u06cc\u0646 \u0632\u0645\u06cc\u0646\u0647 \u062c\u0633\u062a\u200c\u0648\u062c\u0648 \u0645\u06cc\u200c\u06a9\u0631\u062f\u0646\u062f\u060c \u0648\u0644\u06cc \u0641\u0631\u0627\u0645\u0648\u0634 \u0645\u06cc\u200c\u06a9\u0631\u062f\u0646\u062f \u06a9\u0647 \u0645\u0633\u0627\u0628\u0642\u0647\u200c\u06cc ImageNet \u062f\u0627\u062f\u0647\u200c\u06cc \u0639\u0638\u06cc\u0645\u06cc \u062f\u0631 \u0627\u062e\u062a\u06cc\u0627\u0631 \u0634\u0631\u06a9\u062a\u200c\u06a9\u0646\u0646\u062f\u06af\u0627\u0646 \u0642\u0631\u0627\u0631 \u0645\u06cc\u200c\u062f\u0647\u062f \u0648 \u0628\u0631\u06af\u200c\u0628\u0631\u0646\u062f\u0647\u200c\u06cc \u0634\u0628\u06a9\u0647\u200c\u0647\u0627\u06cc \u0639\u0645\u06cc\u0642 \u0646\u06cc\u0632 \u0647\u0645\u06cc\u0646 \u062f\u0627\u062f\u0647\u200c\u06cc \u0632\u06cc\u0627\u062f \u0627\u0633\u062a\u060c \u062f\u0631\u0635\u0648\u0631\u062a\u06cc\u200c\u06a9\u0647 \u0628\u0631\u0627\u06cc \u062e\u06cc\u0644\u06cc \u0627\u0632 \u0645\u0634\u06a9\u0644\u0627\u062a \u0627\u06cc\u0646 \u062d\u062c\u0645 \u0627\u0632 \u0627\u0637\u0644\u0627\u0639\u0627\u062a \u062f\u0631 \u062f\u0633\u062a\u0631\u0633 \u0646\u06cc\u0633\u062a.<\/p>\n\n\n\n

\u0627\u0632 \u0637\u0631\u0641\u06cc \u0622\u0645\u0648\u0632\u0634 \u06cc\u06a9 \u0634\u0628\u06a9\u0647\u200c\u06cc \u0639\u0645\u06cc\u0642 \u0628\u0627 \u062f\u0627\u062f\u0647\u200c\u06cc \u0632\u06cc\u0627\u062f \u0627\u0632 \u062f\u0633\u062a \u0647\u0645\u0647 \u0633\u0627\u062e\u062a\u0647 \u0646\u06cc\u0633\u062a\u061b \u0632\u06cc\u0631\u0627 \u0627\u06cc\u0646 \u06a9\u0627\u0631 \u0628\u0647 \u0642\u062f\u0631\u062a \u067e\u0631\u062f\u0627\u0632\u0634\u06cc \u0632\u06cc\u0627\u062f\u06cc \u0646\u06cc\u0627\u0632 \u062f\u0627\u0631\u062f.<\/p>\n\n\n\n

\u0627\u06cc\u0646\u062c\u0627 \u0628\u0648\u062f \u06a9\u0647 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u0627\u0632\u0642\u0628\u0644\u200c\u0622\u0645\u0648\u0632\u0634\u200c\u062f\u06cc\u062f\u0647 (Pre-trained Models) \u0628\u0647 \u06a9\u0645\u06a9 \u0627\u0641\u0631\u0627\u062f\u06cc \u0622\u0645\u062f \u06a9\u0647 \u062f\u0627\u062f\u0647 \u0648 \u0642\u062f\u0631\u062a \u067e\u0631\u062f\u0627\u0632\u0634\u06cc \u0645\u062d\u062f\u0648\u062f\u06cc \u062f\u0627\u0634\u062a\u0646\u062f. \u0634\u0628\u06a9\u0647\u200c\u0647\u0627\u06cc\u06cc \u06a9\u0647 \u0628\u0627 \u062f\u0627\u062f\u0647\u200c\u06cc \u0645\u0633\u0627\u0628\u0642\u0647\u200c\u06cc Imagenet \u0622\u0645\u0648\u0632\u0634 \u062f\u0627\u062f\u0647 \u0634\u062f\u0647\u200c\u0627\u0646\u062f \u062f\u0631 \u0627\u062e\u062a\u06cc\u0627\u0631 \u0647\u0645\u0647 \u0642\u0631\u0627\u0631 \u062f\u0627\u062f\u0647 \u0634\u062f \u0648 \u062f\u06cc\u06af\u0631 \u0646\u06cc\u0627\u0632\u06cc \u0646\u0628\u0648\u062f \u06a9\u0647 \u062a\u0645\u0627\u0645\u06cc \u0645\u0633\u06cc\u0631 \u0631\u0627 \u0627\u0632 \u0627\u0648\u0644 \u0637\u06cc \u06a9\u0646\u06cc\u0645. \u062f\u0631 \u0627\u06cc\u0646 \u062d\u0627\u0644\u062a \u06a9\u0627\u0641\u06cc\u200c \u0627\u0633\u062a \u06a9\u0647 \u06cc\u06a9 \u0634\u0628\u06a9\u0647 \u0631\u0627 \u0628\u0627 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u062f\u0648 \u0631\u0648\u0634 \u0627\u0633\u062a\u062e\u0631\u0627\u062c \u0648\u06cc\u0698\u06af\u06cc (Feature Extraction) \u0648 \u062a\u0646\u0638\u06cc\u0645 \u062f\u0642\u06cc\u0642 (Fine-tuning) \u0628\u0631\u0627\u06cc \u06a9\u0627\u0631 \u062e\u0648\u062f\u0645\u0627\u0646 \u0627\u062e\u062a\u0635\u0627\u0635\u06cc \u06a9\u0646\u06cc\u0645.<\/p>\n\n\n\n

\u0648\u0644\u06cc \u0627\u06af\u0631 \u0645\u0633\u0626\u0644\u0647 \u0645\u0627 \u0628\u0647 \u062a\u0635\u0648\u06cc\u0631 \u0645\u0631\u0628\u0648\u0637 \u0646\u0628\u0627\u0634\u062f\u060c \u0686\u0637\u0648\u0631\u061f \u062f\u0627\u062f\u0647\u200c\u06cc \u0628\u0647 \u0627\u06cc\u0646 \u0639\u0638\u06cc\u0645\u06cc \u0628\u0631\u0627\u06cc \u0645\u062a\u0646 \u0631\u0627 \u0627\u0632 \u06a9\u062c\u0627 \u0628\u06cc\u0627\u0648\u0631\u06cc\u0645\u061f \u0686\u06af\u0648\u0646\u0647 \u0634\u0628\u06a9\u0647 \u0631\u0627 \u0622\u0645\u0648\u0632\u0634 \u062f\u0647\u06cc\u0645\u061f<\/p>\n\n\n\n

\u0633\u0631\u0622\u063a\u0627\u0632 \u0634\u0628\u06a9\u0647 BERT \u0686\u06cc\u0633\u062a<\/h3>\n\n\n\n

\u0628\u0631\u0627\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u0627\u0632 \u0642\u0628\u0644 \u0622\u0645\u0648\u0632\u0634\u200c\u062f\u06cc\u062f\u0647 \u062f\u0631 \u0645\u0633\u0627\u0626\u0644\u06cc \u06a9\u0647 \u0628\u0627 \u0645\u062a\u0646 \u0633\u0631\u200c\u0648\u200c\u06a9\u0627\u0631 \u062f\u0627\u0631\u0646\u062f\u060c \u0627\u0628\u062a\u062f\u0627 \u0628\u0647 \u0633\u0631\u0627\u063a \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u062a\u0639\u0628\u06cc\u0647\u200c\u06cc \u06a9\u0644\u0645\u0627\u062a (Word Embedding) \u0631\u0641\u062a\u06cc\u0645 \u06a9\u0647 \u0628\u0647 \u0645\u0627 \u06a9\u0645\u06a9 \u0648 \u062a\u063a\u06cc\u06cc\u0631 \u0645\u062d\u0633\u0648\u0633\u06cc \u062f\u0631 \u062f\u0642\u062a \u0634\u0628\u06a9\u0647\u200c\u0647\u0627 \u0627\u06cc\u062c\u0627\u062f \u06a9\u0631\u062f\u0646\u062f\u060c \u0648\u0644\u06cc \u0639\u0645\u06cc\u0642 \u0646\u0628\u0648\u062f\u0646\u062f \u0648 \u062d\u0627\u0648\u06cc \u0627\u0637\u0644\u0627\u0639\u0627\u062a \u06a9\u0645\u06cc \u0628\u0648\u062f\u0646\u062f\u061b \u062f\u0631\u200c\u0648\u0627\u0642\u0639 \u06a9\u0645\u06a9 \u0622\u0646\u200c\u0647\u0627 \u0645\u0624\u062b\u0631 \u0648\u0644\u06cc \u0645\u062d\u062f\u0648\u062f \u0628\u0648\u062f.<\/p>\n\n\n\n

\u062f\u0631 \u0633\u0627\u0644 \u06f2\u06f0\u06f1\u06f8 \u0627\u06cc\u0646 \u0645\u0633\u06cc\u0631 \u0628\u0631\u0627\u06cc \u0645\u0633\u0626\u0644\u0647\u200c\u0647\u0627\u06cc \u0645\u062a\u0646\u06cc \u06cc\u0627 \u0628\u0647\u200c\u0637\u0648\u0631 \u062f\u0642\u06cc\u0642\u200c\u062a\u0631 \u067e\u0631\u062f\u0627\u0632\u0634 \u0632\u0628\u0627\u0646 \u0647\u0627\u06cc \u0637\u0628\u06cc\u0639\u06cc (Natural Language Processing)  \u0646\u06cc\u0632 \u062f\u0631 \u062f\u0633\u062a\u0631\u0633 \u0642\u0631\u0627\u0631 \u06af\u0631\u0641\u062a. \u0645\u0647\u0646\u062f\u0633\u0627\u0646 \u06af\u0648\u06af\u0644 \u0645\u062f\u0644 \u0628\u0632\u0631\u06af\u06cc \u0628\u0627 \u062f\u0627\u062f\u0647\u200c\u06cc \u0632\u06cc\u0627\u062f \u0631\u0627 \u0622\u0645\u0648\u0632\u0634 \u062f\u0627\u062f\u0646\u062f \u0648 \u0622\u0646 \u0631\u0627 \u062f\u0631 \u062f\u0633\u062a\u0631\u0633 \u0647\u0645\u0647 \u0642\u0631\u0627\u0631 \u062f\u0627\u062f\u0646\u062f. \u062d\u0627\u0644\u0627 \u06cc\u06a9 \u0645\u062f\u0644 \u0628\u0633\u06cc\u0627\u0631 \u0642\u062f\u0631\u062a\u0645\u0646\u062f \u0628\u0631\u0627\u06cc \u0628\u0647\u0631\u0647\u200c\u06af\u06cc\u0631\u06cc \u062f\u0631 \u0645\u0633\u0627\u0626\u0644 \u0645\u062a\u0646\u06cc \u062f\u0631 \u0627\u062e\u062a\u06cc\u0627\u0631 \u062f\u0627\u0631\u06cc\u0645\u061b \u0627\u06cc\u0646 \u0645\u062f\u0644 BERT \u0646\u0627\u0645 \u062f\u0627\u0631\u062f.<\/p>\n\n\n\n

\u067e\u06cc\u0634\u0646\u0647\u0627\u062f \u0645\u06cc\u200c\u06a9\u0646\u06cc\u0645 \u062f\u0631\u0628\u0627\u0631\u0647 \u0645\u062f\u0644 \u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631\u00a0(Transformer Model) \u06cc\u0627 \u0645\u062f\u0644 \u0627\u0646\u062a\u0642\u0627\u0644\u06cc<\/mark><\/a> \u0628\u06cc\u0634\u062a\u0631 \u0628\u062f\u0627\u0646\u06cc\u062f.<\/p>\n\n\n

<\/a><\/div><\/div>\n\n\n\n

\u0645\u062f\u0644 \u0634\u0628\u06a9\u0647 BERT<\/strong> \u0686\u06cc\u0633\u062a\u061f<\/h2>\n\n\n\n

\u062f\u0631 \u067e\u0627\u0633\u062e \u0628\u0647 \u067e\u0631\u0633\u0634 \u0634\u0628\u06a9\u0647 BERT \u0686\u06cc\u0633\u062a \u0628\u0627\u06cc\u062f \u0628\u0647 \u0645\u062f\u0644 \u0622\u0646 \u0628\u067e\u0631\u062f\u0627\u0632\u06cc\u0645. \u0645\u062f\u0644 \u0634\u0628\u06a9\u0647 BERT \u06cc\u0627 Bidirectional Encoder Representations from Transforme<\/a> \u062f\u0631 \u062f\u0648 \u0627\u0646\u062f\u0627\u0632\u0647\u200c\u06cc \u0645\u062a\u0641\u0627\u0648\u062a \u0622\u0645\u0648\u0632\u0634 \u062f\u0627\u062f\u0647 \u0634\u062f\u0647 \u0627\u0633\u062a: BERTBASE<\/sub> \u0648 BERTLARGE<\/sub>.<\/p>\n\n\n

\n
\"\u0634\u06a9\u0644<\/figure><\/div>\n\n\n

\u0645\u062f\u0644 BERT \u062f\u0631\u0648\u0627\u0642\u0639 \u062f\u0633\u062a\u0647\u200c\u0627\u06cc \u0627\u0632 \u0627\u0646\u06a9\u0648\u062f\u0631\u0647\u0627\u06cc \u0645\u062f\u0644 \u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631 (Transformer Model) \u0627\u0633\u062a \u06a9\u0647 \u0622\u0645\u0648\u0632\u0634 \u062f\u06cc\u062f\u0647\u200c\u0627\u0646\u062f. \u0647\u0631 \u062f\u0648 \u0645\u062f\u0644 BERT \u062a\u0639\u062f\u0627\u062f \u0632\u06cc\u0627\u062f\u06cc \u0644\u0627\u06cc\u0647\u200c\u06cc \u0627\u0646\u06a9\u0648\u062f\u0631 \u062f\u0627\u0631\u0646\u062f.<\/p>\n\n\n\n

\u0645\u062f\u0644 \u0634\u0628\u06a9\u0647 BERTBASE<\/sub> \u0634\u0627\u0645\u0644 \u06f1\u06f2 \u0644\u0627\u06cc\u0647 \u0627\u0646\u06a9\u0648\u062f\u0631 (\u062f\u0631 \u0645\u0642\u0627\u0644\u0647\u200c\u06cc \u0627\u0635\u0644\u06cc Transformer Blocks \u0646\u0627\u0645\u06cc\u062f\u0647 \u0645\u06cc\u200c\u0634\u0648\u0646\u062f) \u0648 \u0645\u062f\u0644 \u0628\u0632\u0631\u06af\u200c\u062a\u0631 \u06a9\u0647 \u0647\u0645\u0627\u0646 \u0645\u062f\u0644 BERTLARGE<\/sub>  \u0627\u0633\u062a \u0634\u0627\u0645\u0644 \u06f2\u06f4 \u0644\u0627\u06cc\u0647 \u0627\u0646\u06a9\u0648\u062f\u0631 \u0627\u0633\u062a. \u0645\u062f\u0644 \u067e\u0627\u06cc\u0647 \u062f\u0631 \u0645\u062c\u0645\u0648\u0639 \u06f1\u06f1\u06f0\u0645\u06cc\u0644\u06cc\u0648\u0646 \u067e\u0627\u0631\u0627\u0645\u062a\u0631 \u0648 \u0645\u062f\u0644 \u0628\u0632\u0631\u06af \u06f3\u06f4\u06f5\u0645\u06cc\u0644\u06cc\u0648\u0646 \u067e\u0627\u0631\u0627\u0645\u062a\u0631 \u062f\u0627\u0631\u062f. \u0622\u0645\u0648\u0632\u0634 \u0647\u0631 \u06cc\u06a9 \u0627\u0632 \u0622\u0646\u200c\u0647\u0627 \u0686\u0647\u0627\u0631 \u0631\u0648\u0632 \u0632\u0645\u0627\u0646 \u0628\u0631\u062f\u0647 \u0627\u0633\u062a. \u0645\u062f\u0644 \u067e\u0627\u06cc\u0647 \u06f7\u06f6\u06f8 \u0648 \u0645\u062f\u0644 \u0628\u0632\u0631\u06af\u062a\u0631 \u06f1\u06f0\u06f2\u06f4 \u0646\u0648\u062f \u067e\u0646\u0647\u0627\u0646 \u062f\u0631 \u0644\u0627\u06cc\u0647\u200c\u06cc \u0634\u0628\u06a9\u0647 \u067e\u06cc\u0634\u062e\u0648\u0631 \u062e\u0648\u062f \u062f\u0627\u0631\u0646\u062f \u0648 \u062a\u0639\u062f\u0627\u062f \u0644\u0627\u06cc\u0647\u200c\u0647\u0627\u06cc \u062a\u0648\u062c\u0647 \u062f\u0631 \u0627\u0648\u0644\u06cc \u06f1\u06f2 \u0648 \u062f\u0631 \u062f\u0648\u0645\u06cc \u06f1\u06f6 \u0627\u0633\u062a.<\/p>\n\n\n

\n
\"\u0634\u06a9\u0644<\/figure><\/div>\n\n\n

\u0627\u0648\u0644\u06cc\u0646 \u062a\u0648\u06a9\u0646 \u0648\u0631\u0648\u062f\u06cc \u0628\u0627 \u06cc\u06a9 \u062a\u0648\u06a9\u0646 \u062e\u0627\u0635 \u0628\u0647\u200c\u0646\u0627\u0645 CLS \u0628\u0647 \u0645\u062f\u0644 \u0648\u0627\u0631\u062f \u0645\u06cc\u200c\u0634\u0648\u062f \u0648 \u062f\u0642\u06cc\u0642\u0627\u064b \u0645\u0627\u0646\u0646\u062f \u0628\u062e\u0634 \u0627\u0646\u06a9\u0648\u062f\u0631 \u0645\u062f\u0644 \u062a\u0631\u0646\u0633\u0641\u0648\u0631\u0645\u0631 \u06a9\u0647 \u062f\u0631 \u0628\u062e\u0634 \u0642\u0628\u0644\u06cc \u062f\u0631\u0628\u0627\u0631\u0647\u200c\u06cc \u0622\u0646 \u0635\u062d\u0628\u062a \u0634\u062f\u060c \u0645\u062f\u0644 BERT \u062a\u0648\u0627\u0644\u06cc \u0627\u0632 \u06a9\u0644\u0645\u0627\u062a \u0631\u0627 \u062f\u0631 \u0648\u0631\u0648\u062f\u06cc \u062f\u0631\u06cc\u0627\u0641\u062a \u0645\u06cc\u200c\u06a9\u0646\u062f. \u0627\u06cc\u0646\u200c\u0647\u0627 \u062f\u0631 \u0637\u0648\u0644 \u0644\u0627\u06cc\u0647\u200c\u0647\u0627\u06cc \u0627\u0646\u06a9\u0648\u062f\u0631 \u0645\u0648\u062c\u0648\u062f \u062d\u0631\u06a9\u062a \u0645\u06cc\u200c\u06a9\u0646\u0646\u062f. \u0647\u0631 \u0644\u0627\u06cc\u0647\u200c\u06cc \u0627\u0646\u06a9\u0648\u062f\u0631 \u06cc\u06a9 \u0644\u0627\u06cc\u0647\u200c\u06cc Self-Attention \u0648 \u06cc\u06a9 \u0644\u0627\u06cc\u0647\u200c\u06cc \u0634\u0628\u06a9\u0647\u200c\u06cc \u067e\u06cc\u0634\u062e\u0648\u0631 \u0631\u0627 \u0634\u0627\u0645\u0644 \u0627\u0633\u062a \u06a9\u0647 \u0648\u0631\u0648\u062f\u06cc\u200c\u0647\u0627 \u0627\u0632 \u0622\u0646\u200c\u0647\u0627 \u0645\u06cc\u200c\u06af\u0630\u0631\u0646\u062f \u0648 \u0633\u067e\u0633 \u0628\u0647 \u0644\u0627\u06cc\u0647\u200c\u06cc \u0627\u0646\u06a9\u0648\u062f\u0631 \u0628\u0639\u062f\u06cc \u0648\u0627\u0631\u062f \u0645\u06cc\u200c\u0634\u0648\u0646\u062f.<\/p>\n\n\n

\n
\"\u0634\u06a9\u0644<\/figure><\/div>\n\n\n

\u0647\u0631 \u0645\u0648\u0642\u0639\u06cc\u062a \u06cc\u06a9 \u0628\u0631\u062f\u0627\u0631 \u0628\u0647\u200c\u0627\u0646\u062f\u0627\u0632\u0647\u200c\u06cc \u0646\u0648\u062f\u0647\u0627\u06cc \u0644\u0627\u06cc\u0647\u200c\u06cc \u067e\u0646\u0647\u0627\u0646 \u0631\u0627 \u062f\u0631 \u062e\u0631\u0648\u062c\u06cc \u0627\u0631\u0627\u0626\u0647 \u0645\u06cc\u200c\u06a9\u0646\u062f\u061b \u0628\u0631\u0627\u06cc \u0645\u062b\u0627\u0644 \u062f\u0631 \u0645\u062f\u0644 BERTBASE <\/sub>\u0627\u0646\u062f\u0627\u0632\u0647\u200c\u06cc \u0644\u0627\u06cc\u0647\u200c\u06cc \u067e\u0646\u0647\u0627\u0646 \u06f7\u06f6\u06f8 \u0627\u0633\u062a\u061b \u067e\u0633 \u062f\u0631 \u062e\u0631\u0648\u062c\u06cc \u0628\u0631\u062f\u0627\u0631\u0647\u0627\u06cc\u06cc \u0628\u0647\u200c\u0627\u0646\u062f\u0627\u0632\u0647\u200c\u06cc \u06f7\u06f6\u06f8 \u062e\u0648\u0627\u0647\u06cc\u0645 \u062f\u0627\u0634\u062a. \u062f\u0631 \u0645\u0633\u0626\u0644\u0647\u200c\u06cc \u0637\u0628\u0642\u0647\u200c\u0628\u0646\u062f\u06cc \u0641\u0642\u0637 \u0628\u0631\u062f\u0627\u0631 \u062e\u0631\u0648\u062c\u06cc \u0627\u0648\u0644 \u0645\u062d\u0644 \u062a\u0645\u0631\u06a9\u0632 \u0645\u0627\u0633\u062a \u06a9\u0647 \u0648\u0631\u0648\u062f\u06cc \u0622\u0646 \u0647\u0645\u0627\u0646 \u062a\u0648\u06a9\u0646 CLS \u0628\u0648\u062f.<\/p>\n\n\n

\n
\"\u0634\u06a9\u0644<\/figure><\/div>\n\n\n

\u0627\u06cc\u0646 \u0628\u0631\u062f\u0627\u0631 \u062e\u0631\u0648\u062c\u06cc \u062f\u0631 \u0645\u0633\u0626\u0644\u0647\u200c\u06cc \u0637\u0628\u0642\u0647\u200c\u0628\u0646\u062f\u06cc \u0628\u0647\u200c\u0639\u0646\u0648\u0627\u0646 \u0648\u0631\u0648\u062f\u06cc \u0628\u0647 \u0644\u0627\u06cc\u0647\u200c\u06cc \u0637\u0628\u0642\u0647\u200c\u0628\u0646\u062f\u06cc \u0648\u0627\u0631\u062f \u0645\u06cc\u200c\u0634\u0648\u062f \u062a\u0627 \u0646\u062a\u06cc\u062c\u0647 \u0631\u0627 \u062f\u0631 \u062e\u0631\u0648\u062c\u06cc \u0646\u0645\u0627\u06cc\u0634 \u062f\u0647\u062f.<\/p>\n\n\n

\n
\"\u0634\u06a9\u0644<\/figure><\/div>\n\n
<\/a><\/div><\/div>\n\n\n\n

\u0622\u0645\u0648\u0632\u0634 \u0645\u062f\u0644 BERT<\/strong><\/h2>\n\n\n\n

\u0628\u0631\u0627\u06cc \u0622\u0645\u0648\u0632\u0634 BERT \u0627\u0632 \u0627\u06cc\u0646 \u062f\u0648 \u0631\u0648\u0634 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0634\u062f\u0647 \u0627\u0633\u062a:<\/p>\n\n\n\n

\u06f1. \u0645\u062f\u0644 \u0632\u0628\u0627\u0646\u06cc \u0646\u0642\u0627\u0628\u200c\u062f\u0627\u0631 (Masked Language Model<\/strong>)<\/h3>\n\n\n\n

\u06f1\u06f5 \u062f\u0631\u0635\u062f \u0644\u063a\u0627\u062a \u0645\u062a\u0646 \u0628\u0627 \u062a\u0648\u06a9\u0646 [MASK] \u062c\u0627\u06cc\u06af\u0632\u06cc\u0646 \u0648 \u0628\u0647 \u0648\u0631\u0648\u062f\u06cc BERT \u062f\u0627\u062f\u0647 \u0645\u06cc\u200c\u0634\u0648\u0646\u062f. \u06cc\u06a9 \u0644\u0627\u06cc\u0647\u200c\u06cc \u0637\u0628\u0642\u0647\u200c\u0628\u0646\u062f\u06cc \u0628\u0647\u200c\u0627\u0646\u062f\u0627\u0632\u0647\u200c\u06cc \u062a\u0639\u062f\u0627\u062f \u0644\u063a\u0627\u062a \u0628\u0647\u200c\u0647\u0645\u0631\u0627\u0647 \u0644\u0627\u06cc\u0647\u200c\u06cc \u0633\u0627\u0641\u062a\u200c\u0645\u06a9\u0633 \u0628\u0647 \u062e\u0631\u0648\u062c\u06cc\u0650 \u0627\u0646\u06a9\u0648\u062f\u0631 \u0627\u0636\u0627\u0641\u0647 \u0645\u06cc\u200c\u0634\u0648\u062f. \u062f\u0631 \u0627\u06cc\u0646 \u0631\u0648\u0634 \u0628\u0627\u06cc\u062f \u0644\u063a\u0627\u062a \u062d\u0630\u0641\u200c\u0634\u062f\u0647 \u0631\u0627 \u0645\u062f\u0644 \u062d\u062f\u0633 \u0628\u0632\u0646\u062f. \u0622\u0645\u0648\u0632\u0634 \u0627\u06cc\u0646 \u0634\u0628\u06a9\u0647\u200c\u06cc \u062f\u0648\u0633\u0648\u06cc\u0647 (Bidirectional Network) \u0627\u0633\u062a \u0648 \u0628\u0647 \u06a9\u0644\u0645\u0627\u062a \u0642\u0628\u0644\u06cc \u0648 \u0628\u0639\u062f\u06cc \u062d\u0633\u0627\u0633 \u0627\u0633\u062a.<\/p>\n\n\n

\n
\"\u0634\u06a9\u0644<\/figure><\/div>\n\n\n

\u06f2. \u067e\u06cc\u0634\u200c\u0628\u06cc\u0646\u06cc \u062c\u0645\u0644\u0647\u200c\u06cc \u0628\u0639\u062f\u06cc (Next Sentence Prediction \/ NSP)<\/strong><\/h3>\n\n\n\n

\u0628\u0647\u200c\u0645\u0646\u0638\u0648\u0631 \u0627\u06cc\u0646\u06a9\u0647 \u0645\u062f\u0644 BERT \u06a9\u0627\u0631\u0627\u06cc\u06cc \u0628\u0647\u062a\u0631\u06cc \u0631\u0627 \u062f\u0631 \u062a\u0634\u062e\u06cc\u0635 \u0627\u0631\u062a\u0628\u0627\u0637 \u0645\u06cc\u0627\u0646 \u062c\u0645\u0644\u0627\u062a \u062f\u0627\u0634\u062a\u0647 \u0628\u0627\u0634\u062f\u060c \u0628\u0647 \u0645\u0631\u062d\u0644\u0647\u200c\u06cc \u0622\u0645\u0648\u0632\u0634 \u062a\u0633\u06a9 \u062f\u06cc\u06af\u0631\u06cc \u0646\u06cc\u0632 \u0627\u0636\u0627\u0641\u0647 \u0634\u062f \u06a9\u0647 \u062f\u0631 \u0622\u0646 \u0648\u0638\u06cc\u0641\u0647\u200c\u06cc \u0645\u062f\u0644 \u0627\u06cc\u0646 \u0628\u0627\u0631 \u0627\u06cc\u0646 \u0627\u0633\u062a \u06a9\u0647 \u06cc\u0627\u062f \u0628\u06af\u06cc\u0631\u062f \u0627\u06cc\u0646 \u062f\u0648 \u062c\u0645\u0644\u0647 \u062f\u0648 \u062c\u0645\u0644\u0647\u200c\u06cc \u0645\u062a\u0648\u0627\u0644\u06cc \u0647\u0633\u062a\u0646\u062f \u06cc\u0627 \u0646\u0647. \u062f\u0631 \u0648\u0631\u0648\u062f\u06cc \u062f\u0648 \u062c\u0645\u0644\u0647\u200c \u0631\u0627 \u062a\u0648\u06a9\u0646 [SEP] \u0627\u0632 \u0647\u0645 \u062c\u062f\u0627 \u0645\u06cc\u200c\u06a9\u0646\u062f.<\/p>\n\n\n

\n
\"\u0634\u06a9\u0644<\/figure><\/div>\n\n
<\/a><\/div><\/div>\n\n\n\n

\u0631\u0648\u0634\u200c\u0647\u0627\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u0645\u062f\u0644 \u0634\u0628\u06a9\u0647 \u0628\u0631\u062a (BERT<\/strong>)<\/h2>\n\n\n\n

\u0628\u0647 \u062f\u0648 \u0631\u0648\u0634 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646 \u0627\u0632 BERT \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0631\u062f:<\/p>\n\n\n\n

\u06f1. \u062a\u0646\u0638\u06cc\u0645 \u062f\u0642\u06cc\u0642 (Fine-tuning<\/strong>)<\/h3>\n\n\n\n

\u0648\u0631\u0648\u062f\u06cc \u0627\u06cc\u0646 \u0645\u062f\u0644 \u06cc\u06a9 \u0641\u0647\u0631\u0633\u062a \u0628\u0647 \u0637\u0648\u0644 \u06f5\u06f1\u06f2 \u062a\u0648\u06a9\u0646 \u0627\u0633\u062a. \u0627\u06cc\u0646 \u062a\u0648\u06a9\u0646\u200c\u0647\u0627 \u0627\u0632 \u06f1\u06f2 \u0644\u0627\u06cc\u0647 (\u062f\u0631 \u0645\u062f\u0644 \u067e\u0627\u06cc\u0647) \u0645\u06cc\u200c\u06af\u0630\u0631\u0646\u062f \u0648 \u062f\u0631 \u0627\u0646\u062a\u0647\u0627 \u06cc\u06a9 \u0628\u0631\u062f\u0627\u0631 \u0628\u0627 \u0637\u0648\u0644 \u06f7\u06f6\u06f8 (\u062f\u0631 \u0645\u062f\u0644 \u067e\u0627\u06cc\u0647) \u0628\u0647\u200c\u0639\u0646\u0648\u0627\u0646 \u062e\u0631\u0648\u062c\u06cc \u0628\u0631\u06af\u0631\u062f\u0627\u0646\u062f\u0647 \u0645\u06cc\u200c\u0634\u0648\u062f. \u0627\u06cc\u0646 \u0628\u0631\u062f\u0627\u0631 \u0648\u0631\u0648\u062f\u06cc \u0645\u062f\u0644 \u062f\u06cc\u06af\u0631\u06cc \u0628\u0631\u0627\u06cc \u0645\u0633\u0626\u0644\u0647\u200c\u06cc \u062e\u0648\u062f\u0645\u0627\u0646 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u062f \u0628\u0627\u0634\u062f\u061b \u0645\u062b\u0644\u0627\u064b \u062f\u0631 \u0634\u06a9\u0644 \u06f8 \u0627\u0632 \u0645\u062f\u0644 \u0628\u0631\u062a \u0628\u0631\u0627\u06cc \u062a\u0634\u062e\u06cc\u0635 \u0645\u062b\u0628\u062a \u06cc\u0627 \u0645\u0646\u0641\u06cc\u200c\u0628\u0648\u062f\u0646 \u062c\u0645\u0644\u0647 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0634\u062f\u0647 \u0627\u0633\u062a. \u062e\u0631\u0648\u062c\u06cc \u0645\u062f\u0644 \u0628\u0631\u062a \u0628\u0647 \u06cc\u06a9 \u0644\u0627\u06cc\u0647\u200c\u06cc \u0637\u0628\u0642\u0647\u200c\u0628\u0646\u062f\u06cc\u200c\u06a9\u0646\u0646\u062f\u0647 (\u0634\u0628\u06a9\u0647\u200c\u06cc \u067e\u06cc\u0634\u200c\u062e\u0648\u0631 \u0648 \u062a\u0627\u0628\u0639 \u0633\u0627\u0641\u062a\u200c\u0645\u06a9\u0633) \u0648\u0627\u0631\u062f \u0645\u06cc\u200c\u0634\u0648\u062f \u062a\u0627 \u0627\u062d\u062a\u0645\u0627\u0644 \u0647\u0631 \u06a9\u0644\u0627\u0633 \u0631\u0627 \u0628\u0647 \u0645\u0627 \u0628\u062f\u0647\u062f.<\/p>\n\n\n

\n
\"\u0634\u06a9\u0644<\/figure><\/div>\n\n\n

\u06f2. \u0627\u0633\u062a\u062e\u0631\u0627\u062c \u0648\u06cc\u0698\u06af\u06cc (Feature Extraction<\/strong>)<\/h3>\n\n\n\n

\u0639\u0644\u0627\u0648\u0647 \u0628\u0631 Fine-tuning \u0628\u0647 \u0631\u0648\u0634 \u0627\u0633\u062a\u062e\u0631\u0627\u062c \u0648\u06cc\u0698\u06af\u06cc \u0647\u0645 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646 \u0627\u0632 \u0645\u062f\u0644 BERT \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0631\u062f. \u0628\u0647\u200c\u0635\u0648\u0631\u062a\u06cc\u200c\u06a9\u0647 \u062e\u0631\u0648\u062c\u06cc \u0644\u0627\u06cc\u0647\u200c\u0647\u0627\u06cc \u0645\u06cc\u0627\u0646\u06cc \u0627\u0646\u06a9\u0648\u062f\u0631 \u0631\u0627 \u0628\u0647\u200c\u0639\u0646\u0648\u0627\u0646 \u062a\u0639\u0628\u06cc\u0647\u200c\u06cc \u06a9\u0644\u0645\u0627\u062a \u062f\u0631 \u0646\u0638\u0631 \u0628\u06af\u06cc\u0631\u06cc\u0645 \u0648 \u0645\u062f\u0644 \u062e\u0648\u062f \u0631\u0627 \u0628\u0627 \u0622\u0646\u200c\u0647\u0627 \u0622\u0645\u0648\u0632\u0634 \u062f\u0647\u06cc\u0645. \u062f\u0631 \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u062a\u0639\u0628\u06cc\u0647\u200c\u06cc \u06a9\u0644\u0645\u0627\u062a \u0642\u0628\u0644\u06cc \u0645\u0627\u0646\u0646\u062f GloVe \u0648 Word2vec \u0628\u0647 \u0647\u0631 \u06a9\u0644\u0645\u0647 \u06cc\u06a9 \u0628\u0631\u062f\u0627\u0631 \u0648\u06cc\u0698\u06af\u06cc \u0627\u062e\u062a\u0635\u0627\u0635 \u0645\u06cc\u200c\u06cc\u0627\u0628\u062f.<\/p>\n\n\n\n

\u0628\u0631\u0627\u06cc \u0645\u062b\u0627\u0644\u060c \u0628\u0647 \u0645\u0639\u0646\u0627\u06cc \u06a9\u0644\u0645\u0647\u200c\u06cc \u00ab\u062e\u0648\u062f\u0631\u0648\u00bb \u062f\u0631 \u0627\u06cc\u0646 \u062f\u0648 \u062c\u0645\u0644\u0647 \u062a\u0648\u062c\u0647 \u06a9\u0646\u06cc\u062f:<\/p>\n\n\n\n