{"id":18260,"date":"2024-07-24T21:08:32","date_gmt":"2024-07-24T16:38:32","guid":{"rendered":"https:\/\/cafetadris.com\/blog\/?p=18260"},"modified":"2024-07-24T21:08:35","modified_gmt":"2024-07-24T16:38:35","slug":"%da%86%da%af%d9%88%d9%86%d9%87-spark-%d9%88-hadoop-%d8%aa%d8%ad%d9%88%d9%84-%d8%af%d8%b1-%d9%be%d8%b1%d8%af%d8%a7%d8%b2%d8%b4-%d8%af%d8%a7%d8%af%d9%87%d9%87%d8%a7%db%8c-%d8%a8%d8%b2%d8%b1","status":"publish","type":"post","link":"https:\/\/cafetadris.com\/blog\/%da%86%da%af%d9%88%d9%86%d9%87-spark-%d9%88-hadoop-%d8%aa%d8%ad%d9%88%d9%84-%d8%af%d8%b1-%d9%be%d8%b1%d8%af%d8%a7%d8%b2%d8%b4-%d8%af%d8%a7%d8%af%d9%87%d9%87%d8%a7%db%8c-%d8%a8%d8%b2%d8%b1\/","title":{"rendered":"\u0686\u06af\u0648\u0646\u0647 Spark \u0648 Hadoop \u062a\u062d\u0648\u0644 \u062f\u0631 \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0628\u0632\u0631\u06af \u0631\u0627 \u0645\u0645\u06a9\u0646 \u0645\u06cc\u200c\u0633\u0627\u0632\u0646\u062f"},"content":{"rendered":"\n<p>\u0641\u0646\u0627\u0648\u0631\u06cc\u200c\u0647\u0627\u06cc \u0628\u06cc\u06af \u062f\u06cc\u062a\u0627 \u0628\u0631\u0627\u06cc \u067e\u0627\u0633\u062e\u06af\u0648\u06cc\u06cc \u0628\u0647 \u0686\u0627\u0644\u0634\u200c\u0647\u0627\u06cc \u067e\u0631\u062f\u0627\u0632\u0634 \u0648 \u062a\u062d\u0644\u06cc\u0644 \u0645\u062c\u0645\u0648\u0639\u0647 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0628\u0632\u0631\u06af \u0628\u0647 \u0635\u0648\u0631\u062a \u06a9\u0627\u0631\u0622\u0645\u062f \u0628\u0647 \u0648\u062c\u0648\u062f \u0622\u0645\u062f\u0647\u200c\u0627\u0646\u062f. \u0627\u06cc\u0646 \u0641\u0646\u0627\u0648\u0631\u06cc\u200c\u0647\u0627 \u0634\u0627\u0645\u0644 \u0686\u0627\u0631\u0686\u0648\u0628\u200c\u0647\u0627\u06cc\u06cc \u0645\u0627\u0646\u0646\u062f Apache Hadoop \u0648 Apache Spark \u0645\u06cc\u200c\u0628\u0627\u0634\u0646\u062f \u06a9\u0647 \u0631\u0627\u0647\u200c\u062d\u0644\u200c\u0647\u0627\u06cc \u0645\u0642\u06cc\u0627\u0633\u200c\u067e\u0630\u06cc\u0631 \u0648 \u0645\u0642\u0631\u0648\u0646\u200c\u0628\u0647\u200c\u0635\u0631\u0641\u0647\u200c\u0627\u06cc \u0628\u0631\u0627\u06cc \u0645\u062f\u06cc\u0631\u06cc\u062a \u062d\u062c\u0645 \u0639\u0638\u06cc\u0645 \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0627\u0631\u0627\u0626\u0647 \u0645\u06cc\u200c\u062f\u0647\u0646\u062f. \u0628\u0627 \u0628\u0647\u0631\u0647\u200c\u06af\u06cc\u0631\u06cc \u0627\u0632 \u0627\u06cc\u0646 \u0627\u0628\u0632\u0627\u0631\u0647\u0627\u060c \u0633\u0627\u0632\u0645\u0627\u0646\u200c\u0647\u0627 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u0646\u062f \u0645\u062d\u0627\u0633\u0628\u0627\u062a \u067e\u06cc\u0686\u06cc\u062f\u0647\u060c \u062a\u062d\u0644\u06cc\u0644\u200c\u0647\u0627\u06cc \u0628\u0644\u0627\u062f\u0631\u0646\u06af \u0648 \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0645\u0627\u0634\u06cc\u0646 \u0631\u0627 \u062f\u0631 \u0645\u0642\u06cc\u0627\u0633 \u0628\u0632\u0631\u06af \u0627\u0646\u062c\u0627\u0645 \u062f\u0647\u0646\u062f. \u0641\u0646\u0627\u0648\u0631\u06cc\u200c\u0647\u0627\u06cc \u0628\u06cc\u06af \u062f\u06cc\u062a\u0627 \u0628\u0647 \u06a9\u0633\u0628\u200c\u0648\u06a9\u0627\u0631\u0647\u0627 \u0627\u06cc\u0646 \u0627\u0645\u06a9\u0627\u0646 \u0631\u0627 \u0645\u06cc\u200c\u062f\u0647\u0646\u062f \u06a9\u0647 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u062e\u0627\u0645 \u0631\u0627 \u0628\u0647 \u0628\u06cc\u0646\u0634\u200c\u0647\u0627\u06cc \u0642\u0627\u0628\u0644 \u0627\u062c\u0631\u0627 \u062a\u0628\u062f\u06cc\u0644 \u06a9\u0646\u0646\u062f. \u062f\u0631 \u0627\u06cc\u0646 \u0645\u0642\u0627\u0644\u0647 \u0628\u0627 \u0639\u0645\u06cc\u0642\u200c\u062a\u0631 \u0634\u062f\u0646 \u062f\u0631 \u0632\u0645\u06cc\u0646\u0647\u200c\u0647\u0627\u06cc <a rel=\"noreferrer noopener\" href=\"https:\/\/www.usenix.org\/legacy\/event\/hotcloud10\/tech\/full_papers\/Zaharia.pdf\" data-type=\"URL\" data-id=\"https:\/\/www.usenix.org\/legacy\/event\/hotcloud10\/tech\/full_papers\/Zaharia.pdf\" target=\"_blank\"><mark style=\"background-color:#ffffff\" class=\"has-inline-color has-vivid-cyan-blue-color\">Spark \u0648 Hadoop<\/mark><\/a>\u060c \u0628\u0631\u0631\u0633\u06cc \u062e\u0648\u0627\u0647\u06cc\u0645 \u06a9\u0631\u062f \u06a9\u0647 \u0686\u06af\u0648\u0646\u0647 \u0627\u06cc\u0646 \u0641\u0646\u0627\u0648\u0631\u06cc\u200c\u0647\u0627 \u067e\u0631\u062f\u0627\u0632\u0634 \u0648 \u062a\u062d\u0644\u06cc\u0644 \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0631\u0627 \u0645\u062a\u062d\u0648\u0644 \u0645\u06cc\u200c\u06a9\u0646\u0646\u062f.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">\u0627\u0647\u0645\u06cc\u062a \u06a9\u0644\u0627\u0646 \u062f\u0627\u062f\u0647\u200c\u0647\u0627<\/h2>\n\n\n\n<p>\u062f\u0631 \u0639\u0635\u0631 \u062f\u06cc\u062c\u06cc\u062a\u0627\u0644 \u0627\u0645\u0631\u0648\u0632\u060c \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0628\u0627 \u0633\u0631\u0639\u062a \u0628\u06cc\u200c\u0633\u0627\u0628\u0642\u0647\u200c\u0627\u06cc \u0627\u0632 \u0645\u0646\u0627\u0628\u0639 \u0645\u062a\u0639\u062f\u062f \u0645\u0627\u0646\u0646\u062f \u0634\u0628\u06a9\u0647\u200c\u0647\u0627\u06cc \u0627\u062c\u062a\u0645\u0627\u0639\u06cc\u060c \u062d\u0633\u06af\u0631\u0647\u0627\u060c \u0633\u0648\u0627\u0628\u0642 \u062a\u0631\u0627\u06a9\u0646\u0634\u200c\u0647\u0627 \u0648 \u0645\u0648\u0627\u0631\u062f \u062f\u06cc\u06af\u0631 \u062a\u0648\u0644\u06cc\u062f \u0645\u06cc\u200c\u0634\u0648\u0646\u062f. \u0627\u06cc\u0646 \u0627\u0646\u0641\u062c\u0627\u0631 \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0628\u0647 \u0638\u0647\u0648\u0631 \u0645\u0641\u0647\u0648\u0645 &#8220;\u06a9\u0644\u0627\u0646\u200c\u062f\u0627\u062f\u0647&#8221; \u06cc\u0627 &#8220;\u0628\u06cc\u06af \u062f\u06cc\u062a\u0627&#8221; \u0645\u0646\u062c\u0631 \u0634\u062f\u0647 \u0627\u0633\u062a \u06a9\u0647 \u0628\u0647 \u0645\u062c\u0645\u0648\u0639\u0647 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0628\u0633\u06cc\u0627\u0631 \u0628\u0632\u0631\u06af\u06cc \u0627\u0637\u0644\u0627\u0642 \u0645\u06cc\u200c\u0634\u0648\u062f \u06a9\u0647 \u0646\u0645\u06cc\u200c\u062a\u0648\u0627\u0646 \u0622\u0646\u0647\u0627 \u0631\u0627 \u0628\u0647 \u0631\u0627\u062d\u062a\u06cc \u0628\u0627 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u0627\u0628\u0632\u0627\u0631\u0647\u0627\u06cc \u0633\u0646\u062a\u06cc \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0627\u062f\u0647\u060c \u0645\u062f\u06cc\u0631\u06cc\u062a \u06cc\u0627 \u067e\u0631\u062f\u0627\u0632\u0634 \u06a9\u0631\u062f. \u0627\u0647\u0645\u06cc\u062a \u06a9\u0644\u0627\u0646\u200c\u062f\u0627\u062f\u0647 \u062f\u0631 \u067e\u062a\u0627\u0646\u0633\u06cc\u0644 \u0622\u0646 \u0628\u0631\u0627\u06cc \u0627\u0631\u0627\u0626\u0647 \u0628\u06cc\u0646\u0634\u200c\u0647\u0627\u06cc \u0627\u0631\u0632\u0634\u0645\u0646\u062f \u0648 \u0647\u062f\u0627\u06cc\u062a \u062a\u0635\u0645\u06cc\u0645\u200c\u06af\u06cc\u0631\u06cc \u062f\u0631 \u0635\u0646\u0627\u06cc\u0639 \u0645\u062e\u062a\u0644\u0641 \u0627\u0632 \u062c\u0645\u0644\u0647 \u0628\u0647\u062f\u0627\u0634\u062a \u0648 \u062f\u0631\u0645\u0627\u0646\u060c \u0627\u0645\u0648\u0631 \u0645\u0627\u0644\u06cc\u060c \u062e\u0631\u062f\u0647\u200c\u0641\u0631\u0648\u0634\u06cc \u0648 \u062d\u0645\u0644 \u0648 \u0646\u0642\u0644 \u0646\u0647\u0641\u062a\u0647 \u0627\u0633\u062a.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">\u0645\u0631\u0648\u0631\u06cc \u0628\u0631 Spark \u0648 Hadoop<\/h2>\n\n\n\n<p>Apache Hadoop \u0648 Apache Spark \u062f\u0648 \u0686\u0627\u0631\u0686\u0648\u0628 \u067e\u0631\u06a9\u0627\u0631\u0628\u0631\u062f \u0628\u0631\u0627\u06cc \u0645\u062f\u06cc\u0631\u06cc\u062a \u06a9\u0644\u0627\u0646\u200c\u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0647\u0633\u062a\u0646\u062f. Hadoop \u06a9\u0647 \u062f\u0631 \u0633\u0627\u0644 \u06f2\u06f0\u06f0\u06f6 \u0645\u0639\u0631\u0641\u06cc \u0634\u062f\u060c \u0628\u0627 \u0633\u06cc\u0633\u062a\u0645 \u0641\u0627\u06cc\u0644 \u062a\u0648\u0632\u06cc\u0639\u200c\u0634\u062f\u0647 \u062e\u0648\u062f (<a rel=\"noreferrer noopener\" href=\"https:\/\/en.wikipedia.org\/?title=HDFS&amp;redirect=no\" data-type=\"URL\" data-id=\"https:\/\/en.wikipedia.org\/?title=HDFS&amp;redirect=no\" target=\"_blank\"><mark style=\"background-color:#ffffff\" class=\"has-inline-color has-vivid-cyan-blue-color\">HDFS<\/mark><\/a>) \u0648 \u0645\u062f\u0644 \u0628\u0631\u0646\u0627\u0645\u0647\u200c\u0646\u0648\u06cc\u0633\u06cc <a rel=\"noreferrer noopener\" href=\"https:\/\/betterprogramming.pub\/understanding-mapreduce-303c02fcbd9\" data-type=\"URL\" data-id=\"https:\/\/betterprogramming.pub\/understanding-mapreduce-303c02fcbd9\" target=\"_blank\"><mark style=\"background-color:#ffffff\" class=\"has-inline-color has-vivid-cyan-blue-color\">MapReduce<\/mark><\/a>\u060c \u0630\u062e\u06cc\u0631\u0647\u200c\u0633\u0627\u0632\u06cc \u0648 \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0631\u0627 \u0645\u062a\u062d\u0648\u0644 \u06a9\u0631\u062f. \u0628\u0627 \u0627\u06cc\u0646 \u062d\u0627\u0644\u060c \u0627\u062a\u06a9\u0627\u06cc \u0622\u0646 \u0628\u0647 \u067e\u0631\u062f\u0627\u0632\u0634 \u0645\u0628\u062a\u0646\u06cc \u0628\u0631 \u062f\u06cc\u0633\u06a9 \u0645\u0646\u062c\u0631 \u0628\u0647 \u06af\u0644\u0648\u06af\u0627\u0647\u200c\u0647\u0627\u06cc \u0639\u0645\u0644\u06a9\u0631\u062f\u06cc \u0634\u062f.<\/p>\n\n\n\n<p>Spark \u06a9\u0647 \u062f\u0631 \u0633\u0627\u0644 \u06f2\u06f0\u06f0\u06f9 \u062a\u0648\u0633\u0637 AMPLab \u062f\u0631 \u062f\u0627\u0646\u0634\u06af\u0627\u0647 UC Berkeley \u062a\u0648\u0633\u0639\u0647 \u06cc\u0627\u0641\u062a\u060c \u0628\u0647 \u0639\u0646\u0648\u0627\u0646 \u062c\u0627\u06cc\u06af\u0632\u06cc\u0646\u06cc \u0633\u0631\u06cc\u0639\u200c\u062a\u0631 \u0648 \u0627\u0646\u0639\u0637\u0627\u0641\u200c\u067e\u0630\u06cc\u0631\u062a\u0631 \u0628\u0631\u0627\u06cc Hadoop \u0638\u0647\u0648\u0631 \u06a9\u0631\u062f. Spark \u0628\u0627 \u0628\u0647\u0631\u0647\u200c\u06af\u06cc\u0631\u06cc \u0627\u0632 \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0631 \u062d\u0627\u0641\u0638\u0647\u060c \u0639\u0645\u0644\u06a9\u0631\u062f \u0631\u0627 \u0628\u0631\u0627\u06cc \u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645\u200c\u0647\u0627\u06cc \u062a\u06a9\u0631\u0627\u0631\u06cc \u0648 \u06a9\u0648\u0626\u0631\u06cc\u200c\u0647\u0627\u06cc \u062a\u0639\u0627\u0645\u0644\u06cc \u0628\u0647 \u0637\u0648\u0631 \u0642\u0627\u0628\u0644 \u062a\u0648\u062c\u0647\u06cc \u0627\u0641\u0632\u0627\u06cc\u0634 \u0645\u06cc\u200c\u062f\u0647\u062f. \u0639\u0644\u0627\u0648\u0647 \u0628\u0631 \u0627\u06cc\u0646\u060c API\u200c\u0647\u0627\u06cc \u063a\u0646\u06cc Spark \u0648 \u067e\u0634\u062a\u06cc\u0628\u0627\u0646\u06cc \u0645\u062a\u0646\u0648\u0639\u060c \u0627\u0632 \u062c\u0645\u0644\u0647 \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0633\u062a\u0647\u200c\u0627\u06cc (batch processing)\u060c \u067e\u0631\u062f\u0627\u0632\u0634 \u062c\u0631\u06cc\u0627\u0646\u200c\u0647\u0627\u06cc \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0632\u0646\u062f\u0647 (Streaming)\u060c \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0645\u0627\u0634\u06cc\u0646\u06cc (machine learning) \u0648 \u067e\u0631\u062f\u0627\u0632\u0634 \u06af\u0631\u0627\u0641 (graph processing)\u060c \u0622\u0646 \u0631\u0627 \u0628\u0647 \u06af\u0632\u06cc\u0646\u0647\u200c\u0627\u06cc \u0645\u062d\u0628\u0648\u0628 \u0628\u0631\u0627\u06cc \u0628\u0631\u0646\u0627\u0645\u0647\u200c\u0647\u0627\u06cc \u062f\u0627\u062f\u0647\u200c\u0645\u062d\u0648\u0631 \u0645\u062f\u0631\u0646 \u062a\u0628\u062f\u06cc\u0644 \u06a9\u0631\u062f\u0647 \u0627\u0633\u062a.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">\u0647\u062f\u0641 \u0645\u0642\u0627\u0644\u0647<\/h2>\n\n\n\n<p>\u0627\u06cc\u0646 \u0645\u0642\u0627\u0644\u0647 \u0628\u0627 \u0647\u062f\u0641 \u0627\u0631\u0627\u0626\u0647 \u0645\u0642\u0627\u06cc\u0633\u0647 \u062c\u0627\u0645\u0639 \u0628\u06cc\u0646 Spark \u0648 Hadoop\u060c \u0628\u0647 \u0628\u0631\u0631\u0633\u06cc \u062a\u0641\u0627\u0648\u062a\u200c\u0647\u0627\u06cc \u0645\u0639\u0645\u0627\u0631\u06cc\u060c \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u062f\u0627\u062f\u0647\u060c \u06a9\u0627\u0631\u0628\u0631\u062f\u0647\u0627 \u0648 \u0645\u0639\u06cc\u0627\u0631\u0647\u0627\u06cc \u0639\u0645\u0644\u06a9\u0631\u062f \u0622\u0646\u0647\u0627 \u0645\u06cc\u200c\u067e\u0631\u062f\u0627\u0632\u062f. \u0628\u0627 \u0628\u0631\u0631\u0633\u06cc \u0646\u0642\u0627\u0637 \u0642\u0648\u062a \u0648 \u0636\u0639\u0641 \u0647\u0631 \u0686\u0627\u0631\u0686\u0648\u0628\u060c \u062e\u0648\u0627\u0646\u0646\u062f\u06af\u0627\u0646 \u062f\u0631\u06a9 \u0639\u0645\u06cc\u0642\u200c\u062a\u0631\u06cc \u0627\u0632 \u0627\u06cc\u0646 \u062f\u0648 \u0686\u0627\u0631\u0686\u0648\u0628 \u062e\u0648\u0627\u0647\u0646\u062f \u06cc\u0627\u0641\u062a. \u0639\u0644\u0627\u0648\u0647 \u0628\u0631 \u0627\u06cc\u0646\u060c \u0645\u0642\u0627\u0644\u0647 \u0628\u0647 \u06cc\u06a9\u067e\u0627\u0631\u0686\u0647\u200c\u0633\u0627\u0632\u06cc \u0627\u0646\u0628\u0627\u0631\u0647\u0627\u06cc \u062f\u0627\u062f\u0647 (data warehouses) \u0648 \u062f\u0631\u06cc\u0627\u0686\u0647\u200c\u0647\u0627\u06cc \u062f\u0627\u062f\u0647 (data lakes) \u0628\u0627 \u0627\u06cc\u0646 \u0686\u0627\u0631\u0686\u0648\u0628\u200c\u0647\u0627 \u062e\u0648\u0627\u0647\u062f \u067e\u0631\u062f\u0627\u062e\u062a \u0648 \u0647\u0645\u0686\u0646\u06cc\u0646 \u0646\u0645\u0648\u0646\u0647\u200c \u06a9\u062f\u0647\u0627\u06cc \u067e\u0627\u06cc\u062a\u0648\u0646 \u0628\u0627 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 PySpark \u0627\u0631\u0627\u0626\u0647 \u062e\u0648\u0627\u0647\u062f \u0634\u062f.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">\u0628\u06cc\u06af \u062f\u06cc\u062a\u0627 (Big Data)<\/h2>\n\n\n\n<h3 class=\"wp-block-heading\">\u062a\u0639\u0631\u06cc\u0641 \u0648 \u0648\u06cc\u0698\u06af\u06cc\u200c\u0647\u0627<\/h3>\n\n\n\n<p>\u0628\u06cc\u06af \u062f\u06cc\u062a\u0627 \u0628\u0627 \u0633\u0647 \u0648\u06cc\u0698\u06af\u06cc \u0627\u0635\u0644\u06cc \u0634\u0646\u0627\u062e\u062a\u0647 \u0645\u06cc\u200c\u0634\u0648\u062f: \u062d\u062c\u0645 (Volume)\u060c \u0633\u0631\u0639\u062a (Velocity) \u0648 \u062a\u0646\u0648\u0639 (Variety). \u062d\u062c\u0645 \u0628\u0647 \u0645\u0642\u062f\u0627\u0631 \u0628\u0633\u06cc\u0627\u0631 \u0632\u06cc\u0627\u062f \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u062a\u0648\u0644\u06cc\u062f \u0634\u062f\u0647 \u0627\u0634\u0627\u0631\u0647 \u062f\u0627\u0631\u062f \u06a9\u0647 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u062f \u0627\u0632 \u062a\u0631\u0627\u0628\u0627\u06cc\u062a \u062a\u0627 \u067e\u062a\u0627\u0628\u0627\u06cc\u062a \u0648 \u0641\u0631\u0627\u062a\u0631 \u0627\u0632 \u0622\u0646 \u0628\u0627\u0634\u062f. \u0633\u0631\u0639\u062a \u0628\u0647 \u0633\u0631\u0639\u062a \u062a\u0648\u0644\u06cc\u062f \u0648 \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u060c \u0627\u063a\u0644\u0628 \u0628\u0647 \u0635\u0648\u0631\u062a \u0628\u0644\u0627\u062f\u0631\u0646\u06af \u06cc\u0627 \u0632\u0645\u0627\u0646 \u0648\u0627\u0642\u0639\u06cc (real-time)\u060c \u0627\u0634\u0627\u0631\u0647 \u062f\u0627\u0631\u062f. \u062a\u0646\u0648\u0639 \u0634\u0627\u0645\u0644 \u0627\u0646\u0648\u0627\u0639 \u0645\u062e\u062a\u0644\u0641 \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0645\u06cc\u200c\u0634\u0648\u062f \u06a9\u0647 \u0634\u0627\u0645\u0644 \u0641\u0631\u0645\u062a\u200c\u0647\u0627\u06cc \u0633\u0627\u062e\u062a\u0627\u0631\u06cc\u0627\u0641\u062a\u0647\u060c \u0646\u06cc\u0645\u0647\u200c\u0633\u0627\u062e\u062a\u0627\u0631\u06cc\u0627\u0641\u062a\u0647 \u0648 \u063a\u06cc\u0631\u0633\u0627\u062e\u062a\u0627\u0631\u06cc\u0627\u0641\u062a\u0647 \u0645\u0627\u0646\u0646\u062f \u0645\u062a\u0646\u060c \u062a\u0635\u0627\u0648\u06cc\u0631\u060c \u0648\u06cc\u062f\u0626\u0648\u0647\u0627 \u0648 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u062d\u0633\u06af\u0631\u0647\u0627 \u0627\u0633\u062a.<\/p>\n\n\n\n<p>\u0639\u0644\u0627\u0648\u0647 \u0628\u0631 \u0627\u06cc\u0646 \u0633\u0647 \u0648\u06cc\u0698\u06af\u06cc\u060c \u062f\u0648 \u0648\u06cc\u0698\u06af\u06cc \u062f\u06cc\u06af\u0631 \u0646\u06cc\u0632 \u0627\u063a\u0644\u0628 \u062f\u0631 \u0646\u0638\u0631 \u06af\u0631\u0641\u062a\u0647 \u0645\u06cc\u200c\u0634\u0648\u0646\u062f: \u0635\u062d\u062a (Veracity) \u0648 \u0627\u0631\u0632\u0634 (Value). \u0635\u062d\u062a \u0628\u0647 \u06a9\u06cc\u0641\u06cc\u062a \u0648 \u062f\u0642\u062a \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0627\u0634\u0627\u0631\u0647 \u062f\u0627\u0631\u062f \u06a9\u0647 \u0645\u0645\u06a9\u0646 \u0627\u0633\u062a \u062a\u062d\u062a \u062a\u0623\u062b\u06cc\u0631 \u0646\u0648\u06cc\u0632 \u0648 \u0646\u0627\u0633\u0627\u0632\u06af\u0627\u0631\u06cc\u200c\u0647\u0627 \u0642\u0631\u0627\u0631 \u06af\u06cc\u0631\u062f. \u0627\u0631\u0632\u0634 \u0646\u0645\u0627\u06cc\u0627\u0646\u06af\u0631 \u0628\u06cc\u0646\u0634\u200c\u0647\u0627 \u0648 \u0645\u0632\u0627\u06cc\u0627\u06cc \u0628\u0627\u0644\u0642\u0648\u0647\u200c\u0627\u06cc \u0627\u0633\u062a \u06a9\u0647 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646 \u0627\u0632 \u062a\u062d\u0644\u06cc\u0644 \u06a9\u0644\u0627\u0646\u200c\u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0627\u0633\u062a\u062e\u0631\u0627\u062c \u06a9\u0631\u062f.<\/p>\n\n\n\n<p>\u0647\u0645\u0686\u0646\u06cc\u0646 \u0628\u062e\u0648\u0627\u0646\u06cc\u062f: <a href=\"https:\/\/cafetadris.com\/blog\/%d8%a8%db%8c%da%af-%d8%af%db%8c%d8%aa%d8%a7-big-data\/\" data-type=\"post\" data-id=\"6653\"><mark style=\"background-color:#ffffff\" class=\"has-inline-color has-vivid-cyan-blue-color\">\u0628\u06cc\u06af \u062f\u06cc\u062a\u0627 (Big Data) \u0686\u06cc\u0633\u062a<\/mark><\/a><a rel=\"noreferrer noopener\" href=\"https:\/\/cafetadris.com\/blog\/%d8%a8%db%8c%da%af-%d8%af%db%8c%d8%aa%d8%a7-big-data\/\" data-type=\"post\" data-id=\"6653\" target=\"_blank\"><mark style=\"background-color:#ffffff\" class=\"has-inline-color has-vivid-cyan-blue-color\">\u061f \u0645\u0647\u0645\u200c\u062a\u0631\u06cc\u0646 \u06a9\u0627\u0631\u0628\u0631\u062f\u0647\u0627 \u0648 \u0686\u0627\u0644\u0634\u200c\u0647\u0627\u06cc \u0622\u0646 \u06a9\u062c\u0627\u0633\u062a\u061f<\/mark><\/a><\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u062a\u06a9\u0627\u0645\u0644 \u0648 \u0631\u0634\u062f<\/h3>\n\n\n\n<p>\u0645\u0641\u0647\u0648\u0645 \u0628\u06cc\u06af \u062f\u06cc\u062a\u0627 \u0647\u0645\u0631\u0627\u0647 \u0628\u0627 \u067e\u06cc\u0634\u0631\u0641\u062a\u200c\u0647\u0627\u06cc \u0641\u0646\u0627\u0648\u0631\u06cc \u0648 \u0642\u062f\u0631\u062a \u0645\u062d\u0627\u0633\u0628\u0627\u062a\u06cc \u062a\u06a9\u0627\u0645\u0644 \u06cc\u0627\u0641\u062a\u0647 \u0627\u0633\u062a. \u0633\u06cc\u0633\u062a\u0645\u200c\u0647\u0627\u06cc \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0627\u0648\u0644\u06cc\u0647 \u062f\u0631 \u0645\u062f\u06cc\u0631\u06cc\u062a \u0645\u062c\u0645\u0648\u0639\u0647\u200c\u0647\u0627\u06cc \u062f\u0627\u062f\u0647\u200c\u0627\u06cc \u0631\u0648 \u0628\u0647 \u0631\u0634\u062f \u0628\u0627 \u0645\u0634\u06a9\u0644 \u0645\u0648\u0627\u062c\u0647 \u0628\u0648\u062f\u0646\u062f \u06a9\u0647 \u0627\u06cc\u0646 \u0627\u0645\u0631 \u0645\u0646\u062c\u0631 \u0628\u0647 \u062a\u0648\u0633\u0639\u0647 \u0631\u0627\u0647\u200c\u062d\u0644\u200c\u0647\u0627\u06cc \u0630\u062e\u06cc\u0631\u0647\u200c\u0633\u0627\u0632\u06cc \u0648 \u067e\u0631\u062f\u0627\u0632\u0634 \u06a9\u0627\u0631\u0622\u0645\u062f\u062a\u0631 \u0634\u062f. \u0638\u0647\u0648\u0631 \u0645\u062d\u0627\u0633\u0628\u0627\u062a \u062a\u0648\u0632\u06cc\u0639\u200c\u0634\u062f\u0647 (distributed computing) \u0648 \u0641\u0646\u0627\u0648\u0631\u06cc\u200c\u0647\u0627\u06cc \u0627\u0628\u0631\u06cc (cloud technologies) \u062a\u0648\u0627\u0646\u0627\u06cc\u06cc \u0645\u062f\u06cc\u0631\u06cc\u062a \u0648 \u062a\u062d\u0644\u06cc\u0644 \u06a9\u0644\u0627\u0646\u200c\u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0631\u0627 \u062a\u0633\u0631\u06cc\u0639 \u06a9\u0631\u062f\u0647 \u0627\u0633\u062a \u0648 \u0622\u0646 \u0631\u0627 \u0628\u0631\u0627\u06cc \u0633\u0627\u0632\u0645\u0627\u0646\u200c\u0647\u0627\u06cc \u0628\u0627 \u0627\u0646\u062f\u0627\u0632\u0647\u200c\u0647\u0627\u06cc \u0645\u062e\u062a\u0644\u0641 \u0642\u0627\u0628\u0644 \u062f\u0633\u062a\u0631\u0633 \u06a9\u0631\u062f\u0647 \u0627\u0633\u062a.<\/p>\n\n\n\n<p>\u0631\u0634\u062f \u0628\u06cc\u06af \u062f\u06cc\u062a\u0627 \u062a\u0648\u0633\u0637 \u0686\u0646\u062f\u06cc\u0646 \u0639\u0627\u0645\u0644 \u0647\u062f\u0627\u06cc\u062a \u0645\u06cc\u200c\u0634\u0648\u062f\u060c \u0627\u0632 \u062c\u0645\u0644\u0647 \u0627\u0641\u0632\u0627\u06cc\u0634 \u062f\u0633\u062a\u06af\u0627\u0647\u200c\u0647\u0627\u06cc \u0645\u062a\u0635\u0644 \u0628\u0647 \u0627\u06cc\u0646\u062a\u0631\u0646\u062a (\u0627\u06cc\u0646\u062a\u0631\u0646\u062a \u0627\u0634\u06cc\u0627\u0621)\u060c \u0631\u0634\u062f \u067e\u0644\u062a\u0641\u0631\u0645\u200c\u0647\u0627\u06cc \u0634\u0628\u06a9\u0647\u200c\u0647\u0627\u06cc \u0627\u062c\u062a\u0645\u0627\u0639\u06cc \u0648 \u062f\u06cc\u062c\u06cc\u062a\u0627\u0644\u06cc\u200c\u0634\u062f\u0646 \u0628\u062e\u0634\u200c\u0647\u0627\u06cc \u0645\u062e\u062a\u0644\u0641. \u062f\u0631 \u0646\u062a\u06cc\u062c\u0647\u060c \u062a\u0642\u0627\u0636\u0627 \u0628\u0631\u0627\u06cc \u0686\u0627\u0631\u0686\u0648\u0628\u200c\u0647\u0627\u06cc \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0642\u0648\u06cc \u0645\u0627\u0646\u0646\u062f Spark \u0648 Hadoop \u0627\u0641\u0632\u0627\u06cc\u0634 \u06cc\u0627\u0641\u062a\u0647 \u0627\u0633\u062a \u0648 \u06a9\u0633\u0628\u200c\u0648\u06a9\u0627\u0631\u0647\u0627 \u0631\u0627 \u0642\u0627\u062f\u0631 \u0633\u0627\u062e\u062a\u0647 \u062a\u0627 \u0627\u0632 \u0642\u062f\u0631\u062a \u06a9\u0644\u0627\u0646\u200c\u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0628\u0631\u0627\u06cc \u0645\u0632\u06cc\u062a \u0631\u0642\u0627\u0628\u062a\u06cc \u0628\u0647\u0631\u0647\u200c\u0628\u0631\u062f\u0627\u0631\u06cc \u06a9\u0646\u0646\u062f.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u062a\u0623\u062b\u06cc\u0631 \u0628\u0631 \u0635\u0646\u0627\u06cc\u0639<\/h3>\n\n\n\n<p>\u06a9\u0644\u0627\u0646\u200c\u062f\u0627\u062f\u0647 \u062a\u0623\u062b\u06cc\u0631 \u062a\u062d\u0648\u0644\u200c\u0622\u0641\u0631\u06cc\u0646\u06cc \u0628\u0631 \u0635\u0646\u0627\u06cc\u0639 \u0645\u062e\u062a\u0644\u0641 \u062f\u0627\u0634\u062a\u0647 \u0627\u0633\u062a \u0648 \u0646\u062d\u0648\u0647 \u0639\u0645\u0644\u06a9\u0631\u062f \u0648 \u062a\u0635\u0645\u06cc\u0645\u200c\u06af\u06cc\u0631\u06cc \u0633\u0627\u0632\u0645\u0627\u0646\u200c\u0647\u0627 \u0631\u0627 \u0645\u062a\u062d\u0648\u0644 \u06a9\u0631\u062f\u0647 \u0627\u0633\u062a. \u062f\u0631 \u0628\u062e\u0634 \u0628\u0647\u062f\u0627\u0634\u062a \u0648 \u062f\u0631\u0645\u0627\u0646\u060c \u062a\u062d\u0644\u06cc\u0644 \u06a9\u0644\u0627\u0646\u200c\u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0627\u0645\u06a9\u0627\u0646 \u0645\u062f\u0644\u200c\u0633\u0627\u0632\u06cc \u067e\u06cc\u0634\u200c\u0628\u06cc\u0646\u06cc \u0628\u06cc\u0645\u0627\u0631\u06cc\u060c \u0628\u0631\u0646\u0627\u0645\u0647\u200c\u0647\u0627\u06cc \u062f\u0631\u0645\u0627\u0646 \u0634\u062e\u0635\u06cc\u200c\u0633\u0627\u0632\u06cc \u0634\u062f\u0647 \u0648 \u0645\u062f\u06cc\u0631\u06cc\u062a \u06a9\u0627\u0631\u0622\u0645\u062f \u0645\u0646\u0627\u0628\u0639 \u0631\u0627 \u0641\u0631\u0627\u0647\u0645 \u0645\u06cc\u200c\u06a9\u0646\u062f. \u0628\u062e\u0634 \u0645\u0627\u0644\u06cc \u0627\u0632 \u0628\u06cc\u06af \u062f\u06cc\u062a\u0627 \u0628\u0631\u0627\u06cc \u062a\u0634\u062e\u06cc\u0635 \u062a\u0642\u0644\u0628\u060c \u0627\u0631\u0632\u06cc\u0627\u0628\u06cc \u0631\u06cc\u0633\u06a9 \u0648 \u062a\u062c\u0627\u0631\u062a \u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645\u06cc \u0628\u0647\u0631\u0647 \u0645\u06cc\u200c\u0628\u0631\u062f. \u062e\u0631\u062f\u0647\u200c\u0641\u0631\u0648\u0634\u0627\u0646 \u0627\u0632 \u06a9\u0644\u0627\u0646\u200c\u062f\u0627\u062f\u0647 \u0628\u0631\u0627\u06cc \u0628\u0647\u06cc\u0646\u0647\u200c\u0633\u0627\u0632\u06cc \u0645\u062f\u06cc\u0631\u06cc\u062a \u0632\u0646\u062c\u06cc\u0631\u0647 \u062a\u0623\u0645\u06cc\u0646\u060c \u0634\u062e\u0635\u06cc\u200c\u0633\u0627\u0632\u06cc \u062a\u062c\u0631\u0628\u0647 \u0645\u0634\u062a\u0631\u06cc\u0627\u0646 \u0648 \u067e\u06cc\u0634\u200c\u0628\u06cc\u0646\u06cc \u062a\u0642\u0627\u0636\u0627 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u06a9\u0646\u0646\u062f. \u062f\u0631 \u0635\u0646\u0639\u062a \u062d\u0645\u0644 \u0648 \u0646\u0642\u0644\u060c \u062a\u062d\u0644\u06cc\u0644 \u0628\u06cc\u06af \u062f\u06cc\u062a\u0627 \u0628\u0647 \u0628\u0647\u0628\u0648\u062f \u0628\u0647\u06cc\u0646\u0647\u200c\u0633\u0627\u0632\u06cc \u0645\u0633\u06cc\u0631\u060c \u067e\u06cc\u0634\u200c\u0628\u06cc\u0646\u06cc \u0628\u0631\u0646\u0627\u0645\u0647\u200c\u0647\u0627\u06cc \u0646\u06af\u0647\u062f\u0627\u0631\u06cc \u0648 \u0645\u062f\u06cc\u0631\u06cc\u062a \u0646\u0627\u0648\u06af\u0627\u0646 \u06a9\u0645\u06a9 \u0645\u06cc\u200c\u06a9\u0646\u062f. \u0639\u0644\u0627\u0648\u0647 \u0628\u0631 \u0627\u06cc\u0646\u060c \u06a9\u0644\u0627\u0646\u200c\u062f\u0627\u062f\u0647 \u0646\u0642\u0634 \u062d\u06cc\u0627\u062a\u06cc \u062f\u0631 \u062a\u062d\u0642\u06cc\u0642\u0627\u062a \u0639\u0644\u0645\u06cc\u060c \u067e\u0627\u06cc\u0634 \u0645\u062d\u06cc\u0637 \u0632\u06cc\u0633\u062a \u0648 \u0627\u0628\u062a\u06a9\u0627\u0631\u0627\u062a \u0634\u0647\u0631 \u0647\u0648\u0634\u0645\u0646\u062f \u0627\u06cc\u0641\u0627 \u0645\u06cc\u200c\u06a9\u0646\u062f \u06a9\u0647 \u0646\u0634\u0627\u0646\u200c\u062f\u0647\u0646\u062f\u0647 \u062a\u0623\u062b\u06cc\u0631\u0627\u062a \u06af\u0633\u062a\u0631\u062f\u0647 \u0622\u0646 \u0627\u0633\u062a.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">\u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u062f\u0627\u062f\u0647<\/h2>\n\n\n\n<h3 class=\"wp-block-heading\">\u062a\u0639\u0627\u0631\u06cc\u0641 \u0648 \u062a\u0641\u0627\u0648\u062a\u200c\u0647\u0627<\/h3>\n\n\n\n<h4 class=\"wp-block-heading\">\u0627\u0646\u0628\u0627\u0631 \u062f\u0627\u062f\u0647 (Data Warehouse)<\/h4>\n\n\n\n<p>\u0627\u0646\u0628\u0627\u0631 \u062f\u0627\u062f\u0647 \u06cc\u06a9 \u0645\u062e\u0632\u0646 \u0645\u0631\u06a9\u0632\u06cc \u0627\u0633\u062a \u06a9\u0647 \u0628\u0631\u0627\u06cc \u0630\u062e\u06cc\u0631\u0647\u200c\u0633\u0627\u0632\u06cc \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0633\u0627\u062e\u062a\u0627\u0631\u06cc\u0627\u0641\u062a\u0647 \u0627\u0632 \u0645\u0646\u0627\u0628\u0639 \u0645\u062e\u062a\u0644\u0641 \u0637\u0631\u0627\u062d\u06cc \u0634\u062f\u0647 \u0627\u0633\u062a. \u0627\u06cc\u0646 \u0627\u0646\u0628\u0627\u0631 \u0627\u0632 \u06a9\u0648\u0626\u0631\u06cc\u200c\u0647\u0627\u06cc \u067e\u06cc\u0686\u06cc\u062f\u0647\u060c \u06af\u0632\u0627\u0631\u0634\u200c\u062f\u0647\u06cc \u0648 \u062a\u062d\u0644\u06cc\u0644 \u062f\u0627\u062f\u0647 \u067e\u0634\u062a\u06cc\u0628\u0627\u0646\u06cc \u0645\u06cc\u200c\u06a9\u0646\u062f. \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u062f\u0631 \u0627\u0646\u0628\u0627\u0631 \u062f\u0627\u062f\u0647 \u062f\u0631 \u0642\u0627\u0644\u0628 \u0627\u0633\u06a9\u06cc\u0645\u0627 \u06cc\u0627 \u0637\u0631\u062d\u0648\u0627\u0631\u0647\u200c\u0647\u0627\u06cc \u0645\u0634\u062e\u0635 (\u0645\u0627\u0646\u0646\u062f \u0627\u0633\u06a9\u06cc\u0645\u0627\u0647\u0627\u06cc \u0633\u062a\u0627\u0631\u0647\u200c\u0627\u06cc\u060c \u0628\u0631\u0641\u200c\u062f\u0627\u0646\u0647\u200c\u0627\u06cc \u0648 \u0635\u0648\u0631\u062a \u0641\u0644\u06a9\u06cc) \u0633\u0627\u0632\u0645\u0627\u0646\u200c\u062f\u0647\u06cc \u0645\u06cc\u200c\u0634\u0648\u0646\u062f \u0648 \u0628\u0631\u0627\u06cc \u0639\u0645\u0644\u06cc\u0627\u062a\u200c\u0647\u0627\u06cc \u0633\u0646\u06af\u06cc\u0646 \u062e\u0648\u0627\u0646\u062f\u0646\u06cc \u0628\u0647\u06cc\u0646\u0647\u200c\u0633\u0627\u0632\u06cc \u0634\u062f\u0647\u200c\u0627\u0646\u062f. \u0627\u0646\u0628\u0627\u0631\u0647\u0627\u06cc \u062f\u0627\u062f\u0647 \u0633\u0646\u062a\u06cc \u0627\u0632 \u0641\u0631\u0622\u06cc\u0646\u062f\u0647\u0627\u06cc ETL (\u0627\u0633\u062a\u062e\u0631\u0627\u062c\u060c \u062a\u0628\u062f\u06cc\u0644\u060c \u0628\u0627\u0631\u06af\u0630\u0627\u0631\u06cc) \u0628\u0631\u0627\u06cc \u067e\u0627\u06a9\u200c\u0633\u0627\u0632\u06cc\u060c \u062a\u0628\u062f\u06cc\u0644 \u0648 \u0628\u0627\u0631\u06af\u0630\u0627\u0631\u06cc \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0628\u0647 \u0627\u0646\u0628\u0627\u0631 \u062f\u0627\u062f\u0647 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u06a9\u0646\u0646\u062f \u06a9\u0647 \u0628\u0647 \u062a\u0636\u0645\u06cc\u0646 \u06a9\u06cc\u0641\u06cc\u062a \u0648 \u0627\u0646\u0633\u062c\u0627\u0645 \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u06a9\u0645\u06a9 \u0645\u06cc\u200c\u06a9\u0646\u062f.<\/p>\n\n\n<div class=\"wp-block-image\">\n<figure class=\"aligncenter size-full\"><img fetchpriority=\"high\" decoding=\"async\" width=\"538\" height=\"268\" src=\"https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-117.png\" alt=\"\u0633\u0627\u062e\u062a\u0627\u0631 \u0627\u0646\u0628\u0627\u0631 \u062f\u0627\u062f\u0647\" class=\"wp-image-18265\" srcset=\"https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-117.png 538w, https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-117-300x149.png 300w\" sizes=\"(max-width: 538px) 100vw, 538px\" \/><figcaption class=\"wp-element-caption\">\u0633\u0627\u062e\u062a\u0627\u0631 \u0627\u0646\u0628\u0627\u0631 \u062f\u0627\u062f\u0647<\/figcaption><\/figure><\/div>\n\n<div class=\"wp-block-image\">\n<figure class=\"aligncenter size-full\"><img decoding=\"async\" width=\"502\" height=\"264\" src=\"https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-118.png\" alt=\"\u0637\u0631\u062d\u0648\u0627\u0631\u0647\u200c\u0647\u0627\u06cc \u0645\u062e\u062a\u0644\u0641 \u0627\u0646\u0628\u0627\u0631 \u062f\u0627\u062f\u0647\" class=\"wp-image-18266\" srcset=\"https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-118.png 502w, https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-118-300x158.png 300w\" sizes=\"(max-width: 502px) 100vw, 502px\" \/><figcaption class=\"wp-element-caption\">\u0627\u0633\u06a9\u06cc\u0645\u0627 (\u0637\u0631\u062d\u0648\u0627\u0631\u0647\u200c\u0647\u0627\u06cc) \u0645\u062e\u062a\u0644\u0641 \u0627\u0646\u0628\u0627\u0631 \u062f\u0627\u062f\u0647<\/figcaption><\/figure><\/div>\n\n\n<p>\u0648\u06cc\u0698\u06af\u06cc\u200c\u0647\u0627\u06cc \u06a9\u0644\u06cc\u062f\u06cc \u0627\u0646\u0628\u0627\u0631 \u062f\u0627\u062f\u0647:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>\u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0633\u0627\u062e\u062a\u0627\u0631\u06cc\u0627\u0641\u062a\u0647<\/strong>: \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0628\u0633\u06cc\u0627\u0631 \u0633\u0627\u062e\u062a\u0627\u0631\u06cc\u0627\u0641\u062a\u0647 \u0648 \u0633\u0627\u0632\u0645\u0627\u0646\u200c\u062f\u0647\u06cc \u0634\u062f\u0647 \u0647\u0633\u062a\u0646\u062f.<\/li>\n\n\n\n<li><strong>\u0627\u0633\u06a9\u06cc\u0645\u0627 \u062f\u0631 \u0647\u0646\u06af\u0627\u0645 \u0646\u0648\u0634\u062a\u0646 (\u0634\u0645\u0627\u06cc \u0646\u0648\u0634\u062a\u0646\u06cc)<\/strong>: \u0627\u0633\u06a9\u06cc\u0645\u0627 \u062f\u0627\u062f\u0647 \u0642\u0628\u0644 \u0627\u0632 \u0630\u062e\u06cc\u0631\u0647\u200c\u0633\u0627\u0632\u06cc \u062f\u0627\u062f\u0647 \u062a\u0639\u0631\u06cc\u0641 \u0645\u06cc\u200c\u0634\u0648\u062f. \u0628\u0647 \u0627\u06cc\u0646 \u0645\u0639\u0646\u0627 \u06a9\u0647 \u067e\u06cc\u0634 \u0627\u0632 \u067e\u06cc\u0627\u062f\u0647\u200c\u0633\u0627\u0632\u06cc \u0627\u0646\u0628\u0627\u0631 \u062f\u0627\u062f\u0647 \u0637\u0631\u0627\u062d\u06cc \u0634\u062f\u0647 \u0627\u0633\u062a.<\/li>\n\n\n\n<li><strong>\u0628\u0647\u06cc\u0646\u0647\u200c\u0633\u0627\u0632\u06cc \u0634\u062f\u0647 \u0628\u0631\u0627\u06cc \u06a9\u0648\u0626\u0631\u06cc\u200c\u0647\u0627<\/strong>: \u0637\u0631\u0627\u062d\u06cc \u0634\u062f\u0647 \u0628\u0631\u0627\u06cc \u06a9\u0648\u0626\u0631\u06cc\u200c\u0647\u0627\u06cc \u067e\u06cc\u0686\u06cc\u062f\u0647 \u0648 \u06a9\u0627\u0631\u0647\u0627\u06cc \u062a\u062d\u0644\u06cc\u0644\u06cc.<\/li>\n\n\n\n<li><strong>\u0630\u062e\u06cc\u0631\u0647\u200c\u0633\u0627\u0632\u06cc \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u062a\u0627\u0631\u06cc\u062e\u06cc<\/strong>: \u062d\u062c\u0645\u200c\u0647\u0627\u06cc \u0628\u0632\u0631\u06af\u06cc \u0627\u0632 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u062a\u0627\u0631\u06cc\u062e\u06cc \u0631\u0627 \u0630\u062e\u06cc\u0631\u0647 \u0645\u06cc\u200c\u06a9\u0646\u062f.<\/li>\n<\/ul>\n\n\n\n<h4 class=\"wp-block-heading\">\u062f\u0631\u06cc\u0627\u0686\u0647 \u062f\u0627\u062f\u0647 (Data Lake)<\/h4>\n\n\n\n<p>\u062f\u0631\u06cc\u0627\u0686\u0647 \u062f\u0627\u062f\u0647 \u06cc\u06a9 \u0645\u062e\u0632\u0646 \u0630\u062e\u06cc\u0631\u0647\u200c\u0633\u0627\u0632\u06cc \u0627\u0633\u062a \u06a9\u0647 \u062d\u062c\u0645 \u0632\u06cc\u0627\u062f\u06cc \u0627\u0632 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u062e\u0627\u0645 \u0631\u0627 \u062f\u0631 \u0641\u0631\u0645\u062a \u0627\u0635\u0644\u06cc \u062e\u0648\u062f \u062a\u0627 \u0632\u0645\u0627\u0646\u06cc \u06a9\u0647 \u0646\u06cc\u0627\u0632 \u0628\u0627\u0634\u062f \u0646\u06af\u0647\u062f\u0627\u0631\u06cc \u0645\u06cc\u200c\u06a9\u0646\u062f. \u0628\u0631\u062e\u0644\u0627\u0641 \u0627\u0646\u0628\u0627\u0631 \u062f\u0627\u062f\u0647\u060c \u062f\u0631\u06cc\u0627\u0686\u0647 \u062f\u0627\u062f\u0647 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u062f \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0633\u0627\u062e\u062a\u0627\u0631\u06cc\u0627\u0641\u062a\u0647\u060c \u0646\u06cc\u0645\u0647\u200c\u0633\u0627\u062e\u062a\u0627\u0631\u06cc\u0627\u0641\u062a\u0647 \u0648 \u063a\u06cc\u0631\u0633\u0627\u062e\u062a\u0627\u0631\u06cc\u0627\u0641\u062a\u0647 \u0631\u0627 \u0630\u062e\u06cc\u0631\u0647 \u06a9\u0646\u062f \u06a9\u0647 \u0622\u0646 \u0631\u0627 \u0628\u0647 \u0631\u0627\u0647\u200c\u062d\u0644 \u0627\u0646\u0639\u0637\u0627\u0641\u200c\u067e\u0630\u06cc\u0631\u062a\u0631\u06cc \u062a\u0628\u062f\u06cc\u0644 \u0645\u06cc\u200c\u06a9\u0646\u062f. \u062f\u0631\u06cc\u0627\u0686\u0647\u200c \u062f\u0627\u062f\u0647 \u0627\u0632 \u0631\u0648\u06cc\u06a9\u0631\u062f <a rel=\"noreferrer noopener\" href=\"https:\/\/en.wikipedia.org\/wiki\/Extract,_load,_transform\" data-type=\"URL\" data-id=\"https:\/\/en.wikipedia.org\/wiki\/Extract,_load,_transform\" target=\"_blank\"><mark style=\"background-color:#ffffff\" class=\"has-inline-color has-vivid-cyan-blue-color\">ELT<\/mark><\/a> (\u0627\u0633\u062a\u062e\u0631\u0627\u062c\u060c \u0628\u0627\u0631\u06af\u0630\u0627\u0631\u06cc\u060c \u062a\u0628\u062f\u06cc\u0644) \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u06a9\u0646\u0646\u062f \u0648 \u0627\u06cc\u0646 \u0627\u0645\u06a9\u0627\u0646 \u0631\u0627 \u0645\u06cc\u200c\u062f\u0647\u0646\u062f \u06a9\u0647 \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0627\u0628\u062a\u062f\u0627 \u0628\u0627\u0631\u06af\u0630\u0627\u0631\u06cc \u0634\u0648\u0646\u062f \u0648 \u0633\u067e\u0633 \u062f\u0631 \u0635\u0648\u0631\u062a \u0646\u06cc\u0627\u0632 \u062a\u0628\u062f\u06cc\u0644 \u0634\u0648\u0646\u062f.<\/p>\n\n\n<div class=\"wp-block-image\">\n<figure class=\"aligncenter size-full\"><img decoding=\"async\" width=\"698\" height=\"322\" src=\"https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-119.png\" alt=\"\u0633\u0627\u062e\u062a\u0627\u0631 \u062f\u0631\u06cc\u0627\u0686\u0647 \u062f\u0627\u062f\u0647\" class=\"wp-image-18267\" srcset=\"https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-119.png 698w, https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-119-300x138.png 300w, https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-119-585x270.png 585w\" sizes=\"(max-width: 698px) 100vw, 698px\" \/><\/figure><\/div>\n\n\n<p>\u0648\u06cc\u0698\u06af\u06cc\u200c\u0647\u0627\u06cc \u06a9\u0644\u06cc\u062f\u06cc:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>\u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u063a\u06cc\u0631\u0633\u0627\u062e\u062a\u0627\u0631\u06cc\u0627\u0641\u062a\u0647 \u0648 \u0646\u06cc\u0645\u0647\u200c\u0633\u0627\u062e\u062a\u0627\u0631\u06cc\u0627\u0641\u062a\u0647<\/strong>: \u067e\u0634\u062a\u06cc\u0628\u0627\u0646\u06cc \u0627\u0632 \u0627\u0646\u0648\u0627\u0639 \u0645\u062e\u062a\u0644\u0641 \u062f\u0627\u062f\u0647\u200c\u0647\u0627.<\/li>\n\n\n\n<li><strong>\u0627\u0633\u06a9\u06cc\u0645\u0627 \u062f\u0631 \u0647\u0646\u06af\u0627\u0645 \u062e\u0648\u0627\u0646\u062f\u0646 (\u0634\u0645\u0627\u06cc \u062e\u0648\u0627\u0646\u062f\u0646\u06cc)<\/strong>: \u0627\u0633\u06a9\u06cc\u0645\u0627 \u062f\u0627\u062f\u0647 \u0647\u0646\u06af\u0627\u0645 \u062e\u0648\u0627\u0646\u062f\u0646 \u062f\u0627\u062f\u0647 \u0627\u0639\u0645\u0627\u0644 \u0645\u06cc\u200c\u0634\u0648\u062f. \u0628\u0647 \u0627\u06cc\u0646 \u0645\u0639\u0646\u0627 \u06a9\u0647 \u0647\u0646\u06af\u0627\u0645 \u062a\u062d\u0644\u06cc\u0644\u060c \u0637\u0631\u0627\u062d\u06cc \u0648 \u067e\u0631\u062f\u0627\u0632\u0634 \u0635\u0648\u0631\u062a \u0645\u06cc\u200c\u06af\u06cc\u0631\u062f.<\/li>\n\n\n\n<li><strong>\u0645\u0642\u06cc\u0627\u0633\u200c\u067e\u0630\u06cc\u0631\u06cc<\/strong>: \u0628\u0647 \u0631\u0627\u062d\u062a\u06cc \u0628\u0631\u0627\u06cc \u062a\u0637\u0628\u06cc\u0642 \u0628\u0627 \u062d\u062c\u0645\u200c\u0647\u0627\u06cc \u062f\u0631 \u062d\u0627\u0644 \u0631\u0634\u062f \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0645\u0642\u06cc\u0627\u0633\u200c\u067e\u0630\u06cc\u0631 \u0627\u0633\u062a.<\/li>\n\n\n\n<li><strong>\u0645\u0642\u0631\u0648\u0646\u200c\u0628\u0647\u200c\u0635\u0631\u0641\u0647<\/strong>: \u0627\u063a\u0644\u0628 \u0628\u0647 \u0639\u0646\u0648\u0627\u0646 \u0631\u0627\u0647\u200c\u062d\u0644\u200c\u0647\u0627\u06cc \u0630\u062e\u06cc\u0631\u0647\u200c\u0633\u0627\u0632\u06cc \u0627\u0631\u0632\u0627\u0646\u200c\u062a\u0631 \u0634\u0646\u0627\u062e\u062a\u0647 \u0645\u06cc\u200c\u0634\u0648\u062f.<\/li>\n<\/ul>\n\n\n\n<h3 class=\"wp-block-heading\">\u0645\u0648\u0627\u0631\u062f \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0648 \u0645\u0632\u0627\u06cc\u0627<\/h3>\n\n\n\n<p>\u0645\u0648\u0627\u0631\u062f \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u0627\u0646\u0628\u0627\u0631 \u062f\u0627\u062f\u0647:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>\u0647\u0648\u0634 \u062a\u062c\u0627\u0631\u06cc<\/strong>: \u067e\u0634\u062a\u06cc\u0628\u0627\u0646\u06cc \u0627\u0632 \u0627\u0628\u0632\u0627\u0631\u0647\u0627\u06cc \u06af\u0632\u0627\u0631\u0634\u200c\u062f\u0647\u06cc \u0648 \u062f\u0627\u0634\u0628\u0648\u0631\u062f\u0647\u0627\u06cc \u067e\u06cc\u0686\u06cc\u062f\u0647.<\/li>\n\n\n\n<li><strong>\u06af\u0632\u0627\u0631\u0634\u200c\u062f\u0647\u06cc \u0639\u0645\u0644\u06cc\u0627\u062a\u06cc<\/strong>: \u0627\u0631\u0627\u0626\u0647 \u0628\u06cc\u0646\u0634 \u062f\u0631 \u0639\u0645\u0644\u06cc\u0627\u062a \u0631\u0648\u0632\u0627\u0646\u0647 \u06a9\u0633\u0628\u200c\u0648\u06a9\u0627\u0631.<\/li>\n\n\n\n<li><strong>\u062a\u062d\u0644\u06cc\u0644 \u062a\u0627\u0631\u06cc\u062e\u06cc<\/strong>: \u062a\u0633\u0647\u06cc\u0644 \u062a\u062d\u0644\u06cc\u0644 \u0631\u0648\u0646\u062f\u0647\u0627 \u0648 \u0628\u0631\u0631\u0633\u06cc \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u062a\u0627\u0631\u06cc\u062e\u06cc.<\/li>\n\n\n\n<li><strong>\u0645\u0637\u0627\u0628\u0642\u062a \u0642\u0627\u0646\u0648\u0646\u06cc<\/strong>: \u062a\u0636\u0645\u06cc\u0646 \u062f\u0642\u062a \u0648 \u0627\u0646\u0633\u062c\u0627\u0645 \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0628\u0631\u0627\u06cc \u06af\u0632\u0627\u0631\u0634\u200c\u062f\u0647\u06cc \u0642\u0627\u0646\u0648\u0646\u06cc.<\/li>\n<\/ul>\n\n\n\n<p>\u0645\u0632\u0627\u06cc\u0627\u06cc \u0627\u0646\u0628\u0627\u0631 \u062f\u0627\u062f\u0647:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>\u0639\u0645\u0644\u06a9\u0631\u062f \u0628\u0627\u0644\u0627<\/strong>: \u0628\u0647\u06cc\u0646\u0647\u200c\u0633\u0627\u0632\u06cc \u0634\u062f\u0647 \u0628\u0631\u0627\u06cc \u0639\u0645\u0644\u06a9\u0631\u062f \u0633\u0631\u06cc\u0639 \u06a9\u0648\u0626\u0631\u06cc\u200c\u0647\u0627.<\/li>\n\n\n\n<li><strong>\u0627\u0646\u0633\u062c\u0627\u0645 \u062f\u0627\u062f\u0647<\/strong>: \u062a\u0636\u0645\u06cc\u0646 \u06a9\u06cc\u0641\u06cc\u062a \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0627\u0632 \u0637\u0631\u06cc\u0642 \u0641\u0631\u0622\u06cc\u0646\u062f\u0647\u0627\u06cc ETL.<\/li>\n\n\n\n<li><strong>\u06a9\u0627\u0631\u0628\u0631\u067e\u0633\u0646\u062f<\/strong>: \u0645\u0646\u0627\u0633\u0628 \u0628\u0631\u0627\u06cc \u062a\u062d\u0644\u06cc\u0644\u200c\u06af\u0631\u0627\u0646 \u06a9\u0633\u0628\u200c\u0648\u06a9\u0627\u0631 \u0648 \u06a9\u0627\u0631\u0628\u0631\u0627\u0646 \u063a\u06cc\u0631 \u0641\u0646\u06cc.<\/li>\n<\/ul>\n\n\n\n<p>\u0645\u0648\u0627\u0631\u062f \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u062f\u0631\u06cc\u0627\u0686\u0647 \u062f\u0627\u062f\u0647:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>\u0639\u0644\u0645 \u062f\u0627\u062f\u0647 \u0648 \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0645\u0627\u0634\u06cc\u0646<\/strong>: \u0630\u062e\u06cc\u0631\u0647 \u0645\u062c\u0645\u0648\u0639\u0647\u200c\u0647\u0627\u06cc \u062f\u0627\u062f\u0647 \u0628\u0632\u0631\u06af \u0628\u0631\u0627\u06cc \u0622\u0645\u0648\u0632\u0634 \u0645\u062f\u0644\u200c\u0647\u0627.<\/li>\n\n\n\n<li><strong>\u062a\u062d\u0644\u06cc\u0644 \u0628\u0644\u0627\u062f\u0631\u0646\u06af<\/strong>: \u067e\u0634\u062a\u06cc\u0628\u0627\u0646\u06cc \u0627\u0632 \u0628\u0627\u0631\u06af\u0630\u0627\u0631\u06cc \u0648 \u062a\u062d\u0644\u06cc\u0644 \u0628\u0644\u0627\u062f\u0631\u0646\u06af \u062f\u0627\u062f\u0647\u200c\u0647\u0627.<\/li>\n\n\n\n<li><strong>\u0627\u06a9\u062a\u0634\u0627\u0641 \u062f\u0627\u062f\u0647<\/strong>: \u0627\u0645\u06a9\u0627\u0646 \u0627\u06a9\u062a\u0634\u0627\u0641 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u062e\u0627\u0645 \u062a\u0648\u0633\u0637 \u062f\u0627\u0646\u0634\u0645\u0646\u062f\u0627\u0646 \u062f\u0627\u062f\u0647 \u0628\u062f\u0648\u0646 \u0627\u0633\u06a9\u06cc\u0645\u0627\u0647\u0627\u06cc \u0627\u0632 \u067e\u06cc\u0634\u200c\u062a\u0639\u0631\u06cc\u0641\u200c\u0634\u062f\u0647.<\/li>\n\n\n\n<li><strong>\u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0627\u06cc\u0646\u062a\u0631\u0646\u062a \u0627\u0634\u06cc\u0627<\/strong>: \u062c\u0645\u0639\u200c\u0622\u0648\u0631\u06cc \u0648 \u0630\u062e\u06cc\u0631\u0647 \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0627\u0632 \u062d\u0633\u06af\u0631\u0647\u0627 \u0648 \u0644\u0627\u06af\u200c\u0647\u0627 \u0628\u0631\u0627\u06cc \u062a\u062d\u0644\u06cc\u0644\u200c\u0647\u0627\u06cc \u0628\u0639\u062f\u06cc.<\/li>\n<\/ul>\n\n\n\n<p>\u0645\u0632\u0627\u06cc\u0627\u06cc \u062f\u0631\u06cc\u0627\u0686\u0647 \u062f\u0627\u062f\u0647:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>\u0627\u0646\u0639\u0637\u0627\u0641\u200c\u067e\u0630\u06cc\u0631\u06cc<\/strong>: \u0642\u0627\u0628\u0644\u06cc\u062a \u0645\u062f\u06cc\u0631\u06cc\u062a \u0627\u0646\u0648\u0627\u0639 \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0648 \u0641\u0631\u0645\u062a\u200c\u0647\u0627.<\/li>\n\n\n\n<li><strong>\u0645\u0642\u06cc\u0627\u0633\u200c\u067e\u0630\u06cc\u0631\u06cc<\/strong>: \u0645\u0642\u06cc\u0627\u0633 \u067e\u0630\u06cc\u0631 \u0628\u0648\u062f\u0646 \u0628\u0627 \u0631\u0634\u062f \u062f\u0627\u062f\u0647\u200c\u0647\u0627.<\/li>\n\n\n\n<li><strong>\u0630\u062e\u06cc\u0631\u0647\u200c\u0633\u0627\u0632\u06cc \u0645\u0642\u0631\u0648\u0646\u200c\u0628\u0647\u200c\u0635\u0631\u0641\u0647<\/strong>: \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u0631\u0627\u0647\u200c\u062d\u0644\u200c\u0647\u0627\u06cc \u0630\u062e\u06cc\u0631\u0647\u200c\u0633\u0627\u0632\u06cc \u06a9\u0645\u200c\u0647\u0632\u06cc\u0646\u0647.<\/li>\n\n\n\n<li><strong>\u0633\u0627\u0632\u06af\u0627\u0631 \u0628\u0627 \u0646\u0648\u0639 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0622\u06cc\u0646\u062f\u0647<\/strong>: \u0633\u0627\u0632\u06af\u0627\u0631\u06cc \u0628\u0627 \u0645\u0646\u0627\u0628\u0639 \u062f\u0627\u062f\u0647 \u062c\u062f\u06cc\u062f \u0648 \u0627\u0646\u0648\u0627\u0639 \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0628\u062f\u0648\u0646 \u0646\u06cc\u0627\u0632 \u0628\u0647 \u0628\u0627\u0632\u0633\u0627\u0632\u06cc.<\/li>\n<\/ul>\n\n\n<div class=\"wp-block-image\">\n<figure class=\"aligncenter size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"940\" height=\"289\" src=\"https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-120.png\" alt=\"\u0645\u0642\u0627\u06cc\u0633\u0647 \u0627\u0646\u0628\u0627\u0631 \u062f\u0627\u062f\u0647 (Data Warehouse) \u0648 \u062f\u0631\u06cc\u0627\u0686\u0647 \u062f\u0627\u062f\u0647 (Data Lake)\" class=\"wp-image-18268\" srcset=\"https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-120.png 940w, https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-120-300x92.png 300w, https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-120-768x236.png 768w, https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-120-585x180.png 585w\" sizes=\"(max-width: 940px) 100vw, 940px\" \/><figcaption class=\"wp-element-caption\">\u0645\u0642\u0627\u06cc\u0633\u0647 \u0627\u0646\u0628\u0627\u0631 \u062f\u0627\u062f\u0647 (Data Warehouse) \u0648 \u062f\u0631\u06cc\u0627\u0686\u0647 \u062f\u0627\u062f\u0647 (Data Lake)<\/figcaption><\/figure><\/div>\n\n<div class=\"wp-block-image\">\n<figure class=\"aligncenter size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"590\" height=\"331\" src=\"https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-121.png\" alt=\"\u0645\u0642\u0627\u06cc\u0633\u0647 \u0627\u0646\u0628\u0627\u0631 \u062f\u0627\u062f\u0647 \u0648 \u062f\u0631\u06cc\u0627\u0686\u0647 \u062f\u0627\u062f\u0647\" class=\"wp-image-18269\" srcset=\"https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-121.png 590w, https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-121-300x168.png 300w, https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-121-585x328.png 585w\" sizes=\"(max-width: 590px) 100vw, 590px\" \/><\/figure><\/div>\n\n\n<h3 class=\"wp-block-heading\">\u06cc\u06a9\u067e\u0627\u0631\u0686\u0647\u200c\u0633\u0627\u0632\u06cc \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u062f\u0627\u062f\u0647 \u0628\u0627 Spark \u0648 Hadoop<\/h3>\n\n\n\n<h4 class=\"wp-block-heading\">\u06cc\u06a9\u067e\u0627\u0631\u0686\u0647\u200c\u0633\u0627\u0632\u06cc \u0628\u0627 Hadoop<\/h4>\n\n\n\n<p>\u0627\u0646\u0628\u0627\u0631 \u062f\u0627\u062f\u0647: Hadoop \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u062f \u0628\u0647 \u0639\u0646\u0648\u0627\u0646 \u0628\u06a9\u200c\u0627\u0646\u062f \u0628\u0631\u0627\u06cc \u0627\u0646\u0628\u0627\u0631\u0647\u0627\u06cc \u062f\u0627\u062f\u0647 \u0633\u0646\u062a\u06cc \u0639\u0645\u0644 \u06a9\u0646\u062f \u0648 \u0627\u0632 HDFS \u0628\u0631\u0627\u06cc \u0630\u062e\u06cc\u0631\u0647\u200c\u0633\u0627\u0632\u06cc \u0645\u0642\u06cc\u0627\u0633\u200c\u067e\u0630\u06cc\u0631 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u062f. \u0627\u0628\u0632\u0627\u0631\u0647\u0627\u06cc\u06cc \u0645\u0627\u0646\u0646\u062f <a href=\"https:\/\/en.wikipedia.org\/wiki\/Apache_Hive\" data-type=\"URL\" data-id=\"https:\/\/en.wikipedia.org\/wiki\/Apache_Hive\" target=\"_blank\" rel=\"noreferrer noopener\"><mark style=\"background-color:#ffffff\" class=\"has-inline-color has-vivid-cyan-blue-color\">Apache Hive<\/mark><\/a> \u0627\u0645\u06a9\u0627\u0646 \u06a9\u0648\u0626\u0631\u06cc\u200c\u06af\u06cc\u0631\u06cc \u0645\u0634\u0627\u0628\u0647 SQL \u0631\u0648\u06cc Hadoop \u0631\u0627 \u0641\u0631\u0627\u0647\u0645 \u0645\u06cc\u200c\u06a9\u0646\u0646\u062f \u0648 \u0622\u0646 \u0631\u0627 \u0628\u0631\u0627\u06cc \u0648\u0638\u0627\u06cc\u0641 \u0627\u0646\u0628\u0627\u0631 \u062f\u0627\u062f\u0647 \u0645\u0646\u0627\u0633\u0628 \u0645\u06cc\u200c\u0633\u0627\u0632\u0646\u062f.<\/p>\n\n\n\n<p>\u062f\u0631\u06cc\u0627\u0686\u0647 \u062f\u0627\u062f\u0647: Hadoop \u0627\u063a\u0644\u0628 \u0628\u0647 \u0639\u0646\u0648\u0627\u0646 \u067e\u0627\u06cc\u0647 \u062f\u0631\u06cc\u0627\u0686\u0647\u200c\u0647\u0627\u06cc \u062f\u0627\u062f\u0647 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u0634\u0648\u062f. HDFS \u06cc\u06a9 \u0633\u06cc\u0633\u062a\u0645 \u0630\u062e\u06cc\u0631\u0647\u200c\u0633\u0627\u0632\u06cc \u062a\u0648\u0632\u06cc\u0639\u200c\u0634\u062f\u0647 \u0641\u0631\u0627\u0647\u0645 \u0645\u06cc\u200c\u06a9\u0646\u062f\u060c \u062f\u0631 \u062d\u0627\u0644\u06cc \u06a9\u0647 \u0627\u0628\u0632\u0627\u0631\u0647\u0627\u06cc\u06cc \u0645\u0627\u0646\u0646\u062f <a rel=\"noreferrer noopener\" href=\"https:\/\/en.wikipedia.org\/wiki\/Apache_Flink\" data-type=\"URL\" data-id=\"https:\/\/en.wikipedia.org\/wiki\/Apache_Flink\" target=\"_blank\"><mark style=\"background-color:#ffffff\" class=\"has-inline-color has-vivid-cyan-blue-color\">Apache Flink<\/mark><\/a> \u0648 <a rel=\"noreferrer noopener\" href=\"https:\/\/en.wikipedia.org\/wiki\/Apache_Kafka\" data-type=\"URL\" data-id=\"https:\/\/en.wikipedia.org\/wiki\/Apache_Kafka\" target=\"_blank\"><mark style=\"background-color:#ffffff\" class=\"has-inline-color has-vivid-cyan-blue-color\">Apache Kafka<\/mark><\/a> \u0627\u0632 \u0628\u0627\u0631\u06af\u0630\u0627\u0631\u06cc \u0648 \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u067e\u0634\u062a\u06cc\u0628\u0627\u0646\u06cc \u0645\u06cc\u200c\u06a9\u0646\u0646\u062f.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\">\u06cc\u06a9\u067e\u0627\u0631\u0686\u0647\u200c\u0633\u0627\u0632\u06cc \u0628\u0627 Spark<\/h4>\n\n\n\n<p>\u0627\u0646\u0628\u0627\u0631 \u062f\u0627\u062f\u0647: Spark \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u062f \u0628\u0627 \u0627\u0631\u0627\u0626\u0647 \u067e\u0631\u062f\u0627\u0632\u0634 \u0633\u0631\u06cc\u0639 \u062f\u0631 \u062d\u0627\u0641\u0638\u0647 \u0628\u0631\u0627\u06cc \u0648\u0638\u0627\u06cc\u0641 ETL \u0627\u0646\u0628\u0627\u0631\u0647\u0627\u06cc \u062f\u0627\u062f\u0647 \u0631\u0627 \u0628\u0647\u0628\u0648\u062f \u0628\u062e\u0634\u062f. Spark SQL \u0628\u0627 \u06a9\u0648\u0626\u0631\u06cc\u200c\u06af\u06cc\u0631\u06cc\u060c \u0627\u0645\u06a9\u0627\u0646 \u06cc\u06a9\u067e\u0627\u0631\u0686\u0647\u200c\u0633\u0627\u0632\u06cc \u0628\u0627 \u0631\u0627\u0647\u200c\u062d\u0644\u200c\u0647\u0627\u06cc \u0645\u0648\u062c\u0648\u062f \u0627\u0646\u0628\u0627\u0631 \u062f\u0627\u062f\u0647 \u0631\u0627 \u0641\u0631\u0627\u0647\u0645 \u0645\u06cc\u200c\u06a9\u0646\u062f.<\/p>\n\n\n\n<p>\u062f\u0631\u06cc\u0627\u0686\u0647 \u062f\u0627\u062f\u0647: Spark \u0628\u0631\u0627\u06cc \u062f\u0631\u06cc\u0627\u0686\u0647\u200c\u0647\u0627\u06cc \u062f\u0627\u062f\u0647 \u0628\u0647 \u062f\u0644\u06cc\u0644 \u062a\u0648\u0627\u0646\u0627\u06cc\u06cc \u0622\u0646 \u062f\u0631 \u0645\u062f\u06cc\u0631\u06cc\u062a \u0627\u0646\u0648\u0627\u0639 \u0645\u062e\u062a\u0644\u0641 \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0648 \u0641\u0631\u0645\u062a\u200c\u0647\u0627 \u0628\u0633\u06cc\u0627\u0631 \u0645\u0646\u0627\u0633\u0628 \u0627\u0633\u062a. API\u200c\u0647\u0627\u06cc \u0627\u0633\u067e\u0627\u0631\u06a9 \u0627\u0632 \u062a\u0628\u062f\u06cc\u0644\u200c\u0647\u0627\u06cc \u067e\u06cc\u0686\u06cc\u062f\u0647 \u062f\u0627\u062f\u0647 \u0648 \u062a\u062d\u0644\u06cc\u0644\u200c\u0647\u0627 \u067e\u0634\u062a\u06cc\u0628\u0627\u0646\u06cc \u0645\u06cc\u200c\u06a9\u0646\u0646\u062f \u0648 \u0622\u0646 \u0631\u0627 \u0628\u0647 \u0627\u0628\u0632\u0627\u0631\u06cc \u0642\u062f\u0631\u062a\u0645\u0646\u062f \u0628\u0631\u0627\u06cc \u0627\u0633\u062a\u062e\u0631\u0627\u062c \u0628\u06cc\u0646\u0634 \u0627\u0632 \u062f\u0631\u06cc\u0627\u0686\u0647\u200c\u0647\u0627\u06cc \u062f\u0627\u062f\u0647 \u062a\u0628\u062f\u06cc\u0644 \u0645\u06cc\u200c\u06a9\u0646\u062f.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">\u062a\u0641\u0627\u0648\u062a\u200c\u0647\u0627\u06cc \u0628\u06cc\u0646 Spark \u0648 Hadoop<\/h2>\n\n\n\n<p>\u062f\u0631 \u0627\u06cc\u0646 \u0628\u062e\u0634 \u0628\u0647 \u0645\u0639\u0631\u0641\u06cc \u062f\u0648 \u0686\u0627\u0631\u0686\u0648\u0628 Spark \u0648 Hadoop \u0648 \u0628\u06cc\u0627\u0646 \u062a\u0641\u0627\u0648\u062a\u200c\u0647\u0627\u06cc \u0622\u0646\u200c\u0647\u0627 \u0645\u06cc\u200c\u067e\u0631\u062f\u0627\u0632\u06cc\u0645<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u0645\u0639\u0645\u0627\u0631\u06cc<\/h3>\n\n\n\n<p>Hadoop:<\/p>\n\n\n<div class=\"wp-block-image\">\n<figure class=\"aligncenter size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"940\" height=\"336\" src=\"https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-122.png\" alt=\"Hadoop\" class=\"wp-image-18270\" srcset=\"https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-122.png 940w, https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-122-300x107.png 300w, https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-122-768x275.png 768w, https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-122-585x209.png 585w\" sizes=\"(max-width: 940px) 100vw, 940px\" \/><\/figure><\/div>\n\n\n<p>\u0645\u0639\u0645\u0627\u0631\u06cc Hadoop \u0628\u0631 \u0627\u0633\u0627\u0633 \u062f\u0648 \u0645\u0624\u0644\u0641\u0647 \u0627\u0635\u0644\u06cc \u0627\u0633\u062a: \u0633\u06cc\u0633\u062a\u0645 \u0641\u0627\u06cc\u0644 \u062a\u0648\u0632\u06cc\u0639\u200c\u0634\u062f\u0647 (HDFS) \u0648 \u0645\u062f\u0644 \u067e\u0631\u062f\u0627\u0632\u0634\u06cc MapReduce.<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>HDFS<\/strong>: \u0627\u06cc\u0646 \u0644\u0627\u06cc\u0647 \u0630\u062e\u06cc\u0631\u0647\u200c\u0633\u0627\u0632\u06cc Hadoop \u0628\u0647 \u0634\u0645\u0627\u0631 \u0645\u06cc\u200c\u0622\u06cc\u062f \u06a9\u0647 \u0628\u0631\u0627\u06cc \u0630\u062e\u06cc\u0631\u0647 \u062d\u062c\u0645\u200c\u0647\u0627\u06cc \u0648\u0633\u06cc\u0639\u06cc \u062f\u0627\u062f\u0647 \u062f\u0631 \u06cc\u06a9 \u062e\u0648\u0634\u0647 \u062a\u0648\u0632\u06cc\u0639\u200c\u0634\u062f\u0647 \u0627\u0632 \u0645\u0627\u0634\u06cc\u0646\u200c\u0647\u0627 \u0637\u0631\u0627\u062d\u06cc \u0634\u062f\u0647 \u0627\u0633\u062a \u0648 \u0627\u0632 \u0637\u0631\u06cc\u0642 \u062a\u06a9\u0631\u0627\u0631 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u060c \u0627\u0637\u0645\u06cc\u0646\u0627\u0646 \u0627\u0632 \u0642\u0627\u0628\u0644\u06cc\u062a \u0627\u0637\u0645\u06cc\u0646\u0627\u0646 \u0648 \u062a\u062d\u0645\u0644 \u062e\u0637\u0627 \u0631\u0627 \u0641\u0631\u0627\u0647\u0645 \u0645\u06cc\u200c\u06a9\u0646\u062f.<\/li>\n\n\n\n<li><strong>MapReduce<\/strong>: \u0627\u06cc\u0646 \u0644\u0627\u06cc\u0647 \u067e\u0631\u062f\u0627\u0632\u0634\u06cc Hadoop \u0627\u0633\u062a \u06a9\u0647 \u0628\u0631 \u0627\u0633\u0627\u0633 \u0627\u0635\u0644 \u067e\u0631\u062f\u0627\u0632\u0634 \u0645\u0648\u0627\u0632\u06cc \u0639\u0645\u0644 \u0645\u06cc\u200c\u06a9\u0646\u062f\u060c \u0648\u0638\u0627\u06cc\u0641 \u0631\u0627 \u0628\u0647 \u0632\u06cc\u0631 \u0648\u0638\u0627\u06cc\u0641 \u06a9\u0648\u0686\u06a9\u062a\u0631 \u062a\u0642\u0633\u06cc\u0645 \u0645\u06cc\u200c\u06a9\u0646\u062f \u06a9\u0647 \u0628\u0647 \u0635\u0648\u0631\u062a \u0645\u0633\u062a\u0642\u0644 \u067e\u0631\u062f\u0627\u0632\u0634 \u0645\u06cc\u200c\u0634\u0648\u0646\u062f \u0648 \u0633\u067e\u0633 \u062a\u062c\u0645\u06cc\u0639 \u0645\u06cc\u200c\u0634\u0648\u0646\u062f.<\/li>\n<\/ul>\n\n\n\n<p>Spark:<\/p>\n\n\n<div class=\"wp-block-image\">\n<figure class=\"aligncenter size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"647\" height=\"336\" src=\"https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-123.png\" alt=\"Spark\" class=\"wp-image-18272\" srcset=\"https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-123.png 647w, https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-123-300x156.png 300w, https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-123-585x304.png 585w\" sizes=\"(max-width: 647px) 100vw, 647px\" \/><\/figure><\/div>\n\n\n<p>\u0627\u0633\u067e\u0627\u0631\u06a9 \u0628\u0627 \u0645\u0639\u0645\u0627\u0631\u06cc \u0645\u062a\u0646\u0648\u0639\u200c\u062a\u0631\u06cc \u0637\u0631\u0627\u062d\u06cc \u0634\u062f\u0647 \u0627\u0633\u062a \u06a9\u0647 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u062f \u0627\u0646\u0648\u0627\u0639 \u0645\u062e\u062a\u0644\u0641 \u0648\u0638\u0627\u06cc\u0641 \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0627\u062f\u0647 \u0631\u0627 \u0627\u0646\u062c\u0627\u0645 \u062f\u0647\u062f.<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>\u062a\u0648\u0632\u06cc\u0639 \u0645\u062a\u063a\u06cc\u0631\u0647\u0627 (RDDs) (Resilient Distributed Datasets)<\/strong>: RDD\u200c\u0647\u0627 \u0646\u0645\u0627\u06cc\u0627\u0646\u06af\u0631 \u0645\u062c\u0645\u0648\u0639\u0647\u200c\u0647\u0627\u06cc \u062a\u0648\u0632\u06cc\u0639\u200c\u0634\u062f\u0647 \u0648 \u062a\u063a\u06cc\u06cc\u0631\u200c\u0646\u0627\u067e\u0630\u06cc\u0631 \u0627\u0634\u06cc\u0627\u0621 \u0647\u0633\u062a\u0646\u062f \u06a9\u0647 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u0646\u062f \u0628\u0647 \u0635\u0648\u0631\u062a \u0645\u0648\u0627\u0632\u06cc \u067e\u0631\u062f\u0627\u0632\u0634 \u0634\u0648\u0646\u062f.<\/li>\n\n\n\n<li><strong>\u0628\u0631\u0646\u0627\u0645\u0647\u200c\u0631\u06cc\u0632 DAG (Directed Acyclic Graphs)<\/strong>: \u0627\u0633\u067e\u0627\u0631\u06a9 \u0627\u0632 \u06af\u0631\u0627\u0641\u200c\u0647\u0627\u06cc \u062c\u0647\u062a\u200c\u062f\u0627\u0631 \u063a\u06cc\u0631\u0645\u062f\u0648\u0631 (DAG) \u0628\u0631\u0627\u06cc \u0646\u0645\u0627\u06cc\u0634 \u06af\u0631\u062f\u0634 \u06a9\u0627\u0631 \u0645\u062d\u0627\u0633\u0628\u0627\u062a\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u06a9\u0646\u062f \u0648 \u0637\u0631\u062d \u0627\u062c\u0631\u0627\u06cc \u0628\u0647\u06cc\u0646\u0647 \u0631\u0627 \u0641\u0631\u0627\u0647\u0645 \u0645\u06cc\u200c\u06a9\u0646\u062f.<\/li>\n\n\n\n<li><strong>\u0645\u062d\u0627\u0633\u0628\u0627\u062a \u062f\u0631 \u062d\u0627\u0641\u0638\u0647<\/strong>: \u0628\u0631\u062e\u0644\u0627\u0641 Hadoop\u060c \u0627\u0633\u067e\u0627\u0631\u06a9 \u0628\u06cc\u0634\u062a\u0631 \u0639\u0645\u0644\u06cc\u0627\u062a \u062e\u0648\u062f \u0631\u0627 \u062f\u0631 \u062d\u0627\u0641\u0638\u0647 \u0627\u0646\u062c\u0627\u0645 \u0645\u06cc\u200c\u062f\u0647\u062f \u0648 \u0628\u0647 \u0637\u0648\u0631 \u0642\u0627\u0628\u0644\u200c\u062a\u0648\u062c\u0647\u06cc \u0633\u0631\u0639\u062a \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0631\u0627 \u0627\u0641\u0632\u0627\u06cc\u0634 \u0645\u06cc\u200c\u062f\u0647\u062f.<\/li>\n<\/ul>\n\n\n<div class=\"wp-block-image\">\n<figure class=\"aligncenter size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"426\" height=\"476\" src=\"https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-124.png\" alt=\"\u0645\u0642\u0627\u06cc\u0633\u0647 Spark \u0648 Hadoop\" class=\"wp-image-18273\" srcset=\"https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-124.png 426w, https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-124-268x300.png 268w\" sizes=\"(max-width: 426px) 100vw, 426px\" \/><\/figure><\/div>\n\n\n<h3 class=\"wp-block-heading\">\u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u067e\u0631\u062f\u0627\u0632\u0634\u06cc<\/h3>\n\n\n\n<p>Hadoop:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>\u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0633\u062a\u0647\u200c\u0627\u06cc (Batch Processing)<\/strong>: Hadoop \u0639\u0645\u062f\u062a\u0627\u064b \u0628\u0631\u0627\u06cc \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0633\u062a\u0647\u200c\u0627\u06cc \u0637\u0631\u0627\u062d\u06cc \u0634\u062f\u0647 \u0627\u0633\u062a \u06a9\u0647 \u0634\u0627\u0645\u0644 \u067e\u0631\u062f\u0627\u0632\u0634 \u062d\u062c\u0645\u200c\u0647\u0627\u06cc \u0628\u0632\u0631\u06af \u062f\u0627\u062f\u0647 \u062f\u0631 \u06cc\u06a9 \u0627\u062c\u0631\u0627\u06cc \u0648\u0627\u062d\u062f \u0627\u0633\u062a. \u0627\u06cc\u0646 \u0645\u062f\u0644 \u0628\u0631\u0627\u06cc \u0648\u0638\u0627\u06cc\u0641\u06cc \u0645\u0627\u0646\u0646\u062f \u0641\u0631\u0622\u06cc\u0646\u062f\u0647\u0627\u06cc ETL\u060c \u0627\u0646\u0628\u0627\u0631 \u062f\u0627\u062f\u0647 \u0648 \u062a\u0648\u0644\u06cc\u062f \u06af\u0632\u0627\u0631\u0634 \u0645\u0646\u0627\u0633\u0628 \u0627\u0633\u062a.<\/li>\n<\/ul>\n\n\n\n<p>Spark:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>\u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0633\u062a\u0647\u200c\u0627\u06cc (Batch Processing)<\/strong>: \u0627\u0633\u067e\u0627\u0631\u06a9 \u0646\u06cc\u0632 \u0627\u0632 \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0633\u062a\u0647\u200c\u0627\u06cc \u067e\u0634\u062a\u06cc\u0628\u0627\u0646\u06cc \u0645\u06cc\u200c\u06a9\u0646\u062f \u0627\u0645\u0627 \u0627\u06cc\u0646 \u06a9\u0627\u0631 \u0631\u0627 \u0628\u0633\u06cc\u0627\u0631 \u0633\u0631\u06cc\u0639\u062a\u0631 \u0627\u0632 Hadoop \u0628\u0647 \u062f\u0644\u06cc\u0644 \u0645\u062d\u0627\u0633\u0628\u0627\u062a \u062f\u0631 \u062d\u0627\u0641\u0638\u0647 \u0627\u0646\u062c\u0627\u0645 \u0645\u06cc\u200c\u062f\u0647\u062f.<\/li>\n\n\n\n<li><strong>\u067e\u0631\u062f\u0627\u0632\u0634 \u062c\u0631\u06cc\u0627\u0646\u06cc (Stream Processing)<\/strong>: \u0627\u0633\u067e\u0627\u0631\u06a9 \u0627\u0633\u062a\u0631\u06cc\u0645\u06cc\u0646\u06af \u0627\u0645\u06a9\u0627\u0646 \u067e\u0631\u062f\u0627\u0632\u0634 \u0628\u0644\u0627\u062f\u0631\u0646\u06af \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0631\u0627 \u0641\u0631\u0627\u0647\u0645 \u0645\u06cc\u200c\u06a9\u0646\u062f \u0648 \u0627\u062c\u0627\u0632\u0647 \u0645\u06cc\u200c\u062f\u0647\u062f \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0628\u0647 \u0635\u0648\u0631\u062a \u067e\u06cc\u0648\u0633\u062a\u0647 \u0628\u0627\u0631\u06af\u0630\u0627\u0631\u06cc \u0648 \u062a\u062d\u0644\u06cc\u0644 \u0634\u0648\u0646\u062f.<\/li>\n\n\n\n<li><strong>\u067e\u0631\u062f\u0627\u0632\u0634 \u062a\u0639\u0627\u0645\u0644\u06cc (Interactive Processing)<\/strong>: \u0628\u0627 \u0627\u0633\u067e\u0627\u0631\u06a9\u060c \u06a9\u0627\u0631\u0628\u0631\u0627\u0646 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u0646\u062f \u06a9\u0648\u0626\u0631\u06cc\u200c\u0647\u0627\u06cc \u062a\u0639\u0627\u0645\u0644\u06cc \u062f\u0627\u062f\u0647 \u0631\u0627 \u0628\u0627 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 Spark SQL \u0627\u0646\u062c\u0627\u0645 \u062f\u0647\u0646\u062f \u06a9\u0647 \u0628\u06cc\u0646\u0634\u200c\u0647\u0627\u06cc \u0633\u0631\u06cc\u0639 \u0648 \u062a\u062d\u0644\u06cc\u0644\u200c\u0647\u0627\u06cc \u0627\u06a9\u062a\u0634\u0627\u0641\u06cc \u0631\u0627 \u0641\u0631\u0627\u0647\u0645 \u0645\u06cc\u200c\u06a9\u0646\u062f.<\/li>\n\n\n\n<li><strong>\u067e\u0631\u062f\u0627\u0632\u0634 \u06af\u0631\u0627\u0641 (Graph Processing)<\/strong>: \u06a9\u062a\u0627\u0628\u062e\u0627\u0646\u0647 GraphX \u0627\u0633\u067e\u0627\u0631\u06a9 \u0627\u0632 \u067e\u0631\u062f\u0627\u0632\u0634 \u0648 \u062a\u062d\u0644\u06cc\u0644 \u06af\u0631\u0627\u0641 \u067e\u0634\u062a\u06cc\u0628\u0627\u0646\u06cc \u0645\u06cc\u200c\u06a9\u0646\u062f \u0648 \u0627\u0645\u06a9\u0627\u0646 \u0645\u062d\u0627\u0633\u0628\u0627\u062a \u067e\u06cc\u0686\u06cc\u062f\u0647 \u06af\u0631\u0627\u0641 \u0631\u0627 \u0641\u0631\u0627\u0647\u0645 \u0645\u06cc\u200c\u0633\u0627\u0632\u062f.<\/li>\n<\/ul>\n\n\n\n<h3 class=\"wp-block-heading\">\u0639\u0645\u0644\u06a9\u0631\u062f \u0648 \u0645\u0642\u06cc\u0627\u0633\u200c\u067e\u0630\u06cc\u0631\u06cc<\/h3>\n\n\n\n<p>Hadoop:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>\u0630\u062e\u06cc\u0631\u0647\u200c\u0633\u0627\u0632\u06cc \u0645\u0628\u062a\u0646\u06cc \u0628\u0631 \u062f\u06cc\u0633\u06a9<\/strong>: Hadoop \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0631\u0627 \u0631\u0648\u06cc \u062f\u06cc\u0633\u06a9 \u0630\u062e\u06cc\u0631\u0647 \u0645\u06cc\u200c\u06a9\u0646\u062f \u0648 \u0628\u0631\u0627\u06cc \u067e\u0631\u062f\u0627\u0632\u0634 \u0627\u0632 \u062f\u06cc\u0633\u06a9 \u062e\u0648\u0627\u0646\u062f\u0647 \u0648 \u0646\u0648\u0634\u062a\u0647 \u0645\u06cc\u200c\u0634\u0648\u062f. \u0627\u06cc\u0646 \u0645\u0646\u062c\u0631 \u0628\u0647 \u062a\u0623\u062e\u06cc\u0631 \u0628\u0627\u0644\u0627\u062a\u0631 \u0646\u0633\u0628\u062a \u0628\u0647 \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0631 \u062d\u0627\u0641\u0638\u0647 \u0645\u06cc\u200c\u0634\u0648\u062f.<\/li>\n\n\n\n<li><strong>\u0645\u0642\u06cc\u0627\u0633\u200c\u067e\u0630\u06cc\u0631\u06cc<\/strong>: Hadoop \u0628\u0633\u06cc\u0627\u0631 \u0645\u0642\u06cc\u0627\u0633\u200c\u067e\u0630\u06cc\u0631 \u0627\u0633\u062a \u0648 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u062f \u0628\u0627 \u0627\u0636\u0627\u0641\u0647 \u06a9\u0631\u062f\u0646 \u0646\u0648\u062f\u0647\u0627\u06cc \u0628\u06cc\u0634\u062a\u0631 \u0628\u0647 \u062e\u0648\u0634\u0647\u060c \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0628\u0627 \u0627\u0646\u062f\u0627\u0632\u0647 \u067e\u062a\u0627\u0628\u0627\u06cc\u062a\u200c\u0647\u0627\u06cc \u0631\u0627 \u0645\u062f\u06cc\u0631\u06cc\u062a \u06a9\u0646\u062f. \u0628\u0627 \u0627\u06cc\u0646 \u062d\u0627\u0644\u060c \u0639\u0645\u0644\u06a9\u0631\u062f \u0622\u0646 \u0645\u0645\u06a9\u0646 \u0627\u0633\u062a \u0628\u0627 \u0627\u0641\u0632\u0627\u06cc\u0634 \u062d\u062c\u0645 \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0628\u0647 \u062f\u0644\u06cc\u0644 \u06af\u0644\u0648\u06af\u0627\u0647\u200c\u0647\u0627\u06cc I\/O \u062f\u06cc\u0633\u06a9 \u06a9\u0627\u0647\u0634 \u06cc\u0627\u0628\u062f.<\/li>\n<\/ul>\n\n\n\n<p>Spark:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>\u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0631 \u062d\u0627\u0641\u0638\u0647<\/strong>: \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0631 \u062d\u0627\u0641\u0638\u0647 Hadoop \u0639\u0645\u0644\u06a9\u0631\u062f \u0631\u0627 \u0628\u0647 \u0637\u0648\u0631 \u0642\u0627\u0628\u0644\u200c\u062a\u0648\u062c\u0647\u06cc \u0627\u0641\u0632\u0627\u06cc\u0634 \u0645\u06cc\u200c\u062f\u0647\u062f \u0648 \u0628\u0631\u0627\u06cc \u0628\u0631\u062e\u06cc \u0628\u0627\u0631\u0647\u0627\u06cc \u06a9\u0627\u0631\u06cc \u062a\u0627 \u06f1\u06f0\u06f0 \u0628\u0631\u0627\u0628\u0631 \u0633\u0631\u06cc\u0639\u200c\u062a\u0631 \u0627\u0632 Hadoop \u0627\u0633\u062a.<\/li>\n\n\n\n<li><strong>\u0645\u0642\u06cc\u0627\u0633\u200c\u067e\u0630\u06cc\u0631\u06cc<\/strong>: Spark \u0646\u06cc\u0632 \u0628\u0633\u06cc\u0627\u0631 \u0645\u0642\u06cc\u0627\u0633\u200c\u067e\u0630\u06cc\u0631 \u0627\u0633\u062a \u0648 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u062f \u0648\u0638\u0627\u06cc\u0641 \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0628\u0632\u0631\u06af \u0631\u0627 \u0628\u0647 \u0637\u0648\u0631 \u06a9\u0627\u0631\u0622\u0645\u062f \u0645\u062f\u06cc\u0631\u06cc\u062a \u06a9\u0646\u062f. Spark \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u062f \u0627\u0632 \u0645\u062d\u06cc\u0637\u200c\u0647\u0627\u06cc \u062f\u0631\u0648\u0646\u200c\u0633\u0627\u0632\u0645\u0627\u0646\u06cc \u0648 \u0627\u0628\u0631\u06cc \u0628\u0631\u0627\u06cc \u0645\u0642\u06cc\u0627\u0633\u200c\u067e\u0630\u06cc\u0631\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u062f.<\/li>\n<\/ul>\n\n\n<div class=\"wp-block-image\">\n<figure class=\"aligncenter size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"619\" height=\"288\" src=\"https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-125.png\" alt=\"\u0645\u0642\u0627\u06cc\u0633\u0647 \u0632\u0645\u0627\u0646 \u0627\u062c\u0631\u0627\u06cc \u0641\u0631\u0622\u06cc\u0646\u062f \u0631\u06af\u0631\u0633\u06cc\u0648\u0646 \u062f\u0631 Spark \u0648 Hadoop\" class=\"wp-image-18274\" srcset=\"https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-125.png 619w, https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-125-300x140.png 300w, https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-125-585x272.png 585w\" sizes=\"(max-width: 619px) 100vw, 619px\" \/><figcaption class=\"wp-element-caption\">\u0645\u0642\u0627\u06cc\u0633\u0647 \u0632\u0645\u0627\u0646 \u0627\u062c\u0631\u0627\u06cc \u0641\u0631\u0622\u06cc\u0646\u062f \u0631\u06af\u0631\u0633\u06cc\u0648\u0646 \u062f\u0631 Spark \u0648 Hadoop<\/figcaption><\/figure><\/div>\n\n\n<h3 class=\"wp-block-heading\">\u062a\u062d\u0645\u0644 \u062e\u0637\u0627 \u0648 \u0642\u0627\u0628\u0644\u06cc\u062a \u0627\u0637\u0645\u06cc\u0646\u0627\u0646<\/h3>\n\n\n\n<p>Hadoop:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>\u062a\u06a9\u0631\u0627\u0631 \u062f\u0627\u062f\u0647<\/strong>: HDFS \u0628\u0627 \u062a\u06a9\u0631\u0627\u0631 \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u062f\u0631 \u0646\u0648\u062f\u0647\u0627\u06cc \u0645\u062a\u0639\u062f\u062f\u060c \u062a\u062d\u0645\u0644 \u062e\u0637\u0627 \u0631\u0627 \u0641\u0631\u0627\u0647\u0645 \u0645\u06cc\u200c\u06a9\u0646\u062f. \u0627\u06af\u0631 \u06cc\u06a9 \u0646\u0648\u062f \u0627\u0632 \u06a9\u0627\u0631 \u0628\u06cc\u0641\u062a\u062f\u060c \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u0646\u062f \u0627\u0632 \u0646\u0648\u062f \u062f\u06cc\u06af\u0631\u06cc \u0628\u0627\u0632\u06cc\u0627\u0628\u06cc \u0634\u0648\u0646\u062f.<\/li>\n\n\n\n<li><strong>\u062a\u062d\u0645\u0644 \u062e\u0637\u0627 \u062f\u0631 MapReduce<\/strong>: \u06a9\u0627\u0631\u0647\u0627\u06cc MapReduce \u0628\u0647 \u0648\u0638\u0627\u06cc\u0641 \u06a9\u0648\u0686\u06a9\u062a\u0631\u06cc \u062a\u0642\u0633\u06cc\u0645 \u0645\u06cc\u200c\u0634\u0648\u0646\u062f \u06a9\u0647 \u062f\u0631 \u0635\u0648\u0631\u062a \u0628\u0631\u0648\u0632 \u062e\u0637\u0627 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u0646\u062f \u062f\u0648\u0628\u0627\u0631\u0647 \u0627\u062c\u0631\u0627 \u0634\u0648\u0646\u062f\u060c \u062f\u0631 \u0627\u06cc\u0646 \u0635\u0648\u0631\u062a \u0642\u0627\u0628\u0644\u06cc\u062a \u0627\u0637\u0645\u06cc\u0646\u0627\u0646 \u0633\u06cc\u0633\u062a\u0645 \u0641\u0631\u0627\u0647\u0645 \u0645\u06cc\u200c\u0634\u0648\u062f.<\/li>\n<\/ul>\n\n\n\n<p>\u0627\u0633\u067e\u0627\u0631\u06a9:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>\u062a\u062d\u0645\u0644 \u062e\u0637\u0627 \u062f\u0631 RDD<\/strong>: \u0627\u0633\u067e\u0627\u0631\u06a9 \u0641\u0631\u0622\u06cc\u0646\u062f \u062a\u062d\u0645\u0644 \u062e\u0637\u0627 \u0631\u0627 \u0627\u0632 \u0637\u0631\u06cc\u0642 \u0627\u0637\u0644\u0627\u0639\u0627\u062a \u0633\u0644\u0633\u0644\u0647\u200c\u0645\u0631\u0627\u062a\u0628\u06cc RDD\u200c\u0647\u0627 \u0628\u062f\u0633\u062a \u0645\u06cc\u200c\u0622\u0648\u0631\u062f. \u0627\u06af\u0631 \u06cc\u06a9 \u067e\u0627\u0631\u062a\u06cc\u0634\u0646 \u0627\u0632 RDD \u06af\u0645 \u0634\u0648\u062f\u060c \u0645\u06cc\u200c\u062a\u0648\u0627\u0646 \u0622\u0646 \u0631\u0627 \u0628\u0627 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u06af\u0631\u0627\u0641 \u0633\u0644\u0633\u0644\u0647\u200c\u0645\u0631\u0627\u062a\u0628 \u0645\u062c\u062f\u062f\u0627\u064b \u0645\u062d\u0627\u0633\u0628\u0647 \u06a9\u0631\u062f.<\/li>\n\n\n\n<li><strong>\u0646\u0642\u0637\u0647\u200c\u06af\u0630\u0627\u0631\u06cc (Checkpointing)<\/strong>: \u0628\u0631\u0627\u06cc \u0628\u0631\u0646\u0627\u0645\u0647\u200c\u0647\u0627\u06cc \u0637\u0648\u0644\u0627\u0646\u06cc\u200c\u0645\u062f\u062a\u060c \u0627\u0633\u067e\u0627\u0631\u06a9 \u0646\u0642\u0637\u0647\u200c\u06af\u0630\u0627\u0631\u06cc \u0631\u0627 \u0641\u0631\u0627\u0647\u0645 \u0645\u06cc\u200c\u06a9\u0646\u062f \u062a\u0627 RDD\u200c\u0647\u0627 \u0631\u0627 \u0631\u0648\u06cc \u062f\u06cc\u0633\u06a9 \u0630\u062e\u06cc\u0631\u0647 \u06a9\u0646\u062f\u060c \u062f\u0631 \u0627\u06cc\u0646 \u0635\u0648\u0631\u062a \u0627\u0632 \u062f\u0633\u062a\u200c\u0631\u0641\u062a\u0646 \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u062c\u0644\u0648\u06af\u06cc\u0631\u06cc \u0645\u06cc\u200c\u0634\u0648\u062f.<\/li>\n<\/ul>\n\n\n<div class=\"wp-block-image\">\n<figure class=\"aligncenter size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"940\" height=\"308\" src=\"https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-126.png\" alt=\"\u0645\u0642\u0627\u06cc\u0633\u0647 Spark \u0648 Hadoop\" class=\"wp-image-18275\" srcset=\"https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-126.png 940w, https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-126-300x98.png 300w, https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-126-768x252.png 768w, https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-126-585x192.png 585w\" sizes=\"(max-width: 940px) 100vw, 940px\" \/><\/figure><\/div>\n\n\n<h2 class=\"wp-block-heading\">\u06a9\u0627\u0631\u0628\u0631\u062f\u0647\u0627\u06cc Spark \u0648 Hadoop<\/h2>\n\n\n\n<h3 class=\"wp-block-heading\">\u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0628\u0644\u0627\u062f\u0631\u0646\u06af<\/h3>\n\n\n\n<p>Hadoop:<\/p>\n\n\n\n<p>Hadoop \u0639\u0645\u062f\u062a\u0627\u064b \u0628\u0631 \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0633\u062a\u0647\u200c\u0627\u06cc \u062a\u0645\u0631\u06a9\u0632 \u062f\u0627\u0631\u062f \u0648 \u0628\u0647\u200c\u0637\u0648\u0631 \u0630\u0627\u062a\u06cc \u0628\u0631\u0627\u06cc \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0628\u0644\u0627\u062f\u0631\u0646\u06af \u0637\u0631\u0627\u062d\u06cc \u0646\u0634\u062f\u0647 \u0627\u0633\u062a. \u0628\u0627 \u0627\u06cc\u0646 \u062d\u0627\u0644\u060c \u0645\u06cc\u200c\u062a\u0648\u0627\u0646 \u0647\u062f\u0648\u067e \u0631\u0627 \u0628\u0627 \u0627\u0628\u0632\u0627\u0631\u0647\u0627\u06cc \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0628\u0644\u0627\u062f\u0631\u0646\u06af \u0645\u0627\u0646\u0646\u062f <a href=\"https:\/\/en.wikipedia.org\/wiki\/Apache_Storm\" data-type=\"URL\" data-id=\"https:\/\/en.wikipedia.org\/wiki\/Apache_Storm\" target=\"_blank\" rel=\"noreferrer noopener\"><mark style=\"background-color:#ffffff\" class=\"has-inline-color has-vivid-cyan-blue-color\">Apache Storm<\/mark><\/a> \u06cc\u0627 Apache Flink \u0627\u062f\u063a\u0627\u0645 \u06a9\u0631\u062f \u062a\u0627 \u0648\u0638\u0627\u06cc\u0641 \u0628\u0644\u0627\u062f\u0631\u0646\u06af \u0631\u0627 \u0627\u0646\u062c\u0627\u0645 \u062f\u0647\u062f. \u0627\u06cc\u0646 \u0627\u0628\u0632\u0627\u0631\u0647\u0627 \u0628\u0627 \u0627\u0631\u0627\u0626\u0647 \u0642\u0627\u0628\u0644\u06cc\u062a \u067e\u0631\u062f\u0627\u0632\u0634 \u0648 \u062a\u062d\u0644\u06cc\u0644 \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0628\u0647 \u0645\u062d\u0636 \u0648\u0631\u0648\u062f\u060c Hadoop \u0631\u0627 \u062a\u06a9\u0645\u06cc\u0644 \u0645\u06cc\u200c\u06a9\u0646\u0646\u062f\u060c \u0647\u0631\u0686\u0646\u062f \u06a9\u0647 \u0627\u06cc\u0646 \u062a\u0646\u0638\u06cc\u0645\u0627\u062a \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u062f \u067e\u06cc\u0686\u06cc\u062f\u0647 \u0648 \u0645\u0646\u0627\u0628\u0639\u200c\u0628\u0631 \u0628\u0627\u0634\u062f.<\/p>\n\n\n\n<p>Spark:<\/p>\n\n\n\n<p>\u0627\u0633\u067e\u0627\u0631\u06a9 \u062f\u0631 \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0628\u0644\u0627\u062f\u0631\u0646\u06af \u0627\u0632 \u0637\u0631\u06cc\u0642 \u0645\u0627\u0698\u0648\u0644 Spark Streaming \u0628\u0631\u062a\u0631\u06cc \u062f\u0627\u0631\u062f. Spark Streaming \u0627\u0645\u06a9\u0627\u0646 \u067e\u0631\u062f\u0627\u0632\u0634 \u062c\u0631\u06cc\u0627\u0646\u200c\u0647\u0627\u06cc \u062f\u0627\u062f\u0647 \u0628\u0644\u0627\u062f\u0631\u0646\u06af \u0628\u0627 \u0645\u0642\u06cc\u0627\u0633\u200c\u067e\u0630\u06cc\u0631\u06cc \u0648 \u062a\u062d\u0645\u0644 \u062e\u0637\u0627 \u0631\u0627 \u0641\u0631\u0627\u0647\u0645 \u0645\u06cc\u200c\u06a9\u0646\u062f. \u0627\u0633\u067e\u0627\u0631\u06a9 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u062f \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0631\u0627 \u0627\u0632 \u0645\u0646\u0627\u0628\u0639 \u0645\u062e\u062a\u0644\u0641 \u0645\u0627\u0646\u0646\u062f Apache Kafka\u060c Flume \u0648 HDFS \u062f\u0631\u06cc\u0627\u0641\u062a \u06a9\u0646\u062f\u060c \u0628\u0647 \u0635\u0648\u0631\u062a \u0632\u0645\u0627\u0646 \u0648\u0627\u0642\u0639\u06cc \u067e\u0631\u062f\u0627\u0632\u0634 \u06a9\u0646\u062f \u0648 \u0628\u0647\u200c\u0635\u0648\u0631\u062a \u0641\u0648\u0631\u06cc \u0646\u062a\u0627\u06cc\u062c \u0631\u0627 \u0627\u0631\u0627\u0626\u0647 \u062f\u0647\u062f. Spark Streaming \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0631\u0627 \u0628\u0647 \u0631\u06cc\u0632\u200c\u0628\u0686\u200c\u0647\u0627 \u062a\u0628\u062f\u06cc\u0644 \u0645\u06cc\u200c\u06a9\u0646\u062f \u06a9\u0647 \u0645\u0646\u0627\u0633\u0628 \u0628\u0631\u0627\u06cc \u062a\u062d\u0644\u06cc\u0644 \u0628\u0644\u0627\u062f\u0631\u0646\u06af\u060c \u0633\u06cc\u0633\u062a\u0645\u200c\u0647\u0627\u06cc \u067e\u0627\u06cc\u0634 \u0648 \u0647\u0634\u062f\u0627\u0631\u062f\u0647\u06cc \u0627\u0633\u062a.<\/p>\n\n\n\n<p>\u0645\u062b\u0627\u0644\u200c\u0647\u0627\u06cc \u0645\u0648\u0631\u062f \u0627\u0633\u062a\u0641\u0627\u062f\u0647:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>\u062e\u062f\u0645\u0627\u062a \u0645\u0627\u0644\u06cc<\/strong>: \u062a\u0634\u062e\u06cc\u0635 \u062a\u0642\u0644\u0628 \u0628\u0644\u0627\u062f\u0631\u0646\u06af \u0648 \u067e\u0627\u06cc\u0634 \u062a\u0631\u0627\u06a9\u0646\u0634\u200c\u0647\u0627.<\/li>\n\n\n\n<li><strong>\u0645\u062e\u0627\u0628\u0631\u0627\u062a<\/strong>: \u067e\u0627\u06cc\u0634 \u0639\u0645\u0644\u06a9\u0631\u062f \u0634\u0628\u06a9\u0647 \u0648 \u062a\u0634\u062e\u06cc\u0635 \u0646\u0627\u0647\u0646\u062c\u0627\u0631\u06cc\u200c\u0647\u0627.<\/li>\n\n\n\n<li><strong>\u0635\u0646\u0627\u06cc\u0639 \u0645\u0631\u062a\u0628\u0637 \u0628\u0627 \u062e\u0631\u062f\u0647\u200c\u0641\u0631\u0648\u0634\u06cc<\/strong>: \u0645\u062f\u06cc\u0631\u06cc\u062a \u0645\u0648\u062c\u0648\u062f\u06cc \u0628\u0647 \u0635\u0648\u0631\u062a \u0632\u0645\u0627\u0646 \u0648\u0627\u0642\u0639\u06cc \u0648 \u062a\u0648\u0635\u06cc\u0647\u200c\u0647\u0627\u06cc \u0634\u062e\u0635\u06cc\u200c\u0633\u0627\u0632\u06cc \u0634\u062f\u0647 \u0628\u0647 \u0645\u0634\u062a\u0631\u06cc\u0627\u0646.<\/li>\n<\/ul>\n\n\n\n<h3 class=\"wp-block-heading\">\u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0633\u062a\u0647\u200c\u0627\u06cc<\/h3>\n\n\n\n<p>Hadoop<\/p>\n\n\n\n<p>\u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0633\u062a\u0647\u200c\u0627\u06cc \u062a\u062e\u0635\u0635 Hadoop \u0627\u0633\u062a \u06a9\u0647 \u0627\u0632 \u0645\u062f\u0644 \u0628\u0631\u0646\u0627\u0645\u0647\u200c\u0646\u0648\u06cc\u0633\u06cc MapReduce \u0628\u0647\u0631\u0647 \u0645\u06cc\u200c\u0628\u0631\u062f. MapReduce \u062d\u062c\u0645\u200c\u0647\u0627\u06cc \u0628\u0632\u0631\u06af \u062f\u0627\u062f\u0647 \u0631\u0627 \u0628\u0627 \u062a\u0642\u0633\u06cc\u0645 \u0648\u0638\u0627\u06cc\u0641 \u0628\u0647 \u0632\u06cc\u0631 \u0648\u0638\u0627\u06cc\u0641 \u0645\u0633\u062a\u0642\u0644 \u067e\u0631\u062f\u0627\u0632\u0634 \u0645\u06cc\u200c\u06a9\u0646\u062f \u06a9\u0647 \u0628\u0647 \u0635\u0648\u0631\u062a \u0645\u0648\u0627\u0632\u06cc \u062f\u0631 \u06cc\u06a9 \u062e\u0648\u0634\u0647 \u062a\u0648\u0632\u06cc\u0639 \u0634\u062f\u0647 \u067e\u0631\u062f\u0627\u0632\u0634 \u0645\u06cc\u200c\u0634\u0648\u0646\u062f. \u0627\u06cc\u0646 \u0645\u062f\u0644 \u0628\u0631\u0627\u06cc \u0641\u0631\u0622\u06cc\u0646\u062f\u0647\u0627\u06cc ETL\u060c \u062a\u062d\u0644\u06cc\u0644 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0628\u0632\u0631\u06af\u200c\u0645\u0642\u06cc\u0627\u0633 \u0648 \u062a\u0648\u0644\u06cc\u062f \u06af\u0632\u0627\u0631\u0634 \u0645\u0646\u0627\u0633\u0628 \u0627\u0633\u062a.<\/p>\n\n\n\n<p>Spark<\/p>\n\n\n\n<p>\u0627\u0633\u067e\u0627\u0631\u06a9 \u0646\u06cc\u0632 \u0627\u0632 \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0633\u062a\u0647\u200c\u0627\u06cc \u067e\u0634\u062a\u06cc\u0628\u0627\u0646\u06cc \u0645\u06cc\u200c\u06a9\u0646\u062f\u060c \u0627\u0645\u0627 \u0627\u06cc\u0646 \u06a9\u0627\u0631 \u0631\u0627 \u0628\u0647 \u062f\u0644\u06cc\u0644 \u0642\u0627\u0628\u0644\u06cc\u062a\u200c\u0647\u0627\u06cc \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0631 \u062d\u0627\u0641\u0638\u0647 \u06a9\u0627\u0631\u0622\u0645\u062f\u062a\u0631 \u0627\u0632 Hadoop \u0627\u0646\u062c\u0627\u0645 \u0645\u06cc\u200c\u062f\u0647\u062f. RDD\u200c\u0647\u0627 \u0648 DataFrame\u200c\u0647\u0627\u06cc \u0627\u0633\u067e\u0627\u0631\u06a9 \u0627\u0645\u06a9\u0627\u0646 \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0633\u0631\u06cc\u0639\u200c\u062a\u0631 \u0648 \u062a\u063a\u06cc\u06cc\u0631\u0627\u062a \u067e\u06cc\u0686\u06cc\u062f\u0647 \u062f\u0627\u062f\u0647 \u0631\u0627 \u0641\u0631\u0627\u0647\u0645 \u0645\u06cc\u200c\u06a9\u0646\u0646\u062f. \u0639\u0644\u0627\u0648\u0647 \u0628\u0631 \u0627\u06cc\u0646\u060c \u0628\u0631\u0646\u0627\u0645\u0647\u200c\u0631\u06cc\u0632 DAG \u0627\u0633\u067e\u0627\u0631\u06a9 \u0628\u0631\u0646\u0627\u0645\u0647 \u0627\u062c\u0631\u0627\u06cc \u0628\u0647\u06cc\u0646\u0647 \u0631\u0627 \u0641\u0631\u0627\u0647\u0645 \u0645\u06cc\u200c\u06a9\u0646\u062f \u06a9\u0647 \u0645\u0646\u062c\u0631 \u0628\u0647 \u0639\u0645\u0644\u06a9\u0631\u062f \u0628\u0647\u062a\u0631 \u0628\u0631\u0627\u06cc \u0648\u0638\u0627\u06cc\u0641 \u062f\u0633\u062a\u0647\u200c\u0627\u06cc \u0645\u06cc\u200c\u0634\u0648\u062f.<\/p>\n\n\n\n<p>\u0645\u062b\u0627\u0644\u200c\u0647\u0627\u06cc \u0645\u0648\u0631\u062f \u0627\u0633\u062a\u0641\u0627\u062f\u0647:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>\u0628\u0647\u062f\u0627\u0634\u062a \u0648 \u062f\u0631\u0645\u0627\u0646<\/strong>: \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0633\u062a\u0647\u200c\u0627\u06cc \u0633\u0648\u0627\u0628\u0642 \u067e\u0632\u0634\u06a9\u06cc \u0628\u0631\u0627\u06cc \u0645\u062f\u06cc\u0631\u06cc\u062a \u0648 \u067e\u06cc\u0634\u200c\u0628\u06cc\u0646\u06cc \u0633\u0644\u0627\u0645\u062a \u062c\u0645\u0639\u06cc\u062a.<\/li>\n\n\n\n<li><strong>\u0627\u0645\u0648\u0631 \u0645\u0627\u0644\u06cc<\/strong>: \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0645\u0627\u0644\u06cc \u062a\u0627\u0631\u06cc\u062e\u06cc \u0628\u0631\u0627\u06cc \u0627\u0631\u0632\u06cc\u0627\u0628\u06cc \u0631\u06cc\u0633\u06a9 \u0648 \u062a\u0637\u0627\u0628\u0642 \u0628\u0627 \u0645\u0642\u0631\u0631\u0627\u062a.<\/li>\n\n\n\n<li><strong>\u062f\u0648\u0644\u062a<\/strong>: \u062a\u062d\u0644\u06cc\u0644 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0628\u0632\u0631\u06af \u0628\u0631\u0627\u06cc \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0633\u0631\u0634\u0645\u0627\u0631\u06cc \u0648 \u0628\u0631\u0646\u0627\u0645\u0647\u200c\u0631\u06cc\u0632\u06cc \u0633\u06cc\u0627\u0633\u062a\u200c\u0647\u0627\u06cc \u0639\u0645\u0648\u0645\u06cc.<\/li>\n<\/ul>\n\n\n\n<h3 class=\"wp-block-heading\">\u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0645\u0627\u0634\u06cc\u0646 \u0648 \u0647\u0648\u0634 \u0645\u0635\u0646\u0648\u0639\u06cc<\/h3>\n\n\n\n<p>Hadoop:<\/p>\n\n\n\n<p>\u0647\u062f\u0648\u067e \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u062f \u0627\u0632 \u0637\u0631\u06cc\u0642 \u0627\u062f\u063a\u0627\u0645 \u0628\u0627 <a href=\"https:\/\/en.wikipedia.org\/wiki\/Apache_Mahout\" data-type=\"URL\" data-id=\"https:\/\/en.wikipedia.org\/wiki\/Apache_Mahout\" target=\"_blank\" rel=\"noreferrer noopener\"><mark style=\"background-color:#ffffff\" class=\"has-inline-color has-vivid-cyan-blue-color\">Apache Mahout<\/mark><\/a>\u060c \u0628\u0631\u0627\u06cc \u0648\u0638\u0627\u06cc\u0641 \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0645\u0627\u0634\u06cc\u0646 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0634\u0648\u062f. \u0628\u0627 \u0627\u06cc\u0646 \u062d\u0627\u0644\u060c Mahout \u0639\u0645\u062f\u062a\u0627\u064b \u0628\u0647 \u0645\u062f\u0644 MapReduce \u0645\u062a\u06a9\u06cc \u0627\u0633\u062a \u06a9\u0647 \u0628\u0631\u0627\u06cc \u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645\u200c\u0647\u0627\u06cc \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0645\u0627\u0634\u06cc\u0646 \u062a\u06a9\u0631\u0627\u0631\u06cc \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u062f \u0646\u0627\u06a9\u0627\u0631\u0622\u0645\u062f \u0628\u0627\u0634\u062f.<\/p>\n\n\n\n<p>Spark:<\/p>\n\n\n\n<p>\u0627\u0633\u067e\u0627\u0631\u06a9 \u06a9\u062a\u0627\u0628\u062e\u0627\u0646\u0647 \u06a9\u0627\u0645\u0644 \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0645\u0627\u0634\u06cc\u0646 \u0628\u0647 \u0646\u0627\u0645 MLlib \u0631\u0627 \u0641\u0631\u0627\u0647\u0645 \u0645\u06cc\u200c\u06a9\u0646\u062f \u06a9\u0647 \u0628\u0631\u0627\u06cc \u0645\u062d\u0627\u0633\u0628\u0627\u062a \u062a\u0648\u0632\u06cc\u0639\u200c\u0634\u062f\u0647 \u0628\u0647\u06cc\u0646\u0647 \u0634\u062f\u0647 \u0627\u0633\u062a. MLlib \u0634\u0627\u0645\u0644 \u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645\u200c\u0647\u0627\u06cc\u06cc \u0628\u0631\u0627\u06cc \u0637\u0628\u0642\u0647\u200c\u0628\u0646\u062f\u06cc\u060c \u0631\u06af\u0631\u0633\u06cc\u0648\u0646\u060c \u062e\u0648\u0634\u0647\u200c\u0628\u0646\u062f\u06cc \u0648 \u0645\u0648\u0627\u0631\u062f \u062f\u06cc\u06af\u0631 \u0627\u0633\u062a. \u0645\u062f\u0644 \u0645\u062d\u0627\u0633\u0628\u0627\u062a \u062f\u0631 \u062d\u0627\u0641\u0638\u0647 \u0648 \u062a\u06a9\u0631\u0627\u0631\u06cc \u0627\u0633\u067e\u0627\u0631\u06a9\u060c \u0622\u0646 \u0631\u0627 \u0628\u0631\u0627\u06cc \u0622\u0645\u0648\u0632\u0634 \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0645\u0627\u0634\u06cc\u0646 \u0628\u0632\u0631\u06af\u200c\u0645\u0642\u06cc\u0627\u0633 \u0627\u06cc\u062f\u0647\u200c\u0622\u0644 \u0645\u06cc\u200c\u06a9\u0646\u062f.<\/p>\n\n\n\n<p>\u0645\u062b\u0627\u0644\u200c\u0647\u0627\u06cc \u0645\u0648\u0631\u062f \u0627\u0633\u062a\u0641\u0627\u062f\u0647:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>\u062a\u062c\u0627\u0631\u062a \u0627\u0644\u06a9\u062a\u0631\u0648\u0646\u06cc\u06a9<\/strong>: \u0633\u06cc\u0633\u062a\u0645\u200c\u0647\u0627\u06cc \u062a\u0648\u0635\u06cc\u0647\u200c\u062f\u0647\u0646\u062f\u0647 \u0645\u062d\u0635\u0648\u0644 \u0648 \u0628\u062e\u0634\u200c\u0628\u0646\u062f\u06cc \u0645\u0634\u062a\u0631\u06cc\u0627\u0646.<\/li>\n\n\n\n<li><strong>\u0628\u0647\u062f\u0627\u0634\u062a \u0648 \u062f\u0631\u0645\u0627\u0646<\/strong>: \u0645\u062f\u0644\u200c\u0633\u0627\u0632\u06cc \u067e\u06cc\u0634\u200c\u0628\u06cc\u0646\u06cc \u0628\u0631\u0627\u06cc \u0634\u06cc\u0648\u0639 \u0628\u06cc\u0645\u0627\u0631\u06cc\u200c\u0647\u0627 \u0648 \u0646\u062a\u0627\u06cc\u062c \u0628\u06cc\u0645\u0627\u0631\u06cc.<\/li>\n\n\n\n<li><strong>\u0628\u0627\u0632\u0627\u0631\u06cc\u0627\u0628\u06cc<\/strong>: \u067e\u06cc\u0634\u200c\u0628\u06cc\u0646\u06cc \u0631\u06cc\u0632\u0634 \u0645\u0634\u062a\u0631\u06cc \u0648 \u06a9\u0645\u067e\u06cc\u0646\u200c\u0647\u0627\u06cc \u0628\u0627\u0632\u0627\u0631\u06cc\u0627\u0628\u06cc \u0647\u062f\u0641\u0645\u0646\u062f.<\/li>\n<\/ul>\n\n\n\n<p>\u0647\u0645\u0686\u0646\u06cc\u0646 \u0628\u062e\u0648\u0627\u0646\u06cc\u062f: <a rel=\"noreferrer noopener\" href=\"https:\/\/cafetadris.com\/blog\/%db%8c%d8%a7%d8%af%da%af%db%8c%d8%b1%db%8c-%d9%87%d9%88%d8%b4-%d9%85%d8%b5%d9%86%d9%88%d8%b9%db%8c\/\" data-type=\"post\" data-id=\"13899\" target=\"_blank\"><mark style=\"background-color:#ffffff\" class=\"has-inline-color has-vivid-cyan-blue-color\">\u0646\u0642\u0634\u0647\u200c\u0631\u0627\u0647 \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0647\u0648\u0634 \u0645\u0635\u0646\u0648\u0639\u06cc \u0627\u0632 \u067e\u0627\u06cc\u0647 \u062f\u0631 \u0633\u0627\u0644 \u06f2\u06f0\u06f2\u06f4 \u0686\u06cc\u0633\u062a\u061f<\/mark><\/a><\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u062a\u062d\u0644\u06cc\u0644 \u062f\u0627\u062f\u0647 \u0648 \u0647\u0648\u0634 \u062a\u062c\u0627\u0631\u06cc<\/h3>\n\n\n\n<p>Hadoop:<\/p>\n\n\n\n<p>Hadoop \u0627\u0632 \u0637\u0631\u06cc\u0642 \u0627\u0628\u0632\u0627\u0631\u0647\u0627\u06cc\u06cc \u0645\u0627\u0646\u0646\u062f Apache Hive \u0648 <a href=\"https:\/\/datascientest.com\/en\/apache-pig-everything-you-need-to-know-about-the-hadoop-programming-language\" data-type=\"URL\" data-id=\"https:\/\/datascientest.com\/en\/apache-pig-everything-you-need-to-know-about-the-hadoop-programming-language\" target=\"_blank\" rel=\"noreferrer noopener\"><mark style=\"background-color:#ffffff\" class=\"has-inline-color has-vivid-cyan-blue-color\">Pig<\/mark><\/a> \u0627\u0632 \u062a\u062d\u0644\u06cc\u0644 \u062f\u0627\u062f\u0647 \u0648 \u0647\u0648\u0634 \u062a\u062c\u0627\u0631\u06cc \u067e\u0634\u062a\u06cc\u0628\u0627\u0646\u06cc \u0645\u06cc\u200c\u06a9\u0646\u062f. Hive \u0631\u0627\u0628\u0637\u06cc \u0645\u0634\u0627\u0628\u0647 SQL \u0628\u0631\u0627\u06cc \u06a9\u0648\u0626\u0631\u06cc\u200c\u06af\u06cc\u0631\u06cc \u0648 \u062a\u062d\u0644\u06cc\u0644 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0628\u0632\u0631\u06af \u0630\u062e\u06cc\u0631\u0647 \u0634\u062f\u0647 \u062f\u0631 HDFS \u0627\u0631\u0627\u0626\u0647 \u0645\u06cc\u200c\u062f\u0647\u062f. Pig \u0632\u0628\u0627\u0646 \u0627\u0633\u06a9\u0631\u06cc\u067e\u062a\u200c\u0646\u0648\u06cc\u0633\u06cc \u0633\u0637\u062d \u0628\u0627\u0644\u0627\u06cc\u06cc \u0628\u0631\u0627\u06cc \u062a\u063a\u06cc\u06cc\u0631 \u0648 \u062a\u062d\u0644\u06cc\u0644 \u062f\u0627\u062f\u0647 \u0641\u0631\u0627\u0647\u0645 \u0645\u06cc\u200c\u06a9\u0646\u062f. \u0627\u06cc\u0646 \u0627\u0628\u0632\u0627\u0631\u0647\u0627 \u0627\u0645\u06a9\u0627\u0646 \u0627\u0633\u062a\u062e\u0631\u0627\u062c \u0628\u06cc\u0646\u0634 \u0627\u0632 \u062d\u062c\u0645\u200c\u0647\u0627\u06cc \u0639\u0638\u06cc\u0645 \u062f\u0627\u062f\u0647 \u0631\u0627 \u0628\u0631\u0627\u06cc \u06a9\u0633\u0628\u200c\u0648\u06a9\u0627\u0631\u0647\u0627 \u0641\u0631\u0627\u0647\u0645 \u0645\u06cc\u200c\u06a9\u0646\u0646\u062f\u060c \u0647\u0631\u0686\u0646\u062f \u0639\u0645\u0644\u06a9\u0631\u062f \u06a9\u0648\u0626\u0631\u06cc\u200c\u0647\u0627 \u0645\u0645\u06a9\u0646 \u0627\u0633\u062a \u062f\u0631 \u0645\u0642\u0627\u06cc\u0633\u0647 \u0628\u0627 \u0627\u0633\u067e\u0627\u0631\u06a9 \u06a9\u0646\u062f\u062a\u0631 \u0628\u0627\u0634\u062f.<\/p>\n\n\n\n<p>Spark:<\/p>\n\n\n\n<p>\u0645\u0627\u0698\u0648\u0644 SQL \u0627\u0633\u067e\u0627\u0631\u06a9 (Spark SQL) \u0627\u0645\u06a9\u0627\u0646 \u06a9\u0648\u0626\u0631\u06cc\u200c\u06af\u06cc\u0631\u06cc \u0648 \u062a\u062d\u0644\u06cc\u0644 \u0642\u062f\u0631\u062a\u0645\u0646\u062f \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0631\u0627 \u0641\u0631\u0627\u0647\u0645 \u0645\u06cc\u200c\u06a9\u0646\u062f. \u0627\u06cc\u0646 \u0645\u0627\u0698\u0648\u0644 \u0628\u0627 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0630\u062e\u06cc\u0631\u0647 \u0634\u062f\u0647 \u062f\u0631 HDFS\u060c Hive \u0648 \u0645\u0646\u0627\u0628\u0639 \u062f\u0627\u062f\u0647 \u0645\u062e\u062a\u0644\u0641 \u062f\u06cc\u06af\u0631 \u0628\u0647\u200c\u0637\u0648\u0631 \u06cc\u06a9\u067e\u0627\u0631\u0686\u0647 \u0627\u062f\u063a\u0627\u0645 \u0645\u06cc\u200c\u0634\u0648\u062f. Spark SQL \u0627\u0632 \u06a9\u0648\u0626\u0631\u06cc\u200c\u0647\u0627\u06cc \u062f\u0633\u062a\u0647\u200c\u0627\u06cc \u0648 \u062a\u0639\u0627\u0645\u0644\u06cc \u067e\u0634\u062a\u06cc\u0628\u0627\u0646\u06cc \u0645\u06cc\u200c\u06a9\u0646\u062f \u06a9\u0647 \u0627\u0645\u06a9\u0627\u0646 \u06a9\u0627\u0648\u0634 \u0628\u0644\u0627\u062f\u0631\u0646\u06af \u062f\u0627\u062f\u0647 \u0648 \u0647\u0648\u0634 \u062a\u062c\u0627\u0631\u06cc \u0631\u0627 \u0641\u0631\u0627\u0647\u0645 \u0645\u06cc\u200c\u06a9\u0646\u062f. \u0639\u0644\u0627\u0648\u0647 \u0628\u0631 \u0627\u06cc\u0646\u060c \u062a\u0648\u0627\u0646\u0627\u06cc\u06cc \u0627\u0633\u067e\u0627\u0631\u06a9 \u062f\u0631 \u06a9\u0634 \u06a9\u0631\u062f\u0646 \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u062f\u0631 \u062d\u0627\u0641\u0638\u0647 \u0645\u0646\u062c\u0631 \u0628\u0647 \u0639\u0645\u0644\u06a9\u0631\u062f \u0633\u0631\u06cc\u0639\u200c\u062a\u0631 \u06a9\u0648\u0626\u0631\u06cc\u200c\u0647\u0627 \u0645\u06cc\u200c\u0634\u0648\u062f.<\/p>\n\n\n\n<p>\u0645\u062b\u0627\u0644\u200c\u0647\u0627\u06cc \u0645\u0648\u0631\u062f \u0627\u0633\u062a\u0641\u0627\u062f\u0647:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>\u062e\u0631\u062f\u0647\u200c\u0641\u0631\u0648\u0634\u06cc<\/strong>: \u062a\u062d\u0644\u06cc\u0644 \u0641\u0631\u0648\u0634\u060c \u067e\u06cc\u0634\u200c\u0628\u06cc\u0646\u06cc \u062a\u0642\u0627\u0636\u0627 \u0648 \u062a\u062d\u0644\u06cc\u0644 \u0631\u0641\u062a\u0627\u0631 \u0645\u0634\u062a\u0631\u06cc.<\/li>\n\n\n\n<li><strong>\u0645\u0627\u0644\u06cc<\/strong>: \u062a\u062d\u0644\u06cc\u0644 \u0628\u0644\u0627\u062f\u0631\u0646\u06af \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0628\u0627\u0632\u0627\u0631 \u0648 \u0645\u062f\u06cc\u0631\u06cc\u062a \u067e\u0631\u062a\u0641\u0648\u06cc.<\/li>\n\n\n\n<li><strong>\u062a\u0648\u0644\u06cc\u062f<\/strong>: \u0628\u0631\u0646\u0627\u0645\u0647\u200c\u0647\u0627\u06cc \u062a\u0639\u0645\u06cc\u0631 \u0648 \u0646\u06af\u0647\u062f\u0627\u0631\u06cc \u0648 \u062a\u062d\u0644\u06cc\u0644 \u06a9\u0646\u062a\u0631\u0644 \u06a9\u06cc\u0641\u06cc\u062a.<\/li>\n<\/ul>\n\n\n<div class=\"wp-block-image\">\n<figure class=\"aligncenter size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"940\" height=\"173\" src=\"https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-127.png\" alt=\"\u06a9\u0627\u0631\u0628\u0631\u062f\u0647\u0627\u06cc \u06a9\u0644\u06cc\u062f\u06cc Spark \u0648  Hadoop\" class=\"wp-image-18276\" srcset=\"https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-127.png 940w, https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-127-300x55.png 300w, https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-127-768x141.png 768w, https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-127-585x108.png 585w\" sizes=\"(max-width: 940px) 100vw, 940px\" \/><\/figure><\/div>\n\n\n<p>\u0628\u0631\u0627\u06cc \u0645\u0637\u0627\u0644\u0639\u0647 \u0628\u06cc\u0634\u062a\u0631 \u06a9\u0644\u06cc\u06a9 \u06a9\u0646\u06cc\u062f: <a rel=\"noreferrer noopener\" href=\"https:\/\/cafetadris.com\/blog\/%d9%87%d9%88%d8%b4-%d8%aa%d8%ac%d8%a7%d8%b1%db%8c-%db%8c%d8%a7-business-intelligence\/\" data-type=\"post\" data-id=\"13175\" target=\"_blank\"><mark style=\"background-color:#ffffff\" class=\"has-inline-color has-vivid-cyan-blue-color\">\u0647\u0648\u0634 \u062a\u062c\u0627\u0631\u06cc \u06cc\u0627 Business Intelligence \u0686\u06cc\u0633\u062a\u061f<\/mark><\/a><\/p>\n\n\n\n<h2 class=\"wp-block-heading\">PySpark<\/h2>\n\n\n\n<p>\u067e\u0627\u06cc\u200c\u0627\u0633\u067e\u0627\u0631\u06a9 API \u067e\u0627\u06cc\u062a\u0648\u0646 \u0628\u0631\u0627\u06cc Apache Spark \u0627\u0633\u062a \u06a9\u0647 \u0628\u0647 \u062a\u0648\u0633\u0639\u0647\u200c\u062f\u0647\u0646\u062f\u06af\u0627\u0646 \u067e\u0627\u06cc\u062a\u0648\u0646 \u0627\u062c\u0627\u0632\u0647 \u0645\u06cc\u200c\u062f\u0647\u062f \u0627\u0632 \u0642\u0627\u0628\u0644\u06cc\u062a\u200c\u0647\u0627\u06cc \u0645\u062d\u0627\u0633\u0628\u0627\u062a \u062a\u0648\u0632\u06cc\u0639\u200c\u0634\u062f\u0647 \u0627\u0633\u067e\u0627\u0631\u06a9 \u0628\u0647\u0631\u0647\u200c\u0628\u0631\u062f\u0627\u0631\u06cc \u06a9\u0646\u0646\u062f. \u0627\u06cc\u0646 \u0627\u0628\u0632\u0627\u0631 \u0633\u0627\u062f\u0647 \u0648 \u06a9\u0627\u0631\u0622\u0645\u062f \u0627\u0645\u06a9\u0627\u0646 \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0628\u0632\u0631\u06af\u200c\u0645\u0642\u06cc\u0627\u0633 \u0628\u0627 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u067e\u0627\u06cc\u062a\u0648\u0646 \u0631\u0627 \u0641\u0631\u0627\u0647\u0645 \u0645\u06cc\u200c\u06a9\u0646\u062f \u0648 \u0628\u0647 \u0637\u0648\u0631 \u06cc\u06a9\u067e\u0627\u0631\u0686\u0647 \u0628\u0627 \u0639\u0645\u0644\u06a9\u0631\u062f\u0647\u0627\u06cc \u0627\u0635\u0644\u06cc \u0627\u0633\u067e\u0627\u0631\u06a9 \u0627\u062f\u063a\u0627\u0645 \u0645\u06cc\u200c\u0634\u0648\u062f. PySpark \u0627\u0632 \u0627\u062c\u0632\u0627\u06cc \u0645\u062e\u062a\u0644\u0641 \u0627\u0633\u067e\u0627\u0631\u06a9 \u0634\u0627\u0645\u0644 Spark SQL\u060c Spark Streaming\u060c MLlib \u0648 GraphX \u067e\u0634\u062a\u06cc\u0628\u0627\u0646\u06cc \u0645\u06cc\u200c\u06a9\u0646\u062f \u0648 \u0628\u0647 \u06a9\u0627\u0631\u0628\u0631\u0627\u0646 \u067e\u0627\u06cc\u062a\u0648\u0646 \u0627\u0645\u06a9\u0627\u0646 \u0645\u06cc\u200c\u062f\u0647\u062f \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0633\u062a\u0647\u200c\u0627\u06cc\u060c \u062a\u062d\u0644\u06cc\u0644 \u0628\u0644\u0627\u062f\u0631\u0646\u06af\u060c \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0645\u0627\u0634\u06cc\u0646 \u0648 \u067e\u0631\u062f\u0627\u0632\u0634 \u06af\u0631\u0627\u0641 \u0631\u0627 \u0627\u0646\u062c\u0627\u0645 \u062f\u0647\u0646\u062f. \u0628\u0627 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 PySpark\u060c \u062f\u0627\u0646\u0634\u0645\u0646\u062f\u0627\u0646 \u062f\u0627\u062f\u0647 \u0648 \u0645\u0647\u0646\u062f\u0633\u0627\u0646 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u0646\u062f \u0628\u0631\u0646\u0627\u0645\u0647\u200c\u0647\u0627\u06cc \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0645\u0642\u06cc\u0627\u0633\u200c\u067e\u0630\u06cc\u0631 \u0631\u0627 \u0628\u0647 \u0632\u0628\u0627\u0646 \u067e\u0627\u06cc\u062a\u0648\u0646 \u0628\u0646\u0648\u06cc\u0633\u0646\u062f \u0648 \u0627\u0632 \u0639\u0645\u0644\u06a9\u0631\u062f \u0628\u0627\u0644\u0627 \u0648 \u0627\u0646\u0639\u0637\u0627\u0641\u200c\u067e\u0630\u06cc\u0631\u06cc \u0627\u0633\u067e\u0627\u0631\u06a9 \u0628\u0647\u0631\u0647\u200c\u0645\u0646\u062f \u0634\u0648\u0646\u062f. \u062f\u0631 \u0627\u062f\u0627\u0645\u0647 \u0686\u0646\u062f \u0642\u0637\u0639\u0647 \u06a9\u062f \u0628\u0627 \u0628\u0647\u0631\u0647\u200c\u06af\u06cc\u0631\u06cc \u0627\u0632 \u0627\u06cc\u0646 \u0627\u0628\u0632\u0627\u0631 \u0627\u0631\u0627\u0626\u0647 \u0645\u06cc\u200c\u0634\u0648\u062f:<\/p>\n\n\n\n<p>\u0628\u0631\u0627\u06cc \u062f\u0631\u06a9 \u0628\u0647\u062a\u0631 \u0628\u0647 <a href=\"https:\/\/www.youtube.com\/watch?v=VTMRHRA0Qlk&amp;list=PLIoM6vIerI9pj4S_eNZv9zD2-KZ9VeQ2f&amp;ab_channel=RezaShokrzad\" data-type=\"URL\" data-id=\"https:\/\/www.youtube.com\/watch?v=VTMRHRA0Qlk&amp;list=PLIoM6vIerI9pj4S_eNZv9zD2-KZ9VeQ2f&amp;ab_channel=RezaShokrzad\" target=\"_blank\" rel=\"noreferrer noopener\"><mark style=\"background-color:#ffffff\" class=\"has-inline-color has-vivid-cyan-blue-color\">\u0627\u06cc\u0646 \u0648\u06cc\u062f\u0626\u0648<\/mark><\/a> \u0627\u0632 \u067e\u0644\u06cc \u0644\u06cc\u0633\u062a PySpark \u0645\u0631\u0627\u062c\u0639\u0647 \u06a9\u0646\u06cc\u062f.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u062a\u0646\u0638\u06cc\u0645 PySpark<\/h3>\n\n\n\n<p>\u0628\u0631\u0627\u06cc \u0634\u0631\u0648\u0639 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 PySpark\u060c \u0646\u06cc\u0627\u0632 \u0628\u0647 \u0646\u0635\u0628 \u0648 \u067e\u06cc\u06a9\u0631\u0628\u0646\u062f\u06cc \u0645\u062d\u06cc\u0637 \u062e\u0648\u062f \u062f\u0627\u0631\u06cc\u062f. \u062f\u0631 \u0627\u06cc\u0646\u062c\u0627 \u06cc\u06a9 \u0631\u0627\u0647\u0646\u0645\u0627\u06cc \u0633\u0627\u062f\u0647 \u0628\u0631\u0627\u06cc \u0631\u0627\u0647\u200c\u0627\u0646\u062f\u0627\u0632\u06cc \u0622\u0648\u0631\u062f\u0647 \u0634\u062f\u0647 \u0627\u0633\u062a:<\/p>\n\n\n<p style=\"direction:rtl;text-align:right!important\">\n<pre style=\"direction:ltr;text-align:left\">\n<code>\n# Install PySpark using pip\n!pip install pyspark\n# Set environment variables for Spark\n!export SPARK_HOME=\/path\/to\/spark\n!export PATH=$SPARK_HOME\/bin:$PATH\n!export PYSPARK_PYTHON=python3\n<\/code>\n<\/pre><\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u0639\u0645\u0644\u06cc\u0627\u062a \u0627\u0628\u062a\u062f\u0627\u06cc\u06cc \u062f\u0631 PySpark<\/h3>\n\n\n\n<h4 class=\"wp-block-heading\">\u0627\u06cc\u062c\u0627\u062f \u06cc\u06a9 \u062c\u0644\u0633\u0647 \u062f\u0631 PySpark<\/h4>\n\n\n\n<p>\u0628\u0631\u0627\u06cc \u0634\u0631\u0648\u0639 \u06a9\u0627\u0631 \u0628\u0627 PySpark \u0644\u0627\u0632\u0645 \u0627\u0633\u062a \u06a9\u0647 \u0627\u0628\u062a\u062f\u0627 \u06cc\u06a9 \u062c\u0644\u0633\u0647 (Session) \u0645\u0637\u0627\u0628\u0642 \u06a9\u062f \u0632\u06cc\u0631 \u0627\u06cc\u062c\u0627\u062f \u0634\u0648\u062f:<\/p>\n\n\n<p style=\"direction:rtl;text-align:right!important\">\n<pre style=\"direction:ltr;text-align:left\">\n<code>\nfrom pyspark.sql import SparkSession\n# Initialize a Spark session\nspark = SparkSession.builder.appName(\"BasicOperations\").getOrCreate()\n<\/code>\n<\/pre><\/p>\n\n\n\n<h4 class=\"wp-block-heading\">\u0628\u0627\u0631\u06af\u0630\u0627\u0631\u06cc \u0645\u062c\u0645\u0648\u0639\u0647 \u062f\u0627\u062f\u0647<\/h4>\n\n\n\n<p>\u0627\u0628\u062a\u062f\u0627 \u06cc\u06a9 \u0645\u062c\u0645\u0648\u0639\u0647 \u062f\u0627\u062f\u0647 \u0633\u0627\u062f\u0647 \u06a9\u0647 \u0628\u06cc\u0627\u0646\u06af\u0631 \u062a\u0631\u0627\u06a9\u0646\u0634\u200c\u0647\u0627\u06cc \u06cc\u06a9 \u0641\u0631\u0648\u0634\u06af\u0627\u0647 \u0627\u0633\u062a \u0627\u06cc\u062c\u0627\u062f \u0645\u06cc\u200e\u200c\u200c\u06a9\u0646\u06cc\u0645 \u0648 \u0633\u067e\u0633 \u0628\u0647 \u06a9\u0645\u06a9 PySpark \u0622\u0646 \u0631\u0627 \u0628\u0627\u0631\u06af\u0630\u0627\u0631\u06cc \u0645\u06cc\u200c\u06a9\u0646\u06cc\u0645.<\/p>\n\n\n<p style=\"direction:rtl;text-align:right!important\">\n<pre style=\"direction:ltr;text-align:left\">\n<code>\n# Load the CSV file into a DataFrame\ndf = spark.read.csv(\"dataset.csv\", header=True, inferSchema=True)\n<\/code>\n<\/pre><\/p>\n\n\n\n<p>\u0647\u0645\u0686\u0646\u06cc\u0646 <a rel=\"noreferrer noopener\" href=\"https:\/\/www.youtube.com\/watch?v=9EWAKbAbHsE&amp;list=PLIoM6vIerI9pj4S_eNZv9zD2-KZ9VeQ2f&amp;index=3&amp;ab_channel=RezaShokrzad\" data-type=\"URL\" data-id=\"https:\/\/www.youtube.com\/watch?v=9EWAKbAbHsE&amp;list=PLIoM6vIerI9pj4S_eNZv9zD2-KZ9VeQ2f&amp;index=3&amp;ab_channel=RezaShokrzad\" target=\"_blank\"><mark style=\"background-color:#ffffff\" class=\"has-inline-color has-vivid-cyan-blue-color\">\u0627\u06cc\u0646 \u0648\u06cc\u062f\u0626\u0648<\/mark><\/a><span style=\"padding: 0;margin: 0;margin-left: 5px\"><a title=\"Get a direct link\" style=\");width: 16px;height: 16px;border: none;text-decoration: none;padding: 0px;position: relative\" href=\"http:\/\/savefrom.net\/?url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3D9EWAKbAbHsE%26list%3DPLIoM6vIerI9pj4S_eNZv9zD2-KZ9VeQ2f%26index%3D3%26ab_channel%3DRezaShokrzad&amp;utm_source=userjs-chrome&amp;utm_medium=extensions&amp;utm_campaign=link_modifier\" target=\"_blank\" rel=\"noopener\"><\/a><\/span> \u0627\u0632 \u067e\u0644\u06cc \u0644\u06cc\u0633\u062a PySpark \u0631\u0627 \u0645\u0634\u0627\u0647\u062f\u0647 \u06a9\u0646\u06cc\u062f.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\">\u06a9\u0627\u0631 \u0628\u0627 \u062f\u06cc\u062a\u0627\u0641\u0631\u06cc\u0645<\/h4>\n\n\n\n<p>\u0628\u0631\u0627\u06cc \u0627\u0646\u062c\u0627\u0645 \u0639\u0645\u0644\u06cc\u0627\u062a \u0633\u0627\u062f\u0647 \u0631\u0648\u06cc \u0645\u062c\u0645\u0648\u0639\u0647 \u062f\u0627\u062f\u0647 \u0646\u0638\u06cc\u0631 \u0645\u0634\u0627\u0647\u062f\u0647 \u0686\u0646\u062f \u0631\u062f\u06cc\u0641 \u0627\u0628\u062a\u062f\u0627\u06cc\u06cc\u060c \u062f\u06cc\u062a\u0627\u062a\u0627\u06cc\u067e \u0633\u062a\u0648\u0646\u200c\u0647\u0627\u060c \u0627\u0639\u0645\u0627\u0644 \u0641\u06cc\u0644\u062a\u0631 \u0648 GroupBy \u0645\u06cc\u200c\u062a\u0648\u0627\u0646 \u0645\u0637\u0627\u0628\u0642 \u0642\u0637\u0639\u0647 \u06a9\u062f \u0632\u06cc\u0631 \u0639\u0645\u0644 \u06a9\u0631\u062f:<\/p>\n\n\n<p style=\"direction:rtl;text-align:right!important\">\n<pre style=\"direction:ltr;text-align:left\">\n<code>\n# Show the first 5 rows\ndf.show(5)\n# Print schema of the DataFrame\ndf.printSchema()\n# Select specific columns\ndf.select(\"transaction_id\", \"customer_id\").show()\n# Filter rows\ndf.filter(df[\"quantity\"] &gt; 1).show()\n# Group by and aggregate\ndf.groupBy(\"product_id\").count().show()\n<\/code>\n<\/pre><\/p>\n\n\n\n<p>\u062a\u0635\u0627\u0648\u06cc\u0631 \u0632\u06cc\u0631 \u0646\u0645\u0627\u06cc\u0646\u06af\u0631 \u062e\u0631\u0648\u062c\u06cc \u0642\u0637\u0639\u0647 \u06a9\u062f \u0628\u0627\u0644\u0627 \u0647\u0633\u062a\u0646\u062f:<\/p>\n\n\n<div class=\"wp-block-image\">\n<figure class=\"aligncenter size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"591\" height=\"331\" src=\"https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-132.png\" alt=\"\u06a9\u0627\u0631 \u0628\u0627 \u062f\u06cc\u062a\u0627\u0641\u0631\u06cc\u0645\" class=\"wp-image-18282\" srcset=\"https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-132.png 591w, https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-132-300x168.png 300w, https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-132-585x328.png 585w\" sizes=\"(max-width: 591px) 100vw, 591px\" \/><\/figure><\/div>\n\n<div class=\"wp-block-image\">\n<figure class=\"aligncenter size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"584\" height=\"449\" src=\"https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-133.png\" alt=\"\u06a9\u0627\u0631 \u0628\u0627 \u062f\u06cc\u062a\u0627\u0641\u0631\u06cc\u0645\" class=\"wp-image-18283\" srcset=\"https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-133.png 584w, https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-133-300x231.png 300w\" sizes=\"(max-width: 584px) 100vw, 584px\" \/><\/figure><\/div>\n\n\n<p>\u0628\u0631\u0627\u06cc \u062d\u0630\u0641\u060c \u062a\u063a\u06cc\u06cc\u0631\u0646\u0627\u0645 \u0648 \u06cc\u0627 \u0627\u06cc\u062c\u0627\u062f \u0633\u062a\u0648\u0646 \u062c\u062f\u06cc\u062f \u062f\u0631 PySpark \u0646\u06cc\u0632 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646 \u0645\u0637\u0627\u0628\u0642 \u06a9\u062f \u0632\u06cc\u0631 \u0639\u0645\u0644 \u06a9\u0631\u062f:<\/p>\n\n\n<p style=\"direction:rtl;text-align:right!important\">\n<pre style=\"direction:ltr;text-align:left\">\n<code>\n# Add a new column for total amount\ndf = df.withColumn(\"total_amount\", df[\"quantity\"] * df[\"price\"])\n# Drop a column\ndf = df.drop(\"product_id\")\n# Rename a column\ndf = df.withColumnRenamed(\"transaction_date\", \"date\")\n<\/code>\n<\/pre><\/p>\n\n\n\n<p>\u0628\u0631\u0627\u06cc \u062f\u0631\u06a9 \u0628\u0647\u062a\u0631 \u0628\u0647 <a rel=\"noreferrer noopener\" href=\"https:\/\/www.youtube.com\/watch?v=VgLLd2kfnXA&amp;list=PLIoM6vIerI9pj4S_eNZv9zD2-KZ9VeQ2f&amp;index=4&amp;ab_channel=RezaShokrzad\" data-type=\"URL\" data-id=\"https:\/\/www.youtube.com\/watch?v=VgLLd2kfnXA&amp;list=PLIoM6vIerI9pj4S_eNZv9zD2-KZ9VeQ2f&amp;index=4&amp;ab_channel=RezaShokrzad\" target=\"_blank\"><mark style=\"background-color:#ffffff\" class=\"has-inline-color has-vivid-cyan-blue-color\">\u0627\u06cc\u0646 \u0648\u06cc\u062f\u0626\u0648<\/mark><\/a><span style=\"padding: 0;margin: 0;margin-left: 5px\"><a title=\"Get a direct link\" style=\");width: 16px;height: 16px;border: none;text-decoration: none;padding: 0px;position: relative\" href=\"http:\/\/savefrom.net\/?url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3DVgLLd2kfnXA%26list%3DPLIoM6vIerI9pj4S_eNZv9zD2-KZ9VeQ2f%26index%3D4%26ab_channel%3DRezaShokrzad&amp;utm_source=userjs-chrome&amp;utm_medium=extensions&amp;utm_campaign=link_modifier\" target=\"_blank\" rel=\"noopener\"><\/a><\/span> \u0627\u0632 \u067e\u0644\u06cc \u0644\u06cc\u0633\u062a PySpark \u0645\u0631\u0627\u062c\u0639\u0647 \u06a9\u0646\u06cc\u062f.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u067e\u06cc\u0627\u062f\u0647\u200c\u0633\u0627\u0632\u06cc \u0641\u0631\u0622\u06cc\u0646\u062f \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0645\u0627\u0634\u06cc\u0646 \u062f\u0631 PySpark<\/h3>\n\n\n\n<p>\u0647\u0645\u0627\u0646\u200c\u0637\u0648\u0631 \u06a9\u0647 \u062f\u0631 \u0628\u062e\u0634 \u067e\u06cc\u0634\u06cc\u0646 \u0627\u0634\u0627\u0631\u0647 \u0634\u062f\u060c \u0627\u0645\u06a9\u0627\u0646 \u067e\u06cc\u0627\u062f\u0647\u200c\u0633\u0627\u0632\u06cc \u0641\u0631\u0622\u06cc\u0646\u062f \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0645\u0627\u0634\u06cc\u0646 \u062f\u0631 Spark \u0648\u062c\u0648\u062f \u062f\u0627\u0631\u062f\u061b \u0642\u0637\u0639\u0647 \u06a9\u062f \u0632\u06cc\u0631 \u0628\u06cc\u0627\u0646\u06af\u0631 \u06a9\u0627\u0631\u0628\u0631\u062f \u0631\u06af\u0631\u0633\u06cc\u0648\u0646 \u062e\u0637\u06cc \u0628\u0631\u0627\u06cc \u0627\u06cc\u0646 \u0645\u062c\u0645\u0648\u0639\u0647 \u062f\u0627\u062f\u0647 \u0646\u0645\u0648\u0646\u0647 \u0645\u06cc\u200c\u0628\u0627\u0634\u062f:<\/p>\n\n\n<p style=\"direction:rtl;text-align:right!important\">\n<pre style=\"direction:ltr;text-align:left\">\n<code>\nfrom pyspark.ml.feature import VectorAssembler\nfrom pyspark.ml.regression import LinearRegression\n# Feature engineering\nassembler = VectorAssembler(inputCols=[\"quantity\", \"price\"], outputCol=\"features\")\ndata = assembler.transform(df)\n# Split the data into training and test sets\ntrain_data, test_data = data.randomSplit([0.8, 0.2])\n# Initialize a linear regression model\nlr = LinearRegression(featuresCol=\"features\", labelCol=\"total_amount\")\n# Fit the model on training data\nlr_model = lr.fit(train_data)\n# Predict on test data\npredictions = lr_model.transform(test_data)\npredictions.select(\"total_amount\", \"prediction\").show()\n<\/code>\n<\/pre><\/p>\n\n\n\n<p>\u0647\u0645\u0686\u0646\u06cc\u0646 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u06cc\u062f <a rel=\"noreferrer noopener\" href=\"https:\/\/www.youtube.com\/watch?v=pe3qhJf0pZQ&amp;list=PLIoM6vIerI9pj4S_eNZv9zD2-KZ9VeQ2f&amp;index=8&amp;ab_channel=RezaShokrzad\" data-type=\"URL\" data-id=\"https:\/\/www.youtube.com\/watch?v=pe3qhJf0pZQ&amp;list=PLIoM6vIerI9pj4S_eNZv9zD2-KZ9VeQ2f&amp;index=8&amp;ab_channel=RezaShokrzad\" target=\"_blank\"><mark style=\"background-color:#ffffff\" class=\"has-inline-color has-vivid-cyan-blue-color\">\u0627\u06cc\u0646 \u0648\u06cc\u062f\u0626\u0648<\/mark><\/a><span style=\"padding: 0;margin: 0;margin-left: 5px\"><a title=\"Get a direct link\" style=\");width: 16px;height: 16px;border: none;text-decoration: none;padding: 0px;position: relative\" href=\"http:\/\/savefrom.net\/?url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3Dpe3qhJf0pZQ%26list%3DPLIoM6vIerI9pj4S_eNZv9zD2-KZ9VeQ2f%26index%3D8%26ab_channel%3DRezaShokrzad&amp;utm_source=userjs-chrome&amp;utm_medium=extensions&amp;utm_campaign=link_modifier\" target=\"_blank\" rel=\"noopener\"><\/a><\/span> \u0631\u0627 \u0645\u0634\u0627\u0647\u062f\u0647 \u06a9\u0646\u06cc\u062f.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">\u062a\u0641\u0627\u0648\u062a \u0628\u06cc\u0646 PySpark \u0648 Pandas<\/h2>\n\n\n\n<p>\u062f\u0631 \u0628\u062e\u0634 \u0642\u0628\u0644 \u0628\u0627 \u0645\u0634\u0627\u0647\u062f\u0647 \u062e\u0631\u0648\u062c\u06cc \u0628\u062e\u0634 \u0645\u0631\u0628\u0648\u0637 \u0628\u0647 \u062f\u06cc\u062a\u0627\u0641\u0631\u06cc\u0645\u060c \u0627\u062d\u062a\u0645\u0627\u0644\u0627 \u0645\u062a\u0648\u062c\u0647 \u0628\u0631\u062e\u06cc \u0634\u0628\u0627\u0647\u062a\u200c\u0647\u0627\u06cc pandas \u0628\u0627 PySpark \u0634\u062f\u06cc\u0645. \u062f\u0631 \u062d\u0627\u0644\u06cc \u06a9\u0647 pandas \u0628\u0647 \u062f\u0644\u06cc\u0644 \u0633\u0647\u0648\u0644\u062a \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0648 \u0642\u0627\u0628\u0644\u06cc\u062a\u200c\u0647\u0627\u06cc \u0642\u062f\u0631\u062a\u0645\u0646\u062f \u062f\u0631 \u062f\u0633\u062a\u06a9\u0627\u0631\u06cc \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u062f\u0631 \u0645\u062c\u0645\u0648\u0639\u0647 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u06a9\u0648\u0686\u06a9 \u062a\u0627 \u0645\u062a\u0648\u0633\u0637 \u0645\u0639\u0631\u0648\u0641 \u0627\u0633\u062a\u060c Spark \u062f\u0631 \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0628\u0632\u0631\u06af\u200c\u0645\u0642\u06cc\u0627\u0633 \u0648 \u0645\u062d\u0627\u0633\u0628\u0627\u062a \u062a\u0648\u0632\u06cc\u0639\u200c\u0634\u062f\u0647 \u0628\u0631\u062a\u0631\u06cc \u062f\u0627\u0631\u062f. \u062f\u0631\u06a9 \u0627\u06cc\u0646 \u062a\u0641\u0627\u0648\u062a\u200c\u0647\u0627 \u0628\u0631\u0627\u06cc \u062f\u0627\u0646\u0634\u0645\u0646\u062f\u0627\u0646 \u062f\u0627\u062f\u0647 \u0648 \u0645\u0647\u0646\u062f\u0633\u0627\u0646 \u062f\u0631 \u0627\u0646\u062a\u062e\u0627\u0628 \u0627\u0628\u0632\u0627\u0631 \u0645\u0646\u0627\u0633\u0628 \u0628\u0631\u0627\u06cc \u0646\u06cc\u0627\u0632\u0647\u0627\u06cc \u062e\u0627\u0635\u0634\u0627\u0646\u060c \u0686\u0647 \u062f\u0631 \u062a\u062d\u0644\u06cc\u0644 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0627\u06a9\u062a\u0634\u0627\u0641\u06cc\u060c \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0628\u0644\u0627\u062f\u0631\u0646\u06af\u060c \u06cc\u0627 \u0648\u0638\u0627\u06cc\u0641 \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0645\u0627\u0634\u06cc\u0646 \u0628\u0632\u0631\u06af\u200c\u0645\u0642\u06cc\u0627\u0633\u060c \u062d\u06cc\u0627\u062a\u06cc \u0627\u0633\u062a. \u0644\u0630\u0627 \u062f\u0631 \u0627\u06cc\u0646 \u0628\u062e\u0634 \u0628\u0647 \u062a\u0641\u0627\u0648\u062a\u200c\u0647\u0627\u06cc \u0627\u06cc\u0646 \u062f\u0648 \u0627\u0628\u0632\u0627\u0631 \u0645\u06cc\u200c\u067e\u0631\u062f\u0627\u0632\u06cc\u0645:<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u0645\u0648\u0627\u0631\u062f \u0627\u0633\u062a\u0641\u0627\u062f\u0647<\/h3>\n\n\n\n<p>pandas:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>\u062a\u062d\u0644\u06cc\u0644 \u062f\u0627\u062f\u0647\u200c\u0647\u0627<\/strong>: pandas \u0628\u0631\u0627\u06cc \u062a\u062d\u0644\u06cc\u0644 \u0648 \u062f\u0633\u062a\u06a9\u0627\u0631\u06cc \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u062f\u0631 \u0645\u062d\u06cc\u0637\u200c\u0647\u0627\u06cc \u062a\u06a9 \u0645\u0627\u0634\u06cc\u0646\u06cc \u0637\u0631\u0627\u062d\u06cc \u0634\u062f\u0647 \u0648 \u0628\u0631\u0627\u06cc \u0645\u062c\u0645\u0648\u0639\u0647 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u06a9\u0648\u0686\u06a9 \u062a\u0627 \u0645\u062a\u0648\u0633\u0637 \u0645\u0646\u0627\u0633\u0628 \u0627\u0633\u062a.<\/li>\n\n\n\n<li><strong>\u062a\u062d\u0644\u06cc\u0644 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0627\u06a9\u062a\u0634\u0627\u0641\u06cc (EDA)<\/strong>: \u0628\u0647 \u062f\u0644\u06cc\u0644 \u0633\u0647\u0648\u0644\u062a \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0648 \u0639\u0645\u0644\u06a9\u0631\u062f\u0647\u0627\u06cc \u06af\u0633\u062a\u0631\u062f\u0647 \u062f\u0631 \u062f\u0633\u062a\u06a9\u0627\u0631\u06cc \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u060c \u0628\u0647 \u0637\u0648\u0631 \u06af\u0633\u062a\u0631\u062f\u0647 \u0628\u0631\u0627\u06cc EDA \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u0634\u0648\u062f.<\/li>\n\n\n\n<li><strong>\u0627\u0644\u06af\u0648\u06cc \u0637\u0631\u0627\u062d\u06cc \u0646\u0645\u0648\u0646\u0647 \u0627\u0648\u0644\u06cc\u0647<\/strong>: \u0627\u06cc\u062f\u0647\u200c\u0622\u0644 \u0628\u0631\u0627\u06cc \u0646\u0645\u0648\u0646\u0647\u200c\u0633\u0627\u0632\u06cc \u062c\u0631\u06cc\u0627\u0646\u200c\u0647\u0627\u06cc \u06a9\u0627\u0631\u06cc \u062a\u062d\u0644\u06cc\u0644 \u062f\u0627\u062f\u0647 \u0642\u0628\u0644 \u0627\u0632 \u0645\u0642\u06cc\u0627\u0633\u200c\u0628\u0646\u062f\u06cc.<\/li>\n<\/ul>\n\n\n\n<p>Spark:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>\u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0628\u0632\u0631\u06af<\/strong>: Spark \u0628\u0631\u0627\u06cc \u0627\u0646\u062c\u0627\u0645 \u0648\u0638\u0627\u06cc\u0641 \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0628\u0632\u0631\u06af \u062f\u0631 \u0645\u062d\u06cc\u0637\u200c\u0647\u0627\u06cc \u0645\u062d\u0627\u0633\u0628\u0627\u062a \u062a\u0648\u0632\u06cc\u0639\u200c\u0634\u062f\u0647 \u0637\u0631\u0627\u062d\u06cc \u0634\u062f\u0647 \u0627\u0633\u062a.<\/li>\n\n\n\n<li><strong>\u06a9\u0627\u0631\u0628\u0631\u062f\u0647\u0627\u06cc \u062a\u0648\u0644\u06cc\u062f\u06cc<\/strong>: \u0645\u0646\u0627\u0633\u0628 \u0628\u0631\u0627\u06cc \u0628\u0627\u0631\u0647\u0627\u06cc \u06a9\u0627\u0631\u06cc \u062f\u0631 \u0633\u0637\u062d \u062a\u0648\u0644\u06cc\u062f \u06a9\u0647 \u0646\u06cc\u0627\u0632 \u0628\u0647 \u0645\u0642\u06cc\u0627\u0633\u200c\u067e\u0630\u06cc\u0631\u06cc \u0648 \u0639\u0645\u0644\u06a9\u0631\u062f \u0628\u0627\u0644\u0627 \u062f\u0627\u0631\u0646\u062f.<\/li>\n\n\n\n<li><strong>\u067e\u0631\u062f\u0627\u0632\u0634 \u0628\u0644\u0627\u062f\u0631\u0646\u06af<\/strong>: \u067e\u0634\u062a\u06cc\u0628\u0627\u0646\u06cc \u0627\u0632 \u067e\u0631\u062f\u0627\u0632\u0634 \u0648 \u062a\u062d\u0644\u06cc\u0644 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0628\u0644\u0627\u062f\u0631\u0646\u06af \u06a9\u0647 pandas \u0646\u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u062f \u0628\u0647 \u0637\u0648\u0631 \u0645\u0624\u062b\u0631 \u0627\u0632 \u0639\u0647\u062f\u0647 \u0622\u0646 \u0628\u0631\u0622\u06cc\u062f.<\/li>\n<\/ul>\n\n\n\n<h3 class=\"wp-block-heading\">\u0642\u0627\u0628\u0644\u06cc\u062a\u200c\u0647\u0627\u06cc \u062f\u0633\u062a\u06a9\u0627\u0631\u06cc \u0648 \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0627\u062f\u0647\u200c\u0647\u0627<\/h3>\n\n\n\n<p>pandas:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>DataFrames<\/strong>: \u0633\u0627\u062e\u062a\u0627\u0631 \u062f\u0627\u062f\u0647 \u0627\u0635\u0644\u06cc \u062f\u0631 DataFrame\u060c \u0627\u0645\u06a9\u0627\u0646 \u062f\u0633\u062a\u06a9\u0627\u0631\u06cc \u0648 \u062a\u062d\u0644\u06cc\u0644 \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0628\u0647 \u0635\u0648\u0631\u062a \u0634\u0647\u0648\u062f\u06cc \u0631\u0627 \u0641\u0631\u0627\u0647\u0645 \u0645\u06cc\u200c\u06a9\u0646\u062f.<\/li>\n\n\n\n<li><strong>\u062a\u0648\u0627\u0628\u0639 \u0648 \u0639\u0645\u0644\u06cc\u0627\u062a\u200c\u0647\u0627<\/strong>: \u062a\u0648\u0627\u0628\u0639 \u06af\u0633\u062a\u0631\u062f\u0647 \u0628\u0631\u0627\u06cc \u067e\u0627\u06a9\u0633\u0627\u0632\u06cc\u060c \u062a\u0628\u062f\u06cc\u0644 \u0648 \u062a\u062d\u0644\u06cc\u0644 \u062f\u0627\u062f\u0647\u200c\u0647\u0627.<\/li>\n\n\n\n<li><strong>\u0639\u0645\u0644\u06a9\u0631\u062f<\/strong>: \u0645\u062d\u062f\u0648\u062f \u0628\u0647 \u062d\u0627\u0641\u0638\u0647 \u0648 \u062a\u0648\u0627\u0646 \u067e\u0631\u062f\u0627\u0632\u0634\u06cc \u06cc\u06a9 \u0645\u0627\u0634\u06cc\u0646 \u0648\u0627\u062d\u062f.<\/li>\n<\/ul>\n\n\n\n<p>Spark:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>DataFrames \u0648 Datasets<\/strong>: \u0645\u0634\u0627\u0628\u0647 DataFrames \u062f\u0631 pandas \u0627\u0645\u0627 \u062a\u0648\u0632\u06cc\u0639\u200c\u0634\u062f\u0647 \u062f\u0631 \u06cc\u06a9 \u062e\u0648\u0634\u0647\u060c \u0627\u0645\u06a9\u0627\u0646 \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0628\u0632\u0631\u06af\u200c\u0645\u0642\u06cc\u0627\u0633 \u0631\u0627 \u0641\u0631\u0627\u0647\u0645 \u0645\u06cc\u200c\u06a9\u0646\u062f.<\/li>\n\n\n\n<li><strong>Spark SQL<\/strong>: \u0627\u0631\u0627\u0626\u0647 \u0642\u0627\u0628\u0644\u06cc\u062a\u200c\u0647\u0627\u06cc \u06a9\u0648\u0626\u0631\u06cc\u200c\u0646\u0648\u06cc\u0633\u06cc \u0634\u0628\u06cc\u0647 \u0628\u0647 SQL \u0631\u0648\u06cc \u0645\u062c\u0645\u0648\u0639\u0647 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0628\u0632\u0631\u06af.<\/li>\n\n\n\n<li><strong>\u0639\u0645\u0644\u06a9\u0631\u062f<\/strong>: \u0628\u0647\u06cc\u0646\u0647\u200c\u0634\u062f\u0647 \u0628\u0631\u0627\u06cc \u0645\u062d\u0627\u0633\u0628\u0627\u062a \u062a\u0648\u0632\u06cc\u0639\u200c\u0634\u062f\u0647\u060c \u0639\u0645\u0644\u06a9\u0631\u062f \u0628\u0633\u06cc\u0627\u0631 \u0628\u0647\u062a\u0631\u06cc \u0646\u0633\u0628\u062a \u0628\u0647 pandas \u062f\u0631 \u0645\u062c\u0645\u0648\u0639\u0647 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0628\u0632\u0631\u06af \u062f\u0627\u0631\u062f.<\/li>\n<\/ul>\n\n\n\n<h3 class=\"wp-block-heading\">\u0639\u0645\u0644\u06a9\u0631\u062f \u0648 \u0645\u0642\u06cc\u0627\u0633\u200c\u067e\u0630\u06cc\u0631\u06cc<\/h3>\n\n\n\n<p>pandas:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>\u062a\u06a9 \u0645\u0627\u0634\u06cc\u0646\u06cc<\/strong>: \u0645\u062d\u062f\u0648\u062f \u0628\u0647 \u062d\u0627\u0641\u0638\u0647 \u0648 CPU \u06cc\u06a9 \u0645\u0627\u0634\u06cc\u0646 \u0648\u0627\u062d\u062f.<\/li>\n\n\n\n<li><strong>\u0645\u0642\u06cc\u0627\u0633\u200c\u067e\u0630\u06cc\u0631 \u0646\u06cc\u0633\u062a<\/strong>: \u062f\u0631 \u0645\u062c\u0645\u0648\u0639\u0647 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc\u06cc \u06a9\u0647 \u0627\u0632 \u0638\u0631\u0641\u06cc\u062a \u062d\u0627\u0641\u0638\u0647 \u0645\u0627\u0634\u06cc\u0646 \u0641\u0631\u0627\u062a\u0631 \u0645\u06cc\u200c\u0631\u0648\u0646\u062f\u060c \u0645\u0634\u06a9\u0644 \u062f\u0627\u0631\u062f.<\/li>\n\n\n\n<li>Spark:<\/li>\n\n\n\n<li><strong>\u0645\u062d\u0627\u0633\u0628\u0627\u062a \u062a\u0648\u0632\u06cc\u0639\u200c\u0634\u062f\u0647<\/strong>: \u0628\u0627 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u0642\u062f\u0631\u062a \u06cc\u06a9 \u062e\u0648\u0634\u0647 \u062a\u0648\u0632\u06cc\u0639\u200c\u0634\u062f\u0647\u060c \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0628\u0632\u0631\u06af \u0631\u0627 \u067e\u0631\u062f\u0627\u0632\u0634 \u0645\u06cc\u200c\u06a9\u0646\u062f.<\/li>\n\n\n\n<li><strong>\u0645\u0642\u06cc\u0627\u0633\u200c\u067e\u0630\u06cc\u0631<\/strong>: \u0628\u0627 \u0627\u0641\u0632\u0648\u062f\u0646 \u06af\u0631\u0647\u200c\u0647\u0627\u06cc \u0628\u06cc\u0634\u062a\u0631 \u0628\u0647 \u062e\u0648\u0634\u0647\u060c \u0645\u06cc\u200c\u062a\u0648\u0627\u0646 \u0645\u0642\u06cc\u0627\u0633 \u0631\u0627 \u0627\u0641\u0632\u0627\u06cc\u0634 \u062f\u0627\u062f \u06a9\u0647 \u0627\u06cc\u0646 \u0627\u0645\u0631 Spark \u0631\u0627 \u0627\u0628\u0632\u0627\u0631 \u0645\u0646\u0627\u0633\u0628\u06cc \u0628\u0631\u0627\u06cc \u0628\u0631\u0646\u0627\u0645\u0647\u200c\u0647\u0627\u06cc \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0628\u0632\u0631\u06af \u0645\u06cc\u200c\u06a9\u0646\u062f.<\/li>\n<\/ul>\n\n\n\n<h3 class=\"wp-block-heading\">\u0627\u062f\u063a\u0627\u0645 \u0628\u0627 \u0627\u0628\u0632\u0627\u0631\u0647\u0627\u06cc \u062f\u06cc\u06af\u0631<\/h3>\n\n\n\n<p>pandas:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>\u0628\u0647 \u062e\u0648\u0628\u06cc \u0628\u0627 \u06a9\u062a\u0627\u0628\u062e\u0627\u0646\u0647\u200c\u0647\u0627\u06cc \u067e\u0627\u06cc\u062a\u0648\u0646 \u062f\u06cc\u06af\u0631 \u0645\u0627\u0646\u0646\u062f NumPy\u060c SciPy \u0648 scikit-learn \u0628\u0631\u0627\u06cc \u062a\u062d\u0644\u06cc\u0644 \u062f\u0627\u062f\u0647 \u0648 \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0645\u0627\u0634\u06cc\u0646 \u0627\u062f\u063a\u0627\u0645 \u0645\u06cc\u200c\u0634\u0648\u062f.<\/li>\n\n\n\n<li>\u0628\u0635\u0631\u06cc\u200c\u0633\u0627\u0632\u06cc: \u0628\u0647 \u0637\u0648\u0631 \u06cc\u06a9\u067e\u0627\u0631\u0686\u0647 \u0628\u0627 \u06a9\u062a\u0627\u0628\u062e\u0627\u0646\u0647\u200c\u0647\u0627\u06cc \u0628\u0635\u0631\u06cc\u200c\u0633\u0627\u0632\u06cc \u0645\u0627\u0646\u0646\u062f Matplotlib \u0648 Seaborn \u06a9\u0627\u0631 \u0645\u06cc\u200c\u06a9\u0646\u062f.<\/li>\n\n\n\n<li>Spark:<\/li>\n\n\n\n<li>\u0627\u06a9\u0648\u0633\u06cc\u0633\u062a\u0645: \u0628\u062e\u0634\u06cc \u0627\u0632 \u0627\u06a9\u0648\u0633\u06cc\u0633\u062a\u0645 \u0628\u0632\u0631\u06af\u062a\u0631 Apache \u0627\u0633\u062a \u0648 \u0628\u0647 \u062e\u0648\u0628\u06cc \u0628\u0627 Hadoop\u060c HDFS\u060c Kafka \u0648 \u0633\u0627\u06cc\u0631 \u0627\u0628\u0632\u0627\u0631\u0647\u0627\u06cc \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0628\u0632\u0631\u06af \u0627\u062f\u063a\u0627\u0645 \u0645\u06cc\u200c\u0634\u0648\u062f.<\/li>\n\n\n\n<li>\u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0645\u0627\u0634\u06cc\u0646: \u0627\u0631\u0627\u0626\u0647 MLlib \u0628\u0631\u0627\u06cc \u0648\u0638\u0627\u06cc\u0641 \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0645\u0627\u0634\u06cc\u0646 \u06a9\u0647 \u0645\u0642\u06cc\u0627\u0633\u200c\u067e\u0630\u06cc\u0631 \u0648 \u0628\u0647\u06cc\u0646\u0647\u200c\u0634\u062f\u0647 \u0628\u0631\u0627\u06cc \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0628\u0632\u0631\u06af \u0627\u0633\u062a.<\/li>\n<\/ul>\n\n\n\n<p>\u062a\u0635\u0627\u0648\u06cc\u0631 \u0632\u06cc\u0631 \u0628\u06cc\u0627\u0646\u06af\u0631 \u062a\u0641\u0627\u0648\u062a\u200c\u0647\u0627\u06cc \u06a9\u062f\u0646\u0648\u06cc\u0633\u06cc \u0627\u06cc\u0646 \u062f\u0648 \u0627\u0628\u0632\u0627\u0631 \u0631\u0627 \u0628\u06cc\u0627\u0646 \u0645\u06cc\u200c\u062f\u0627\u0631\u062f:<\/p>\n\n\n<div class=\"wp-block-image\">\n<figure class=\"aligncenter size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"727\" height=\"895\" src=\"https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-136.png\" alt=\"\u062a\u0641\u0627\u0648\u062a\u200c\u0647\u0627\u06cc \u06a9\u062f\u0646\u0648\u06cc\u0633\u06cc PySpark \u0648 Pandas\" class=\"wp-image-18287\" srcset=\"https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-136.png 727w, https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-136-244x300.png 244w, https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-136-585x720.png 585w\" sizes=\"(max-width: 727px) 100vw, 727px\" \/><\/figure><\/div>\n\n<div class=\"wp-block-image\">\n<figure class=\"aligncenter size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"565\" height=\"454\" src=\"https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-137.png\" alt=\"\u062a\u0641\u0627\u0648\u062a\u200c\u0647\u0627\u06cc \u06a9\u062f\u0646\u0648\u06cc\u0633\u06cc PySpark \u0648 Pandas\" class=\"wp-image-18288\" srcset=\"https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-137.png 565w, https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-137-300x241.png 300w\" sizes=\"(max-width: 565px) 100vw, 565px\" \/><\/figure><\/div>\n\n<div class=\"wp-block-image\">\n<figure class=\"aligncenter size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"940\" height=\"248\" src=\"https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-138.png\" alt=\"\u0645\u0642\u0627\u06cc\u0633\u0647 PySpark \u0648 Pandas\" class=\"wp-image-18289\" srcset=\"https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-138.png 940w, https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-138-300x79.png 300w, https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-138-768x203.png 768w, https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/07\/image-138-585x154.png 585w\" sizes=\"(max-width: 940px) 100vw, 940px\" \/><\/figure><\/div>\n\n\n<h2 class=\"wp-block-heading\">\u0631\u0648\u0646\u062f\u0647\u0627\u06cc \u0622\u06cc\u0646\u062f\u0647 \u062f\u0631 \u0628\u06cc\u06af \u062f\u06cc\u062a\u0627<\/h2>\n\n\n\n<p>\u0628\u0627 \u0627\u062f\u0627\u0645\u0647 \u0631\u0634\u062f \u062d\u062c\u0645 \u0648 \u067e\u06cc\u0686\u06cc\u062f\u06af\u06cc \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u060c \u062a\u0642\u0627\u0636\u0627 \u0628\u0631\u0627\u06cc \u0686\u0627\u0631\u0686\u0648\u0628\u200c\u0647\u0627\u06cc \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0627\u062f\u0647 \u06a9\u0627\u0631\u0622\u0645\u062f \u0648 \u0645\u0642\u06cc\u0627\u0633\u200c\u067e\u0630\u06cc\u0631 \u0627\u0641\u0632\u0627\u06cc\u0634 \u062e\u0648\u0627\u0647\u062f \u06cc\u0627\u0641\u062a. \u0631\u0648\u0646\u062f\u0647\u0627\u06cc \u0622\u06cc\u0646\u062f\u0647 \u062f\u0631 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0628\u0632\u0631\u06af \u0627\u062d\u062a\u0645\u0627\u0644\u0627\u064b \u0634\u0627\u0645\u0644 \u067e\u06cc\u0634\u0631\u0641\u062a \u062f\u0631 \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0628\u0644\u0627\u062f\u0631\u0646\u06af\u060c \u0627\u0644\u06af\u0648\u0631\u06cc\u062a\u0645\u200c\u0647\u0627\u06cc \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0645\u0627\u0634\u06cc\u0646 \u067e\u06cc\u0686\u06cc\u062f\u0647\u200c\u062a\u0631 \u0648 \u06cc\u06a9\u067e\u0627\u0631\u0686\u06af\u06cc \u0628\u06cc\u0634\u062a\u0631 \u0628\u0627 \u067e\u0644\u062a\u0641\u0631\u0645\u200c\u0647\u0627\u06cc \u0627\u0628\u0631\u06cc \u062e\u0648\u0627\u0647\u062f \u0628\u0648\u062f. \u0647\u0631 \u062f\u0648 \u0627\u0628\u0632\u0627\u0631 Spark \u0648 Hadoop \u0628\u0647 \u062a\u06a9\u0627\u0645\u0644 \u062e\u0648\u062f \u0627\u062f\u0627\u0645\u0647 \u062e\u0648\u0627\u0647\u0646\u062f \u062f\u0627\u062f\u060c \u0628\u0627 \u0627\u06cc\u0646 \u0627\u062d\u062a\u0645\u0627\u0644 \u06a9\u0647 Spark \u0647\u0645\u0686\u0646\u0627\u0646 \u0628\u0647 \u062d\u0641\u0638 \u0628\u0631\u062a\u0631\u06cc \u062e\u0648\u062f \u062f\u0631 \u0639\u0645\u0644\u06a9\u0631\u062f \u0648 \u0627\u0646\u0639\u0637\u0627\u0641\u200c\u067e\u0630\u06cc\u0631\u06cc \u0627\u062f\u0627\u0645\u0647 \u062f\u0647\u062f.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">\u062c\u0645\u0639\u200c\u0628\u0646\u062f\u06cc<\/h2>\n\n\n\n<p>\u0627\u06cc\u0646 \u0645\u0642\u0627\u0644\u0647 \u0645\u0642\u0627\u06cc\u0633\u0647\u200c\u0627\u06cc \u0628\u06cc\u0646 Spark \u0648 Hadoop \u0627\u0631\u0627\u0626\u0647 \u06a9\u0631\u062f\u0647 \u0627\u0633\u062a\u060c \u062a\u0641\u0627\u0648\u062a\u200c\u0647\u0627\u06cc \u0645\u0639\u0645\u0627\u0631\u06cc\u060c \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u062f\u0627\u062f\u0647 \u0648 \u06a9\u0627\u0631\u0628\u0631\u062f\u0647\u0627\u06cc \u0647\u0631 \u06a9\u062f\u0627\u0645 \u0631\u0627 \u0628\u0631\u062c\u0633\u062a\u0647 \u06a9\u0631\u062f\u0647 \u0627\u0633\u062a. \u0645\u0627 \u0646\u0642\u0627\u0637 \u0642\u0648\u062a \u0648 \u0636\u0639\u0641 \u0647\u0631 \u0686\u0627\u0631\u0686\u0648\u0628 \u0631\u0627 \u0628\u0631\u0631\u0633\u06cc \u06a9\u0631\u062f\u0647\u200c\u0627\u06cc\u0645\u060c \u0628\u0627 \u062a\u0645\u0631\u06a9\u0632 \u0648\u06cc\u0698\u0647 \u0628\u0631 \u0627\u06cc\u0646\u06a9\u0647 \u0686\u0631\u0627 Spark \u0627\u063a\u0644\u0628 \u0628\u0631\u062a\u0631 \u0627\u0632 Hadoop \u062f\u0631 \u0646\u0638\u0631 \u06af\u0631\u0641\u062a\u0647 \u0645\u06cc\u200c\u0634\u0648\u062f. \u0639\u0644\u0627\u0648\u0647 \u0628\u0631 \u0627\u06cc\u0646\u060c \u0628\u0647 \u06cc\u06a9\u067e\u0627\u0631\u0686\u06af\u06cc \u0627\u0646\u0628\u0627\u0631 \u062f\u0627\u062f\u0647 \u0648 \u062f\u0631\u06cc\u0627\u0686\u0647\u200c \u062f\u0627\u062f\u0647 \u0628\u0627 \u0627\u06cc\u0646 \u0686\u0627\u0631\u0686\u0648\u0628\u200c\u0647\u0627 \u0648 \u0646\u0645\u0648\u0646\u0647\u200c\u0647\u0627\u06cc \u06a9\u062f \u0639\u0645\u0644\u06cc \u0628\u0627 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 PySpark \u067e\u0631\u062f\u0627\u062e\u062a\u0647\u200c\u0627\u06cc\u0645.<\/p>\n\n\n\n<p>\u062f\u0631 \u062d\u0627\u0644\u06cc \u06a9\u0647 Hadoop \u0628\u0647 \u0639\u0646\u0648\u0627\u0646 \u06cc\u06a9 \u0641\u0646\u0627\u0648\u0631\u06cc \u067e\u0627\u06cc\u0647 \u062f\u0631 \u0627\u06a9\u0648\u0633\u06cc\u0633\u062a\u0645 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0628\u0632\u0631\u06af \u0628\u0648\u062f\u0647 \u0627\u0633\u062a\u060c Spark \u0628\u0647 \u0639\u0646\u0648\u0627\u0646 \u06cc\u06a9 \u062c\u0627\u06cc\u06af\u0632\u06cc\u0646 \u0627\u0646\u0639\u0637\u0627\u0641\u200c\u067e\u0630\u06cc\u0631\u062a\u0631 \u0648 \u06a9\u0627\u0631\u0622\u0645\u062f\u062a\u0631 \u0638\u0627\u0647\u0631 \u0634\u062f\u0647 \u0627\u0633\u062a. \u062a\u0648\u0627\u0646\u0627\u06cc\u06cc \u0622\u0646 \u062f\u0631 \u0645\u062f\u06cc\u0631\u06cc\u062a \u0628\u0627\u0631\u0647\u0627\u06cc \u06a9\u0627\u0631\u06cc \u0645\u062a\u0646\u0648\u0639\u060c \u0647\u0645\u0631\u0627\u0647 \u0628\u0627 \u0642\u0627\u0628\u0644\u06cc\u062a\u200c\u0647\u0627\u06cc \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0631\u0648\u0646 \u062d\u0627\u0641\u0638\u0647\u060c Spark \u0631\u0627 \u0628\u0647 \u0627\u0628\u0632\u0627\u0631\u06cc \u0642\u062f\u0631\u062a\u0645\u0646\u062f \u0628\u0631\u0627\u06cc \u06a9\u0627\u0631\u0628\u0631\u062f\u0647\u0627\u06cc \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0645\u062f\u0631\u0646 \u062a\u0628\u062f\u06cc\u0644 \u0645\u06cc\u200c\u06a9\u0646\u062f. \u0628\u0627 \u0627\u06cc\u0646 \u062d\u0627\u0644\u060c \u0627\u0646\u062a\u062e\u0627\u0628 \u0628\u06cc\u0646 Spark \u0648 Hadoop \u062f\u0631 \u0646\u0647\u0627\u06cc\u062a \u0628\u0647 \u0645\u0648\u0627\u0631\u062f \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0648 \u0646\u06cc\u0627\u0632\u0647\u0627\u06cc \u062e\u0627\u0635 \u0628\u0633\u062a\u06af\u06cc \u062f\u0627\u0631\u062f. \u0628\u0627 \u062f\u0631\u06a9 \u0646\u0642\u0627\u0637 \u0642\u0648\u062a \u0648 \u0645\u062d\u062f\u0648\u062f\u06cc\u062a\u200c\u0647\u0627\u06cc \u0647\u0631 \u0686\u0627\u0631\u0686\u0648\u0628\u060c \u0633\u0627\u0632\u0645\u0627\u0646\u200c\u0647\u0627 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u0646\u062f \u062a\u0635\u0645\u06cc\u0645\u0627\u062a \u0622\u06af\u0627\u0647\u0627\u0646\u0647\u200c\u0627\u06cc \u0628\u06af\u06cc\u0631\u0646\u062f \u06a9\u0647 \u0628\u0647\u062a\u0631\u06cc\u0646 \u062a\u0637\u0627\u0628\u0642 \u0631\u0627 \u0628\u0627 \u0646\u06cc\u0627\u0632\u0647\u0627\u06cc \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0627\u062f\u0647 \u0622\u0646\u0647\u0627 \u062f\u0627\u0634\u062a\u0647 \u0628\u0627\u0634\u062f.<\/p>\n\n\n\n<p>\u0628\u0631\u0627\u06cc \u062f\u0633\u062a\u0631\u0633\u06cc \u0628\u0647 \u06a9\u062f \u0646\u0648\u062a\u200c\u0628\u0648\u06a9 \u0627\u06cc\u0646 \u0628\u0644\u0627\u06af <a rel=\"noreferrer noopener\" href=\"https:\/\/github.com\/Abbas-Seifossadat\/DSLanders_Blog\/tree\/main\/PySpark\" data-type=\"URL\" data-id=\"https:\/\/github.com\/Abbas-Seifossadat\/DSLanders_Blog\/tree\/main\/PySpark\" target=\"_blank\"><mark style=\"background-color:#ffffff\" class=\"has-inline-color has-vivid-cyan-blue-color\">\u0627\u06cc\u0646\u062c\u0627<\/mark><\/a> \u06a9\u0644\u06cc\u06a9 \u06a9\u0646\u06cc\u062f.<\/p>\n\n\n\n<p>\u0628\u0631\u0627\u06cc \u062f\u0633\u062a\u0631\u0633\u06cc \u0628\u0647 \u0646\u0648\u062a\u200c\u0628\u0648\u06a9\u200c\u0647\u0627\u06cc \u0628\u06cc\u0634\u062a\u0631 <a href=\"https:\/\/github.com\/rezashokrzad\/PySpark\" data-type=\"URL\" data-id=\"https:\/\/github.com\/rezashokrzad\/PySpark\" target=\"_blank\" rel=\"noreferrer noopener\"><mark style=\"background-color:#ffffff\" class=\"has-inline-color has-vivid-cyan-blue-color\">\u0627\u06cc\u0646\u062c\u0627<\/mark> <\/a>\u06a9\u0644\u06cc\u06a9 \u06a9\u0646\u06cc\u062f.<\/p>\n\n\n<div class=\"wp-block-image\">\n<figure class=\"aligncenter size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"307\" src=\"http:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/05\/FAQs-2-2-1024x307.jpg\" alt=\"\u067e\u0631\u0633\u0634\u200c\u0647\u0627\u06cc \u0645\u062a\u062f\u0627\u0648\u0644\" class=\"wp-image-15747\" srcset=\"https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/05\/FAQs-2-2-1024x307.jpg 1024w, https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/05\/FAQs-2-2-300x90.jpg 300w, https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/05\/FAQs-2-2-768x230.jpg 768w, https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/05\/FAQs-2-2-1536x461.jpg 1536w, https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/05\/FAQs-2-2-585x176.jpg 585w, https:\/\/cafetadris.com\/blog\/wp-content\/uploads\/2024\/05\/FAQs-2-2.jpg 2000w\" sizes=\"(max-width: 1024px) 100vw, 1024px\" \/><\/figure><\/div>\n\n\n<h2 class=\"wp-block-heading\">\u067e\u0631\u0633\u0634\u200c\u0647\u0627\u06cc \u0645\u062a\u062f\u0627\u0648\u0644<\/h2>\n\n\n\n<h3 class=\"wp-block-heading\">\u0686\u06af\u0648\u0646\u0647 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646 \u0627\u0632 Apache Spark \u0628\u0631\u0627\u06cc \u067e\u0631\u062f\u0627\u0632\u0634 \u0628\u0644\u0627\u062f\u0631\u0646\u06af (\u067e\u0631\u062f\u0627\u0632\u0634 \u062c\u0631\u06cc\u0627\u0646\u06cc) \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0631\u062f\u061f<\/h3>\n\n\n\n<p>Apache Spark \u0627\u0632 \u0627\u0628\u0632\u0627\u0631\u0647\u0627\u06cc\u06cc \u0645\u0627\u0646\u0646\u062f Spark Streaming \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u06a9\u0646\u062f \u062a\u0627 \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0631\u0627 \u0628\u0647 \u0635\u0648\u0631\u062a \u067e\u06cc\u0648\u0633\u062a\u0647 \u067e\u0631\u062f\u0627\u0632\u0634 \u0648 \u062a\u062d\u0644\u06cc\u0644 \u06a9\u0646\u062f. \u0627\u06cc\u0646 \u0642\u0627\u0628\u0644\u06cc\u062a \u0628\u0627\u0639\u062b \u0645\u06cc\u200c\u0634\u0648\u062f \u06a9\u0647 \u0628\u062a\u0648\u0627\u0646 \u0628\u0647 \u0635\u0648\u0631\u062a \u0628\u0644\u0627\u062f\u0631\u0646\u06af \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0648\u0631\u0648\u062f\u06cc \u0631\u0627 \u062a\u062d\u0644\u06cc\u0644 \u0648 \u0628\u06cc\u0646\u0634\u200c\u0647\u0627\u06cc \u0633\u0631\u06cc\u0639 \u0628\u0647 \u062f\u0633\u062a \u0622\u0648\u0631\u062f.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u062a\u0641\u0627\u0648\u062a\u200c\u0647\u0627\u06cc \u0627\u0635\u0644\u06cc \u0628\u06cc\u0646 \u0645\u0639\u0645\u0627\u0631\u06cc\u200c\u0647\u0627\u06cc Spark \u0648 Hadoop \u0686\u06cc\u0633\u062a\u061f<\/h3>\n\n\n\n<p>Hadoop \u0627\u0632 \u0645\u0639\u0645\u0627\u0631\u06cc \u0633\u06cc\u0633\u062a\u0645 \u0641\u0627\u06cc\u0644 \u062a\u0648\u0632\u06cc\u0639\u200c\u0634\u062f\u0647 (HDFS) \u0648 \u0645\u062f\u0644 \u067e\u0631\u062f\u0627\u0632\u0634\u06cc MapReduce \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u06a9\u0646\u062f \u06a9\u0647 \u067e\u0631\u062f\u0627\u0632\u0634 \u0631\u0627 \u0645\u0628\u062a\u0646\u06cc \u0628\u0631 \u062f\u06cc\u0633\u06a9 \u0627\u0646\u062c\u0627\u0645 \u0645\u06cc\u200c\u062f\u0647\u062f. \u062f\u0631 \u0645\u0642\u0627\u0628\u0644\u060c Spark \u0628\u0627 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 RDD (\u0645\u062c\u0645\u0648\u0639\u0647 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u062a\u0648\u0632\u06cc\u0639\u200c\u0634\u062f\u0647 \u0627\u0646\u0639\u0637\u0627\u0641\u200c\u067e\u0630\u06cc\u0631) \u0648 \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0631 \u062d\u0627\u0641\u0638\u0647\u060c \u0633\u0631\u0639\u062a \u067e\u0631\u062f\u0627\u0632\u0634 \u0631\u0627 \u0628\u0647 \u0637\u0648\u0631 \u0642\u0627\u0628\u0644\u200c\u062a\u0648\u062c\u0647\u06cc \u0627\u0641\u0632\u0627\u06cc\u0634 \u0645\u06cc\u200c\u062f\u0647\u062f.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u0645\u0632\u0627\u06cc\u0627\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u062f\u0631\u06cc\u0627\u0686\u0647 \u062f\u0627\u062f\u0647 (Data Lake) \u062f\u0631 \u0645\u0642\u0627\u0628\u0644 \u0627\u0646\u0628\u0627\u0631 \u062f\u0627\u062f\u0647 (Data Warehouse) \u0686\u06cc\u0633\u062a\u061f<\/h3>\n\n\n\n<p>\u062f\u0631\u06cc\u0627\u0686\u0647 \u062f\u0627\u062f\u0647 \u062a\u0648\u0627\u0646\u0627\u06cc\u06cc \u0630\u062e\u06cc\u0631\u0647 \u062d\u062c\u0645 \u0632\u06cc\u0627\u062f\u06cc \u0627\u0632 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u062e\u0627\u0645 \u0648 \u0627\u0646\u0648\u0627\u0639 \u0645\u062e\u062a\u0644\u0641 \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0631\u0627 \u062f\u0627\u0631\u062f \u06a9\u0647 \u0627\u06cc\u0646 \u0627\u0645\u0631 \u0627\u0646\u0639\u0637\u0627\u0641\u200c\u067e\u0630\u06cc\u0631\u06cc \u0628\u0627\u0644\u0627\u06cc\u06cc \u0628\u0647 \u0622\u0646 \u0645\u06cc\u200c\u0628\u062e\u0634\u062f. \u062f\u0631 \u0645\u0642\u0627\u0628\u0644\u060c \u0627\u0646\u0628\u0627\u0631 \u062f\u0627\u062f\u0647 \u0628\u0631\u0627\u06cc \u0630\u062e\u06cc\u0631\u0647 \u0648 \u062a\u062d\u0644\u06cc\u0644 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0633\u0627\u062e\u062a\u0627\u0631\u06cc\u0627\u0641\u062a\u0647 \u0648 \u06a9\u0648\u0626\u0631\u06cc\u200c\u0647\u0627\u06cc \u067e\u06cc\u0686\u06cc\u062f\u0647 \u0628\u0647\u06cc\u0646\u0647\u200c\u0633\u0627\u0632\u06cc \u0634\u062f\u0647 \u0627\u0633\u062a.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u0686\u0631\u0627 \u0633\u0627\u0632\u0645\u0627\u0646\u200c\u0647\u0627 \u0628\u0647 \u062c\u0627\u06cc Hadoop \u0627\u0632 Spark \u0628\u0631\u0627\u06cc \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u06a9\u0646\u0646\u062f\u061f<\/h3>\n\n\n\n<p>\u0633\u0627\u0632\u0645\u0627\u0646\u200c\u0647\u0627 \u0628\u0647 \u062f\u0644\u06cc\u0644 \u0633\u0631\u0639\u062a \u0628\u0627\u0644\u0627\u062a\u0631 \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0631 \u062d\u0627\u0641\u0638\u0647\u060c \u062a\u0648\u0627\u0646\u0627\u06cc\u06cc \u067e\u0631\u062f\u0627\u0632\u0634 \u0628\u0644\u0627\u062f\u0631\u0646\u06af \u0648 \u062a\u0639\u0627\u0645\u0644\u06cc\u060c \u0648 \u0627\u0646\u0639\u0637\u0627\u0641\u200c\u067e\u0630\u06cc\u0631\u06cc \u0628\u06cc\u0634\u062a\u0631 Spark \u062f\u0631 \u0645\u0642\u0627\u06cc\u0633\u0647 \u0628\u0627 Hadoop\u060c \u0627\u063a\u0644\u0628 \u0627\u0632 Spark \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u06a9\u0646\u0646\u062f. \u0627\u06cc\u0646 \u0645\u0632\u0627\u06cc\u0627 \u0628\u0627\u0639\u062b \u0645\u06cc\u200c\u0634\u0648\u062f \u06a9\u0647 Spark \u0628\u0631\u0627\u06cc \u06a9\u0627\u0631\u0628\u0631\u062f\u0647\u0627\u06cc \u062f\u0627\u062f\u0647\u200c\u0645\u062d\u0648\u0631 \u0645\u062f\u0631\u0646 \u0645\u0646\u0627\u0633\u0628\u200c\u062a\u0631 \u0628\u0627\u0634\u062f.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u0686\u0647 \u06a9\u0627\u0631\u0628\u0631\u062f\u0647\u0627\u06cc\u06cc \u0628\u0631\u0627\u06cc Spark \u0648 Hadoop \u062f\u0631 \u0635\u0646\u0639\u062a \u0648\u062c\u0648\u062f \u062f\u0627\u0631\u062f\u061f<\/h3>\n\n\n\n<p>\u062f\u0631 \u0635\u0646\u0639\u062a \u0628\u0647\u062f\u0627\u0634\u062a \u0648 \u062f\u0631\u0645\u0627\u0646 \u0628\u0631\u0627\u06cc \u062a\u062d\u0644\u06cc\u0644 \u067e\u06cc\u0634\u200c\u0628\u06cc\u0646\u06cc \u0628\u06cc\u0645\u0627\u0631\u06cc\u060c \u062f\u0631 \u0628\u062e\u0634 \u0645\u0627\u0644\u06cc \u0628\u0631\u0627\u06cc \u062a\u0634\u062e\u06cc\u0635 \u062a\u0642\u0644\u0628 \u0648 \u0627\u0631\u0632\u06cc\u0627\u0628\u06cc \u0631\u06cc\u0633\u06a9\u060c \u062f\u0631 \u062e\u0631\u062f\u0647\u200c\u0641\u0631\u0648\u0634\u06cc \u0628\u0631\u0627\u06cc \u0628\u0647\u06cc\u0646\u0647\u200c\u0633\u0627\u0632\u06cc \u0645\u062f\u06cc\u0631\u06cc\u062a \u0632\u0646\u062c\u06cc\u0631\u0647 \u062a\u0623\u0645\u06cc\u0646 \u0648 \u067e\u06cc\u0634\u200c\u0628\u06cc\u0646\u06cc \u062a\u0642\u0627\u0636\u0627\u060c \u0648 \u062f\u0631 \u062d\u0645\u0644 \u0648 \u0646\u0642\u0644 \u0628\u0631\u0627\u06cc \u0628\u0647\u06cc\u0646\u0647\u200c\u0633\u0627\u0632\u06cc \u0645\u0633\u06cc\u0631 \u0648 \u0645\u062f\u06cc\u0631\u06cc\u062a \u0646\u0627\u0648\u06af\u0627\u0646 \u0627\u0632 Spark \u0648 Hadoop \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u0634\u0648\u062f.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">\u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0645\u0627\u0634\u06cc\u0646 \u0644\u0631\u0646\u06cc\u0646\u06af \u0631\u0627 \u0627\u0632 \u0627\u0645\u0631\u0648\u0632 \u0634\u0631\u0648\u0639 \u06a9\u0646\u06cc\u062f!<\/h2>\n\n\n\n<p>\u062f\u0646\u06cc\u0627\u06cc \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u062c\u0630\u0627\u0628 \u0627\u0633\u062a \u0648 \u062f\u0627\u0646\u0633\u062a\u0646 \u0639\u0644\u0645 \u062f\u0627\u062f\u0647\u060c \u062a\u0648\u0627\u0646\u0627\u06cc\u06cc \u062a\u062d\u0644\u06cc\u0644 \u062f\u0627\u062f\u0647\u200c\u060c \u06cc\u0627 \u0628\u0627\u0632\u0627\u0631\u06cc\u0627\u0628\u06cc \u0645\u0628\u062a\u0646\u06cc \u0628\u0631 \u062f\u0627\u062f\u0647\u060c \u0634\u0645\u0627 \u0631\u0627 \u0628\u0631\u0627\u06cc \u0641\u0631\u0635\u062a\u200c\u0647\u0627\u06cc \u0634\u063a\u0644\u06cc \u0628\u0633\u06cc\u0627\u0631\u06cc \u0645\u0646\u0627\u0633\u0628 \u0645\u06cc\u200c\u06a9\u0646\u062f. \u0641\u0627\u0631\u063a \u0627\u0632 \u0631\u0634\u062a\u0647\u200c \u0648 \u067e\u06cc\u0634\u200c\u0632\u0645\u06cc\u0646\u0647\u200c\u060c \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u06cc\u062f \u062d\u0627\u0644\u0627 \u0634\u0631\u0648\u0639 \u06a9\u0646\u06cc\u062f \u0648 \u0627\u0632 \u0633\u0637\u062d \u0645\u0642\u062f\u0645\u0627\u062a\u06cc \u062a\u0627 \u067e\u06cc\u0634\u0631\u0641\u062a\u0647 \u0628\u06cc\u0627\u0645\u0648\u0632\u06cc\u062f. \u0627\u06af\u0631 \u062f\u0648\u0633\u062a \u062f\u0627\u0631\u06cc\u062f \u0628\u0647 \u0627\u06cc\u0646 \u062d\u0648\u0632\u0647 \u0648\u0627\u0631\u062f \u0634\u0648\u06cc\u062f\u060c \u067e\u06cc\u0634\u0646\u0647\u0627\u062f \u0645\u06cc\u200c\u06a9\u0646\u06cc\u0645 \u0628\u0627 \u06a9\u0644\u06cc\u06a9 \u0631\u0648\u06cc \u0627\u06cc\u0646 \u0644\u06cc\u0646\u06a9 \u0642\u062f\u0645 \u0627\u0648\u0644 \u0631\u0627 \u0647\u0645\u06cc\u0646 \u062d\u0627\u0644\u0627 \u0628\u0631\u062f\u0627\u0631\u06cc\u062f.<\/p>\n\n\n\n<p>\u0645\u0634\u0627\u0648\u0631\u0627\u0646 \u06a9\u0627\u0641\u0647\u200c\u062a\u062f\u0631\u06cc\u0633 \u0628\u0647 \u0634\u0645\u0627 \u06a9\u0645\u06a9 \u0645\u06cc\u200c\u06a9\u0646\u0646\u062f \u0645\u0633\u06cc\u0631 \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0628\u0631\u0627\u06cc \u0648\u0631\u0648\u062f \u0628\u0647 \u0627\u06cc\u0646 \u062d\u0648\u0632\u0647 \u0631\u0627 \u0634\u0631\u0648\u0639 \u06a9\u0646\u06cc\u062f:<\/p>\n\n\n<p><a class=\"call-to-btn\" href=\"https:\/\/cafetadris.com\/datascience\" target=\"_blank\" rel=\"noopener noreferrer\" data-wplink-edit=\"true\">\u062f\u0648\u0631\u0647 \u062c\u0627\u0645\u0639 \u062f\u06cc\u062a\u0627 \u0633\u0627\u06cc\u0646\u0633 \u0648 \u0645\u0627\u0634\u06cc\u0646 \u0644\u0631\u0646\u06cc\u0646\u06af<\/a><\/p>","protected":false},"excerpt":{"rendered":"<p>\u0641\u0646\u0627\u0648\u0631\u06cc\u200c\u0647\u0627\u06cc \u0628\u06cc\u06af \u062f\u06cc\u062a\u0627 \u0628\u0631\u0627\u06cc \u067e\u0627\u0633\u062e\u06af\u0648\u06cc\u06cc \u0628\u0647 \u0686\u0627\u0644\u0634\u200c\u0647\u0627\u06cc \u067e\u0631\u062f\u0627\u0632\u0634 \u0648 \u062a\u062d\u0644\u06cc\u0644 \u0645\u062c\u0645\u0648\u0639\u0647 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0628\u0632\u0631\u06af \u0628\u0647 \u0635\u0648\u0631\u062a \u06a9\u0627\u0631\u0622\u0645\u062f \u0628\u0647 \u0648\u062c\u0648\u062f \u0622\u0645\u062f\u0647\u200c\u0627\u0646\u062f. \u0627\u06cc\u0646 \u0641\u0646\u0627\u0648\u0631\u06cc\u200c\u0647\u0627 \u0634\u0627\u0645\u0644 \u0686\u0627\u0631\u0686\u0648\u0628\u200c\u0647\u0627\u06cc\u06cc \u0645\u0627\u0646\u0646\u062f Apache Hadoop \u0648 Apache Spark \u0645\u06cc\u200c\u0628\u0627\u0634\u0646\u062f \u06a9\u0647 \u0631\u0627\u0647\u200c\u062d\u0644\u200c\u0647\u0627\u06cc \u0645\u0642\u06cc\u0627\u0633\u200c\u067e\u0630\u06cc\u0631 \u0648 \u0645\u0642\u0631\u0648\u0646\u200c\u0628\u0647\u200c\u0635\u0631\u0641\u0647\u200c\u0627\u06cc \u0628\u0631\u0627\u06cc \u0645\u062f\u06cc\u0631\u06cc\u062a \u062d\u062c\u0645 \u0639\u0638\u06cc\u0645 \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0627\u0631\u0627\u0626\u0647 \u0645\u06cc\u200c\u062f\u0647\u0646\u062f. \u0628\u0627 \u0628\u0647\u0631\u0647\u200c\u06af\u06cc\u0631\u06cc \u0627\u0632&#8230;<\/p>\n","protected":false},"author":12,"featured_media":18864,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[558],"tags":[1233,1232,1231,622,1230,658],"yst_prominent_words":[],"class_list":["post-18260","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-558","tag-hadoop","tag-spark","tag-1231","tag-622","tag-1230","tag-658"],"amp_enabled":true,"_links":{"self":[{"href":"https:\/\/cafetadris.com\/blog\/wp-json\/wp\/v2\/posts\/18260","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/cafetadris.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/cafetadris.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/cafetadris.com\/blog\/wp-json\/wp\/v2\/users\/12"}],"replies":[{"embeddable":true,"href":"https:\/\/cafetadris.com\/blog\/wp-json\/wp\/v2\/comments?post=18260"}],"version-history":[{"count":22,"href":"https:\/\/cafetadris.com\/blog\/wp-json\/wp\/v2\/posts\/18260\/revisions"}],"predecessor-version":[{"id":18863,"href":"https:\/\/cafetadris.com\/blog\/wp-json\/wp\/v2\/posts\/18260\/revisions\/18863"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/cafetadris.com\/blog\/wp-json\/wp\/v2\/media\/18864"}],"wp:attachment":[{"href":"https:\/\/cafetadris.com\/blog\/wp-json\/wp\/v2\/media?parent=18260"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/cafetadris.com\/blog\/wp-json\/wp\/v2\/categories?post=18260"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/cafetadris.com\/blog\/wp-json\/wp\/v2\/tags?post=18260"},{"taxonomy":"yst_prominent_words","embeddable":true,"href":"https:\/\/cafetadris.com\/blog\/wp-json\/wp\/v2\/yst_prominent_words?post=18260"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}