درک زبان طبیعی (NLU) یا به‌عبارتی کامل‌تر Natural Language Understanding زیرشاخه‌ای از پردازش زبان طبیعی (Natural Language Processing) است که تبدیل زبان انسان به فرمت خواندنی و فهمیدنی برای ماشین را دربرمی‌گیرد.
مقدمه
آیا تابه‌حال پیش آمده است که در آیفون (iPhone) از سیری (Siri) بپرسید که آب‌وهوای بیرون چگونه است؟ یا ترافیک صبح امروز چگونه است؟ اگر این کار را کرده‌اید، درواقع شما ازطریق دستیار مجازی شخصی خود پاسخی مبتنی بر داده دریافت کرده‌اید.
اما دستیار مجازی چگونه تشخیص می‌دهد که شما به دانستن آب‌وهوا در کدام مکان خاص یا ترافیک در کدام مسیر علاقه‌مند هستید؟
پاسخ این سؤال درک زبان طبیعی (NLU) است. این اتوماسیون که بر هوش مصنوعی مبتنی است به تکنولوژی‌های صوتی، مانند سیری (Siri)، کورتانا (Cortana)، الکسا (Alexa) و دستیار گوگل (Assistant Google) این امکان را می‌دهد که بدون درنظرگرفتن نحوه‌ی بیان آن، منظورتان را استنباط کنند. در ادامه‌ی این مطلب قصد داریم درک زبان طبیعی را معرفی و مثال‌هایی از آن را ارائه کنیم.
پردازش زبان طبیعی یا NLP چیست؟
پردازش زبان طبیعی (NLP) زیرشاخه‌ای از هوش مصنوعی (AI) است که بر توانمند ساختن رایانه‌ها برای درک و پردازش زبان انسان به روشی شبیه به درک انسان‌ها تمرکز دارد. هدف NLP توسعه الگوریتم‌ها و تکنیک‌هایی است که می‌توانند متن یا گفتار زبان طبیعی را تحلیل، تفسیر و تولید کنند.
NLP شامل طیف وسیعی از تکنیک‌ها و رویکردها، از جمله مدل‌های آماری، یادگیری ماشین و یادگیری عمیق است. این تکنیک‌ها برای انجام کارهای مختلفی مانند طبقه‌بندی متن، تحلیل احساسات، ترجمه ماشینی و تشخیص گفتار استفاده می‌شوند.
یکی از اولین کاربردهای NLP در زمینه ترجمه ماشینی بود. در دهه‌های ۱۹۵۰ و ۱۹۶۰، محققان سیستم‌های ترجمه ماشینی اولیه را توسعه دادند که از رویکردهای مبتنی بر قانون برای ترجمه متن از یک زبان به زبان دیگر استفاده می‌کرد. با این حال، این سیستم‌ها در دقت و توانایی خود برای مدیریت ساختارهای پیچیده زبان محدود بودند.
در دهه‌های ۱۹۸۰ و ۱۹۹۰، محققان شروع به توسعه تکنیک‌های پیچیده‌تر NLP، مانند تجزیه زبان طبیعی و تحلیل معنایی کردند. این تکنیک‌ها رایانه‌ها را قادر می‌سازد تا ساختار دستوری جملات را تجزیه و تحلیل کنند و معنای تک تک کلمات و عبارات را درک کنند.
در سال‌های اخیر، توسعه تکنیک‌های یادگیری عمیق، مانند شبکه‌های عصبی، منجر به پیشرفت قابل توجهی در NLP شده است. از این تکنیک‌ها برای توسعه سیستم‌هایی استفاده شده است که می‌توانند وظایفی مانند مدل‌سازی زبان، طبقه‌بندی متن و تشخیص گفتار را با دقت بالا انجام دهند.
NLP طیف گسترده‌ای از کاربردها را در زمینه‌هایی مانند مراقبت‌های بهداشتی، مالی و خدمات مشتری دارد. در مراقبت‌های بهداشتی، NLP برای تجزیه و تحلیل سوابق پزشکی الکترونیکی و استخراج اطلاعات مفید در مورد تشخیص‌ها و درمان‌های بیمار استفاده می‌شود. در امور مالی، NLP برای تجزیه و تحلیل مقالات خبری و داده‌های رسانه‌های اجتماعی برای پیش‌بینی روند بازار و تصمیم‌گیری برای سرمایه‌گذاری استفاده می‌شود. در خدمات مشتری، NLP برای توسعه چت‌بات‌ها و دستیاران مجازی استفاده می‌شود که می‌توانند به مشتریان در مورد سؤالات و نگرانی‌هایشان کمک کنند.
به طور کلی، NLP یک حوزه به سرعت در حال توسعه با برنامه‌های کاربردی و فرصت‌های هیجان‌انگیز بسیاری برای تحقیق و توسعه است. با افزایش حجم داده‌های زبان طبیعی، اهمیت NLP برای قادر ساختن رایانه‌ها به درک و پردازش این داده‌ها نیز بیشتر می‌شود.
درک زبان طبیعی (NLU) چیست؟
درک زبان طبیعی (NLU) زیرشاخه‌ای از پردازش زبان طبیعی (NLP) است که بر روی توانمند ساختن رایانه‌ها برای درک زبان انسان به روشی شبیه به درک انسان‌ها تمرکز دارد.
NLU شامل استفاده از تکنیک‌های محاسباتی برای تجزیه و تحلیل و تفسیر زبان طبیعی، مانند متن یا گفتار است. هدف NLU این است که رایانه‌ها را قادر سازد ورودی زبان طبیعی را به گونه‌ای معنادار و مفید درک کنند و به آن پاسخ دهند.
NLU شامل انواع مختلفی از وظایف، مانند تجزیه جملات برای شناسایی ساختار دستوری، شناسایی معنای تک تک کلمات و عبارات، و تشخیص هدف پشت ورودی کاربر است. NLU جزء حیاتی بسیاری از برنامه‌های کاربردی هوش مصنوعی مدرن، مانند دستیاران مجازی و چت‌بات‌هاست که بر درک و پردازش ورودی زبان طبیعی از کاربران متکی هستند. تکنیک‌های NLU همچنین کاربردهای مهمی در زمینه‌هایی مانند مراقبت‌های بهداشتی، مالی و خدمات مشتری دارند که درک و تفسیر زبان طبیعی برای ارتباط مؤثر با انسان‌ها ضروری است.
درک زبان طبیعی به‌معنای درک کامپیوتر از ساختار و معنای زبان انسان، برای مثال، انگلیسی، اسپانیایی و ژاپنی، است. این فرایند به کاربران اجازه می‌دهد با استفاده از جملات طبیعی و با زبان خودشان با کامپیوتر تعامل کنند؛ به‌عبارت دیگر، درک زبان طبیعی هوش مصنوعی‌ای است که از نرم‌افزار کامپیوتری برای تفسیر متن و هر نوع داده‌ی بدون ساختار استفاده می‌کند. درک زبان طبیعی (NLU) می‌تواند متنی را تجزیه‌وتحلیل، آن را به زبان کامپیوتر یا ماشینی ترجمه و خروجی را به زبانی فهمیدنی برای انسان تولید کند.
با استفاده از درک زبان طبیعی و یادگیری ماشین (Machine Learning)، کامپیوترها می‌توانند به‌طور خودکار داده‌ها را در چند ثانیه تجزیه‌وتحلیل کنند و در تجزیه‌وتحلیل بازخوردهای مشتریان، در صرفه‌جویی زمان و منابع به ما کمک کنند.
حال این سؤال در ذهن شکل می‌گیرد که آیا پردازش زبان طبیعی (NLP) با درک زبان طبیعی (NLU) تفاوتی دارد؟ در ادامه پاسخ این سؤال را خواهیم یافت.
برای آشنایی با یادگیری ماشین این مطلب را مطالعه کنید:
یادگیری ماشین (Machine Learning) چیست و چگونه کار می‌کند؟
تفاوت درک زبان طبیعی (NLU) با پردازش زبان طبیعی (NLP)
درک زبان طبیعی (NLU) زیرشاخه‌ای از پردازش زبان طبیعی (NLP) است.
هر دو پردازش زبان طبیعی (NLP) و درک زبان طبیعی (NLU) قصد دارند داده‌های بدون ساختار را درک کنند، اما میان این دو تفاوت وجود دارد.
پردازش زبان طبیعی (NLP) با نحوه‌ی برنامه‌ریزی کامپیوترها برای پردازش زبان و تسهیل ارتباط طبیعی رفت‌وبرگشتی میان کامپیوترها و انسان‌ها در ارتباط است.
همچنین درک زبان طبیعی (NLU) بر توانایی ماشین در درک زبان انسان متمرکز است.
بیایید به این قضیه به‌این شکل نگاه کنیم که قبل از اینکه کامپیوتر بتواند متن بدون ساختار را به فرمت خواندنی برای ماشین پردازش (NLP) تبدیل کند، ابتدا ماشین‌ها باید ویژگی‌های زبان انسان را درک (NLU) کنند.
پردازش زبان طبیعی (NLP) رشته‌ای از علوم کامپیوتر است که شامل استفاده از تکنیک‌های محاسباتی برای تجزیه و تحلیل، درک و تولید زبان انسانی است. درک زبان طبیعی (NLU) زیرشاخه ای از NLP است که به طور خاص بر روی توانمند ساختن رایانه‌ها برای درک ورودی زبان طبیعی به روشی شبیه به درک انسان‌ها تمرکز دارد.
در حالی که این دو حوزه به هم مرتبط هستند، تفاوت‌های کلیدی بین NLP و NLU وجود دارد:
دامنه: NLP یک حوزه‌ی گسترده است که طیف وسیعی از تکنیک‌ها را برای کار با زبان طبیعی شامل کارهایی مانند طبقه‌بندی متن، تجزیه و تحلیل احساسات و ترجمه ماشینی در بر می‌گیرد. از سوی دیگر، NLU یک زمینه متمرکزتر است که به طور خاص با مشکل توانمندسازی کامپیوترها برای درک زبان انسان سروکار دارد.
عمق تجزیه و تحلیل: تکنیک‌های NLP را می‌توان برای تجزیه و تحلیل متن در سطوح مختلف، از کلمات و عبارات جداگانه گرفته تا کل اسناد استفاده کرد. از سوی دیگر، NLU معمولاً بر تجزیه و تحلیل دقیق‌تر جملات یا عبارات فردی با هدف درک معنای هر جزء تمرکز می‌کند.
برنامه‌های کاربردی: در حالی که NLP و NLU هر دو کاربردهای زیادی دارند، اغلب به روش‌های مختلف استفاده می‌شوند. تکنیک‌های NLP اغلب برای کارهایی مانند خودکارسازی پشتیبانی مشتری، استخراج بینش از رسانه‌های اجتماعی و تجزیه و تحلیل حجم زیادی از داده‌های متنی استفاده می‌شود. از سوی دیگر، تکنیک‌های NLU اغلب در برنامه‌هایی مانند دستیاران مجازی، چت‌بات‌ها و سیستم‌های تشخیص صدا استفاده می‌شوند، جایی که درک و تفسیر ورودی زبان طبیعی ضروری است.
به طور خلاصه، NLP یک زمینه گسترده است که طیف گسترده ای از تکنیک‌ها را برای کار با زبان طبیعی در بر می‌گیرد، در حالی که NLU یک زیرشاخه متمرکزتر است که به طور خاص با مشکل توانمندسازی رایانه‌ها برای درک زبان انسان سروکار دارد.
پیشنهاد می‌کنیم درباره پردازش زبان طبیعی بیشتر بدانید.
مثال‌هایی از درک زبان طبیعی (NLU)
در این بخش برای اینکه بیشتر با درک زبان طبیعی و کاربرد آن آشنا شویم، برخی از مثال‌های آن را با هم بررسی می‌کنیم.
۱. مسیریابی خودکار تیکت پشتیبانی (Automatic Ticket Routing)
یک مثال تجاری بسیار کاربردی از درک زبان طبیعی (NLU) اتوماسیون خدمات به مشتریان است. با استفاده از تکنولوژی‌های تجزیه‌وتحلیل متن ماشین‌ها می‌توانند محتوای تیکت‌های پشتیبانی مشتری را درک و آن‌ها را بدون نیاز به بازکردن هر بلیت، به بخش‌های مربوط هدایت کنند.
این موضوع، نه‌تنها صدها ساعت در زمان تیم‌های پشتیبانی مشتری صرفه‌جویی می‌کند، به آن‌ها در اولویت‌بندی تیکت‌های فوری نیز کمک می‌کند. با استفاده از تکنولوژی درک زبان طبیعی (NLU) می‌توانیم داده‌های بدون ساختار (ایمیل، رسانه‌های اجتماعی، چت زنده و غیره) را براساس موضوع، احساسات و فوریت مرتب کنیم؛ سپس می‌توانیم این بلیت‌ها را مستقیماً به نماینده‌ی مربوط هدایت و آن را اولویت‌بندی کنیم.
۲. ترجمه‌ی ماشینی (Machine Translation)
ترجمه‌ی دقیق متن یا گفتار از یک زبان به زبان دیگر یکی از سخت‌ترین چالش‌های پردازش زبان طبیعی (NLP) و درک زبان طبیعی(NLU) است.
با استفاده از الگوریتم‌های پیچیده که بر قواعد زبانی و آموزش ماشین‌های هوش مصنوعی تکیه می‌کنند، Google Translate، Microsoft Translator و Facebook Translation درزمینه‌ی ترجمه‌ی زبان عمومی پیش‌رو شده‌اند.
با استفاده از ابزارهای ترجمه‌ی ماشینی می‌توانیم متن را تایپ کنیم یا یک سند را بارگذاری کنیم و ترجمه‌ی آن را به ده‌ها زبان مختلف دریافت کنیم. Google Translate حتی نرم‌افزار تشخیص نوری کاراکتر (OCR) را شامل است که به ماشین‌ها اجازه می‌دهد متن را از تصاویر استخراج کنند، بخوانند و ترجمه کنند.
۳. استدلال خودکار (Automated Reasoning)
استدلال خودکار زیرشاخه‌ای از علوم شناختی (Cognitive Science) است که برای اثبات خودکار قضایای ریاضی (mathematical theorems) یا استنباط منطقی درمورد تشخیص پزشکی استفاده می‌شود. استدلال خودکار به ماشین‌ها استدلال یا منطقی می‌دهد که به آن‌ها اجازه می‌دهد حقایق جدیدی را استنباط کنند.
به‌زبان ساده، با استفاده از اطلاعات جمع‌آوری‌شده و تجزیه‌وتحلیل‌شده‌ی قبلی، برنامه‌های کامپیوتری قادر به نتیجه‌گیری هستند؛ برای مثال، در پزشکی ماشین‌آلات می‌توانند با استفاده از قوانین اگر-پس (IF-THEN) تشخیص بیماری را براساس تشخیص‌های قبلی استنباط کنند.
۴. پاسخگویی به سؤالات (Question Answering)
پاسخگویی به سؤالات زیرشاخه‌ای از پردازش زبان طبیعی (NLP) و تشخیص گفتار (Speech Recognition) است که از درک زبان طبیعی (NLU) برای کمک به کامپیوترها برای درک خودکار سؤالات زبان طبیعی استفاده می‌کند.
برای مثال، یک سؤال متداول که ممکن است هر یک از ما آن را از Google Assistant بارها پرسیده باشیم این است: «فردا هوا چطور است؟»
ابزارهای پردازش زبان طبیعی (NLP) می‌توانند این سؤال را به دو بخش موضوع آب‌وهوا و تاریخ (فردا) تقسیم کنند، آن را درک و مناسب‌ترین پاسخ را از مجموعه‌ی بدون ساختار «اسناد زبان طبیعی» جمع‌آوری کنند. این مجموعه‌ی اسناد زبان طبیعی می‌توانند برای مثال، گزارش‌های خبری آنلاین، صفحات وب جمع‌آوری‌شده، متون مرجع و غیره را شامل باشند. به‌طور پیش‌فرض، دستیارهای مجازی آب‌وهوای مکان فعلی شما را به شما می‌گویند، مگر اینکه شهر خاصی را مشخص کنید.
هدف از تکنولوژی پاسخگویی به سؤالات این است که به‌جای فهرستی از پاسخ‌های متنی، پاسخ به زبان طبیعی انسان ارائه شود.
جمع‌بندی درباره‌ی درک زبان طبیعی (NLU)
در این مطلب درک زبان طبیعی و مثال‌هایی از کاربرد آن را معرفی کردیم. تکنولوژی هوش مصنوعی (AI) در تجارت اهمیت بالایی دارد. پیشنهادهای Spotify یا Netflix، تصحیح خودکار و پاسخ خودکار، دستیاران مجازی و دسته‌بندی خودکار ایمیل فقط چند مورد از کاربردهای هوش مصنوعی است که از درک زبان طبیعی در آن‌ها استفاده می‌شود. تنها با همین چند مثال می‌توانیم دریابیم که تا چه حد این تکنولوژی در زندگی ما نقش مهمی ایفا کرده و آن را به‌گونه‌ای راحت‌تر کرده است.