قدرت پردازش زبان طبیعی با هوش مصنوعی

مقدمه

پردازش زبان طبیعی (NLP) یک شاخه از هوش مصنوعی و زبان‌شناسی است که به کامپیوترها برای درک جملات یا کلمات نوشته شده به زبان انسان اختصاص دارد. این تکنولوژی برای آسان کردن کار کاربران و برآورده کردن نیاز به ارتباط با کامپیوتر به زبان طبیعی به وجود آمده است. با توجه به اینکه تمام کاربران ممکن است در زبان خاص ماشین به خوبی تسلط نداشته باشند، NLP برای کاربرانی که زمان کافی برای یادگیری زبان جدید ندارند یا در آن به مهارت کافی نرسیده‌اند، مناسب است. یک زبان می‌تواند به عنوان یک مجموعه‌ای از قواعد یا نمادها تعریف شود. نمادها برای انتقال اطلاعات یا پخش اطلاعات به هم پیوسته استفاده می‌شوند.

پردازش زبان طبیعی در حقیقت به دو بخش اصلی، یعنی فهم زبان طبیعی و تولید زبان طبیعی تقسیم می‌شود که وظایف فهمیدن و تولید متن را شامل می‌شود. زبان‌شناسی علم زبان است که شامل فونولوژی (صدا)، مورفولوژی (تشکیل کلمات)، سینتاکس (ساختار جمله)، نحو (مفهوم) و پراگماتیک (فهم) است. برخی از وظایف پژوهش شده در NLP شامل خلاصه سازی خودکار، وضوح مرجع مشترک، تحلیل گفتمان، ترجمه ماشین، تجزیه و تحلیل مورفولوژی، تشخیص موجودیت نامگذاری شده، تشخیص کاراکتر نوری، برچسب‌گذاری بخشی از جمله و غیره هستند. خلاصه خودکار خلاصه قابل فهم یک مجموعه متن را تولید می‌کند و خلاصه‌ای از یک نوع خاص متن را فراهم می‌کند.

مرجع به جمله یا مجموعه بزرگی از متن اشاره دارد که کدام کلمات به یک شئ اشاره دارند. تحلیل گفتمان به وظایف شناسایی ساختار گفتمان از متن‌های پیوسته اشاره دارد. خلاصه خودکار خلاصه قابل فهم یک مجموعه متن را تولید می‌کند و خلاصه‌ای از یک نوع خاص متن را فراهم می‌کند. ارجاع به جمله یا مجموعه بزرگی از متن اشاره دارد که کدام کلمات به یک شئ اشاره دارند. تحلیل گفتمان به وظایف شناسایی ساختار گفتمان از متن‌های پیوسته اشاره دارد. ترجمه ماشینی به معنای ترجمه خودکار متن از یک زبان انسانی به زبان دیگر است. تجزیه و تحلیل مورفولوژی به معنای تفکیک یک کلمه به تکواژهای جداگانه و شناسایی کلاس تکواژها است. شناسایی نام اشخاص (NER) جریانی از متن را توصیف می‌کند که مشخص می‌کند کدام موارد در متن به نام‌های مناسب مربوط می‌شوند. تشخیص نوشتار نوری (OCR) تصویری را ارائه می‌دهد که نوشتار چاپ شده نشان می‌دهد، که در تعیین متن مرتبط کمک می‌کند. اگرچه وظایف پردازش زبان طبیعی به طور آشکار بسیار با هم تنیده هستند، اما به صورت مکرر استفاده می‌شوند.

برخی از وظایف مانند خلاصه خودکار، تجزیه و تحلیل هماهنگ اشاره و غیره به عنوان وظایف فرعی عمل می‌کنند که در حل وظایف بزرگتر استفاده می‌شوند. معیار پردازش زبان طبیعی بر روی یک سیستم الگوریتمی ارزیابی می‌شود که اجازه یادگیری و تولید زبان را فراهم می‌کند. حتی در شناسایی رویداد چند زبانه نیز استفاده می‌شود. یک سیستم ماژولار جدید برای استخراج رویداد چند زبانه برای متون انگلیسی، هلندی و ایتالیایی با استفاده از پایپلاین‌های مختلف برای زبان‌های مختلف پیشنهاد شده است. این سیستم یک مجموعه ماژولار از مهمترین ابزارهای چند زبانه پردازش زبان طبیعی (NLP) را در خود جای داده است. این پایپلاین، ماژول‌هایی را برای پردازش NLP ابتدایی و همچنین برای وظایف پیشرفته‌تر مانند پیوند دادن دسته‌های نام‌گذاری شده، برچسب‌گذاری نقش معنایی و نرمال سازی زمان شامل می‌شود. به این ترتیب، چارچوب چندزبانه به تفسیر رویدادها، شرکت کنندگان، مکان‌ها و زمان، و همچنین روابط بین آنها را فراهم می‌کند. خروجی این پایپلاین‌های جداگانه برای استفاده به عنوان ورودی یک سیستم است که نمودارهای دانش مرتبط با رویداد را بدست می‌آورد.

همه ماژول‌ها مانند لوله‌های UNIX عمل می‌کنند: همه آنها ورودی استاندارد را دریافت می‌کنند، توضیحاتی را اقدام می‌کنند و خروجی استاندارد را تولید می‌کنند که به نوبه خود به عنوان ورودی برای ماژول بعدی استفاده می‌شود. پایپلاین‌ها به عنوان یک داده محور داده ساخته شده‌اند تا بتوان ماژول‌ها را تطبیق داده و جایگزین کرد. علاوه بر این، معماری ماژولار اجازه تنظیمات مختلف و توزیع پویا را می‌دهد. یشتر کار در پردازش زبان طبیعی توسط دانشمندان کامپیوتر انجام می شود در حالی که متخصصان مختلف دیگری مانند زبان شناسی، روانشناس و فیلسوف و غیره نیز علاقه نشان داده اند. یکی از جالب ترین جنبه های NLP این است که به دانش زبان انسان اضافه می شود. حوزه پردازش زبان طبیعی با نظریات و تکنیک های مختلفی که با مسأله زبان طبیعی در ارتباط هستند، سروکار دارد. ابهام یکی از مسائل عمده زبان طبیعی است که به طور عمومی در سطح نحوی با وظایف فرعی دیگری همچون واژه‌ها و واژه سازی مورد بحث قرار می گیرد. هر یک از این سطوح می‌تواند ابهاماتی ایجاد کند. ابهام با روش های مختلفی از جمله به حداقل رساندن ابهام، حفظ ابهام، ابهام تعاملی و وزن دادن به ابهام قابل حل است.

نه روند برتر در پردازش زبان طبیعی در سال ۲۰۲۳:

- دستیاران مجازی
- تجزیه و تحلیل احساسات
- مدل‌های چندزبانه
- شناسایی دسته‌های نامگذاری شده
- تبدیل‌کننده‌های زبان
- یادگیری انتقالی
- خلاصه‌سازی متن
- جستجوی معنایی
- یادگیری تقویتی
- روند و فناوری های پردازش زبان طبیعی

با اختراع ربات های هوش مصنوعی مانند الکسا، کورتانا، سیری و گوگل آسیستنت، استفاده از پردازش زبان طبیعی چند برابر شده است. دانشمندان در حال حاضر بر روی ساخت مدل هایی تمرکز دارند که قادر به بهترین درک زبان های انسانی مانند انگلیسی، هندی، ماندارین، ژاپنی، اسپانیایی و غیره هستند که به صورت رسمی به عنوان زبان های طبیعی شناخته می شوند. در زیر چند روند پیش بینی شده که قرار است در حوزه پردازش زبان طبیعی در سال های آینده حاکم باشد:

• با نوآوری های رو به رشد در زمینه هوش مصنوعی، انتظار می رود که یادگیری ماشین نقش حیاتی در تکنیک های پردازش زبان طبیعی، به ویژه در تجزیه و تحلیل متن ایفا کند. در سال‌های آینده، می‌توان از موتور یادگیری ماشین برای انجام تجزیه و تحلیل دقیق‌تر با استفاده از یادگیری تحت نظارت و بدون نظارت استفاده کرد.

• تکامل پایدار پلتفرم های رسانه های اجتماعی به وضوح نشان داده است که این پلتفرم ها قرار است نقش بسیار مهم تری در تصمیم گیری شرکت ها داشته باشند. به عنوان مثال، در زمان گزارش فصلی، یک شرکت می تواند به چندین ابزار NLP برای نظارت بر نظرات مشتریان، بازخوردها و پاسخ‌های مربوط به شرکت خود در پلتفرم‌های رسانه‌های اجتماعی و اخبار رجوع کند.
• استفاده عملگرایانه از پردازش زبان طبیعی به شرکت های دارای حجم بزرگی از داده های متنی بدون ساختار یا گفتاری کمک می کند تا با مشکلات داده های تاریک مقابله کنند و آنها را برای به دست آوردن بینش به صورت کارآمد جمع آوری کنند.

• همچنین انتظار می رود NLP در زمینه هایی که نیاز به درک هدف کاربر دارند مانند چت ربات های هوشمند و جستجوی معنایی رایج تر شود. همراه با استفاده رو به رشد از یادگیری عمیق و همچنین یادگیری ماشینی بدون نظارت و بانظارت، انتظار می‌رود که تعداد زیادی از فناوری‌های زبان طبیعی پایدار باشند تا ظرفیت ارتباطی محاسبات شناختی را شکل دهند.

• احتمالاً پردازش زبان طبیعی در پیگیری و نظارت بر گزارش های بازاریابی و هوش مصنوعی برای استخراج داده های هوشمند برای شرکت ها در تشکیل استراتژی های آینده، نقش مهمی را ایفا خواهد کرد. از سال ۲۰۲۱، پیش بینی می شود که پردازش زبان طبیعی در یک مجموعه گسترده از حوزه های کسب و کار به کار گرفته شود. در حال حاضر، این فناوری به طور گسترده در بازاریابی مالی استفاده می شود. این فناوری در به اشتراک گذاری بینش جامع در مورد تأخیر مناقصه، نظرات بازار و بستن قراردادها و استخراج اطلاعات از منابع داده بزرگ مفید است.

مدل های یادگیری ماشین مانند یادگیری تقویتی، یادگیری انتقالی و تبدیل زبان، پیاده سازی پردازش زبان طبیعی را به شدت افزایش می دهند. خلاصه سازی متن، جستجوی معنایی و مدل های چند زبانه کاربردهای پردازش زبان طبیعی را در حوزه های آکادمیک و ایجاد محتوا و غیره گسترش می‌دهند.
روندها و استارتاپ های پردازش زبان طبیعی در این گزارش تنها نمونه ای از روندهای شناسایی شده در فرآیند نوآوری و استارتاپ گردآوری داده ما هستند. بین دیگر روش ها، یادگیری انتقال، وب معنایی و تحلیل رفتار، صنعت را به شکل فعلی تغییر خواهند داد. شناسایی فرصت های جدید و فناوری های نوظهور برای پیاده سازی در کسب‌وکارتان، در کسب مزیت رقابتی کمک بسزایی خواهد کرد.

آخرین پیشرفت‌های حوزه پردازش زبان طبیعی

پذیرش پردازش زبان طبیعی به دلیل افزایش تقاضا برای داده های بزرگ، تجزیه و تحلیل داده ها، محاسبات قدرتمند و الگوریتم های پیشرفته به سرعت در حال رشد است. چندین بازیکن در بازار پردازش زبان طبیعی عمیقاً روی پیشرفت‌های مختلف مرتبط با پردازش زبان طبیعی سرمایه‌گذاری می‌کنند

به عنوان مثال:
• در جولای ۲۰۱۹، هوش مصنوعی فیسبوک و پژوهشگران دانشگاه واشینگتن روش هایی برای بهبود مدل زبانی BERT گوگل ارائه دادند و در مجموعه داده های بنچمارک SQuAD، GLUE و RACE، عملکردی به اندازه یا فراتر از نتایج جدیدترین تکنولوژی ها را به دست آوردند.

• در آوریل ۲۰۲۰، پژوهشگران پردازش زبان طبیعی دانشگاه استنفورد یک کیت ابزار زبان چند انسانی با نام Stanza را ساختند. این کیت ابزار برای کسانی کاربرد دارد که با متن های مختلف زبان ها کار می کنند، به عنوان مثال در رسانه های اجتماعی. این برنامه برای استفاده از چندین ابزار پردازش زبان طبیعی دقیق برای بیش از ۶۰ زبان و برای بازیابی نرم افزار Java Stanford CoreNLP از پایتون را پشتیبانی می کند.

• در آوریل ۲۰۲۰، پژوهشگران از ریسرچ مایکروسافت و هوش مصنوعی گوگل برای سیستم های هوش مصنوعی مانند سامانه های شناسایی نام و پاسخ به سوالات، بنچمارک های جدیدی برای درک زبان طبیعی در زبان های مختلف معرفی کردند. XTREME گوگل شامل ۹ وظیفه و ۴۰ زبان است، در حالی که XGLUE مایکروسافت شامل ۱۱ وظیفه و ۲۷ زبان است.

نتیجه گیری

پردازش زبان طبیعی به سرعت در حال پیشرفت است و کاربردهای آن روز به روز در حال افزایش هستند. با توجه به حجم زیاد داده های موجود، درک و نظارت بر آن بسیار حائز اهمیت است و در برخی موارد، سانسور آن نیز لازم است. در سال های آینده، پردازش زبان طبیعی به دلیل مدل های از پیش آموزش‌دیده آماده و ابزار های کم کد و بدون کد که برای همه قابل دسترسی است، به صورت گسترده تری پیشرفت خواهد کرد. به ویژه، کسب و کارها از پردازش زبان طبیعی بهره خواهند برد؛ از بهبود عملکرد و رضایت مشتری گرفته تا کاهش هزینه ها و تصمیم گیری بهتر. با استفاده از پردازش زبان طبیعی، هر بخش از کسب و کار با اعمال تکنیک های هوش مصنوعی در رابطه با پردازش زبان طبیعی، قابل بهبود است.

تدوین و ترجمه: لیلا قدیری کارشناس هوش مصنوعی و آموزش الکترونیک جهاد دانشگاهی واحد صنعتی اصفهان

منبع: https://www.researchgate.net/publication/370060815_Natural_Language_Processing_The_Recent_Trends_and_Technology/link/643d228a1b8d044c632d2edd/download