جستجو در سایت :   

عنوان : شناسایی مشخصه ­های مناسب موجود در متن جهت رفع ابهام معنایی

دانشگاه شیراز

دانشکده مهندسـی برق و کامپیوتر

پایان‌نامه‌ی کارشناسی ارشد در رشته‌ی مهندسی کامپیوتر- نرم‌افزار

 شناسایی مشخصه ­های مناسب موجود در متن جهت رفع ابهام معنایی

 اساتید راهنما

دکتر محمد هادی صدرالدینی

دکتر مصطفی فخراحمد

برای رعایت حریم خصوصی نام نگارنده پایان نامه درج نمی گردد

(در فایل دانلودی نام نویسنده موجود می باشد)

تکه هایی از متن پایان نامه به عنوان نمونه :

(ممکن می باشد هنگام انتقال از فایل اصلی به داخل سایت بعضی متون به هم بریزد یا بعضی نمادها و اشکال درج نشود اما در فایل دانلودی همه چیز مرتب و کامل می باشد)

 چکیده

به جرأت می­توان ادعا نمود که عصر حاضر، عصر انفجار اطلاعات می باشد و شاید بتوان زبان را بعنوان مهمترین سد و مانع در انتقال اطلاعات دانست. پس ضرورت بکارگیری ماشین در پردازش و ترجمه­ی متون تبدیل به نیازی غیر قابل انکار شده می باشد. اما مشکلاتی که بر سر راه مترجم­های ماشینی هست مانع شده تا این مهم از کیفیت و دقت کافی برخوردار باشد.

یکی از تأثیرگذارترین مسائل در دقت و کیفیت ترجمه­ی ماشینی، رفع ابهام معنایی می باشد که دقت در آن باعث بالا رفتن دقت کل اقدام ترجمه می­گردد. مقصود از رفع ابهام معنایی انتخاب معنای مناسب کلمه با در نظر داشتن متن، برای کلماتی می باشد که دارای چندین معنای متفاوت هستند. پس در این پژوهش کوشش شده می باشد تا به مطالعه روش­های مختلف و ایده­های متفاوت پرداخته و با ارائه­ی شیوه­ای متفاوت در این راستا قدمی برداریم.

روش ارائه شده در این پایان نامه، روشی مبتنی بر دانش می باشد که با بهره­گیری از اطلاعات تکمیلی پیرامون کلمه­ی مبهم در متن و ارائه­ی یک روش امتیازدهی، به رفع ابهام می­پردازد. به این مقصود از یک طرف با بکارگیری وردنت و منابع دیگری که به نوعی مکمل وردنت هستند، فهرستی از کلمات مرتبط با کلمه­ی مبهم تهیه کرده و از طرف دیگر کلمات همراه با کلمه­ی مبهم در متن را از پیکره­ی مورد نظر استخراج می­کنیم. سپس با بهره گیری از یک ارتباط­ی امتیازدهی، معنایی که دارای بیشترین امتیاز می باشد و مرتبط­تر به نظر می­رسد را انتخاب می­کنیم. در نهایت، دقت روش ارائه شده را مطالعه کرده و نتایج را با دقت سایر روش­ها مقایسه می­کنیم.

کلمات کلیدی: رفع ابهام معنایی، دیدگاه مبتنی بر دانش، وردنت، وردنت توسعه یافته، ترجمه­ی ماشینی

فهرست مطالب

 عنوان                         صفحه

فصل اول: مقدمه

1-1- مقدمه. 2

1-2- پردازش زبان­های طبیعی.. 3

1-3- ترجمه­ی ماشینی.. 8

1-3-1- روش­های ترجمه­ی ماشینی  10

1-3-1-1- روش­های مبتنی بر قانون.. 11

1-3-1-2- روش­های مبتنی بر پیکره 13

1-3-2- عوامل موثر بر کیفیت ترجمه  15

1-4- ساختار رساله. 17

فصل دوم: رفع ابهام معنایی

2-1- مقدمه. 20

2-2- انواع منابع دانش…. 22

2-2-1- منابع دانش ساختیافته  23

2-2-2- منابع دانش بدون ساختار 24

2-2-2-1 تقسیم­بندی دیگری از پیکره­ها 25

2-3- رویکردهای مختلف در رفع ابهام معنایی.. 26

2-3-1- دیدگاه مبتنی بر پیکره 26

2-3-1-1- سیستم­های نظارتی.. 26

2-3-1-2- سیستم­های غیرنظارتی.. 27

2-3-2- دیدگاه مبتنی بر دانش    28

2-3-3- دیدگاه ترکیبی و خلاقانه  30

2-4- فاکتورهای ارزیابی.. 30

2-4-1- پوشش    31

2-4-2- دقت   31

2-4-3- درستی و یادآوری  31

2-4-4- F-SCORE  32

فصل سوم: مروری بر کارهای مرتبط پیشین

3-1-  مقدمه. 34

3-2- روش­های نظارتی.. 35

3-3- روش­های غیرنظارتی.. 39

3-4- روش­های مبتنی بر دانش…. 41

3-5- روش­های ترکیبی و خلاقانه. 44

فصل چهارم: روش پیشنهادی

4-1- مقدمه. 51

4-2- معرفی ابزارها و منابع مورد بهره گیری 52

4-2-1- ریشه­یاب   52

4-2-2- برچسب گذار بخشی از گفتار 53

4-2-3- وردنت   54

4-2-4- وردنت توسعه یافته  57

4-2-5- دامنه­ی وردنت   59

4-3- مراحل روش پیشنهادی.. 59

4-3-1- استخراج کلمات همراه 60

4-3-1-1- پیش پردازش…. 61

4-3-2- استخراج فهرست لغات   61

4-3-2-1- کلمات مترادف و تعاریف… 62

4-3-2-2- کلیه­ی روابط معنایی.. 62

4-3-2-3- هایپرنیم در چند سطح.. 63

4-3-2-4- دامنه­ی کلمات… 64

4-3-2-5- امتیازدهی.. 64

فصل پنجم: پیاده­سازی و ارزیابی

5-1-  مقدمه. 67

5-2- نتایج.. 68

فصل ششم: جمع­بندی و نتیجه­گیری

6-1- جمع­بندی.. 71

6-2- کارهای آتی.. 72

فهرست منابع.. 74

1-1- مقدمه

تولید حجم عظیمی از مقالات و مستندات، جامعه­ی علمی را بر آن داشت تا با بهره­گیری از مزایا و توانایی­های روش­های خودکار جهت پردازش این متون، به حوزه­ای تحت عنوان پردازش زبان­های طبیعی[1] روی آورد. همچنین با در نظر داشتن وجود لیستی از معانی کلمات و عبارات یا همان دیکشنری و حتی اختصاص موسساتی جهت تعیین چگونگی­ی بهره گیری از یک زبان در بعضی از کشورها، اینطور به نظر می­رسد که امکان مکانیزه کردن فهم یک زبان توسط کامپیوتر هست [1].

مبحث پردازش زبان­های طبیعی خود زیرمجموعه­ای از حوزه­ی گسترده­ی هوش مصنوعی می باشد که توجهات دانشمندان و محققان فراوانی را به خود معطوف کرده می باشد. شاید به ظاهر زبان­هایی که ما در زندگی روزمره برای ایجاد ارتباط با دیگران به کار می­گیریم، ساده باشند. اما در حقیقت این زبان­های انسانی پیچیدگی­های فراوانی دارند که همین پیچیدگی­ها منجر به شکل­گیری زیرشاخه­های متعددی همچون ترجمه­ی ماشینی[2]، بازیابی اطلاعات[3]، پردازش متون[4]، تشخیص صحبت[5]، تحلیل گرامری[6] ، رفع ابهام معنایی[7] و غیره در زمینه­ پردازش زبان­های طبیعی شده می باشد.

در بین موضوعات متفاوتی که در زمینه­ پردازش زبان­های طبیعی موجود می باشد، برای اینجانب ابهام معنایی[8] جذابیت بیشتری داشته که در این پایان­نامه به این موضوع پرداخته­ام. ابهام معنایی یکی از موضوعات پیچیده و در عین حال پراهمیت می باشد که در شاخه­هایی نظیر ترجمه­ی ماشینی و بازیابی اطلاعات نیز مطرح بوده و بعنوان جزء جدایی ناپذیری از اینگونه سیستم­ها دارای ارزش و مهم می باشد.

در واقع این مبحث نشأت گرفته از ابهامی می باشد که در زبان­های طبیعی نهفته می باشد؛ هرچند که وجود این ابهام­ها در اکثر مواقع از دید بشر پوشیده می باشد. آن چیز که ابهام­های موجود بین سخنگویان بومی را مرتفع می­سازد توانش زبانی آنها، اطلاعات آنها در خصوص جهان پیرامون، طرح پرسش مجدد در صورت وجود یا احساس ابهام و بطور کلی مجموعه­ای از اطلاعات زبانی و غیرزبانی می باشد که سخنگویان بومی به آن مجهزند [40].

مسأله­ی ابهام معنایی شامل تشخیص معنای صحیح یک کلمه با در نظر داشتن متنی می باشد که در آن آمده می باشد و در زمینه­ پردازش زبان­های طبیعی به آن رفع ابهام معنایی گفته می­گردد. این مهم در بسیاری از شاخه­های پردازش زبان­های طبیعی نیز مطرح بوده و کاربرد دارد که در این بین اصلی­ترین و مشهودترین مورد بهره گیری­ی آن در شاخه­ی ترجمه­ی ماشینی می باشد. پس در این فصل آغاز تصریح­ی کوتاهی به گستره­ی پردازش زبان­های طبیعی و زیرشاخه­های آن داشته، سپس مختصری به تبیین مفهوم ترجمه­ی ماشینی و روش­های آن می­پردازیم.

1-2- پردازش زبان­های طبیعی

پردازش زبان­های طبیعی ‌که معمولاً به اختصار به آن NLP گفته می­گردد یکی از نیازهای عصر فناوری جهت بهره گیری­ی بهینه از منابع اطلاعاتی می باشد که امروزه با رشد حجم مستندات تولید شده و نیاز به نگهداری، دسته بندی، بازیابی و پردازش ماشینی و سریع آنها، در نظر داشتن این شاخه بیش از پیش خودنمایی می­کند.

 :دانلود فایل متن کامل پایان نامه در سایت sabzfile.com

زبان طبیعی، زبانی می باشد که ما در تعاملات اجتماعی روزمره با بهره گیری از آن می­نویسیم و صحبت می­کنیم. زبان­های طبیعی متنوع و فراوانی وجود دارند که ممکن می باشد فرم گفتاری و نوشتاری متفاوتی داشته باشند و از هم مستقل باشند. پردازش زبان‌ها و مکالمات طبیعی یکی از اموری‌ست که با ورود فناوری رایانه‌ای به زندگی بشر مورد توجه بسیاری از دانشمندان قرار گرفته می باشد. حتی اندیشه‌ای که آلن تورینگ[9] از ماشین هوشمند خود و تعریفی که او از هوش مصنوعی[10] داشت، در مرحله­ی اول مربوط به پردازش زبان‌های طبیعی می­‌گردید. بعلاوه کوشش‌های بسیاری توسط بشر برای پیگیری این امر صورت گرفته بود که به عنوان مثال ماشین لیزا یکی از محصولات این کوشش‌هاست. ماشین لیزا ماشینی بود که با تایپ از راه دور با یک بشر، جملات او را پردازش می‌نمود و جوابی درخور به او می‌داد.

پس می­توان گفت که یکی از زیرشاخه‌های با اهمیت در حوزه­ی گسترده­ی هوش مصنوعی پردازش زبان­های طبیعی می باشد؛ تا حدی که بسیاری از متخصصین در زمینه­ هوش مصنوعی بر این باورند که مهمترین وظیفه­ای که هوش مصنوعی بایستی به آن بپردازد NLP می باشد. دلیلی که ایشان برای این اعتقاد خود ارائه می­کنند آن می باشد که پردازش زبان طبیعی راه ارتباط مستقیم بشر و کامپیوتر را از طریق مکالمه باز می­کند. به این ترتیب دیگر برنامه نویسی معمولی و قراردادهای مربوط به سیستم­های عامل کنار گذاشته خواهد گردید. همچنین ‌اگر یک کامپیوتر بتواند یک زبان انسانی را درک کرده و به وسیله­ی آن صحبت کند، دیگر به بسیاری از وظایفی که بایستی توسط مهندسین نرم افزار طراحی شوند نیازی نخواهد بود. اما ابعاد و پیچیدگی­های زبان­های بشری دستیابی کامل به این قابلیت را دشوار ساخته می باشد.

در پردازش زبان­های طبیعی، کوشش می­گردد تا قابلیت درک دستوراتی که به زبان­های انسانی استاندارد نوشته شده­اند، به کامپیوتر داده گردد. یعنی کامپیوتری داشته باشیم که قادر باشد زبان بشر را تحلیل کند، بفهمد و حتی بتواند زبان طبیعی تولید کند. بدیهی می باشد که در راستای شکل گیری این هدف، نیاز به دانشی وسیع از زبان می باشد. پس علاوه بر محققان علوم کامپیوتر، دانش زبان­شناسان نیز مورد لزوم می­باشد. در زمینه­ پردازش زبان­های طبیعی بایستی پاسخ چهار سوال زیر مورد مطالعه قرار گیرد:

  1. یک زبان از چه کلماتی تشکیل شده می باشد؟
  2. چگونه کلمات ترکیب می­شوند تا جملات زبان تشکیل شوند؟
  3. معنی کلمات زبان چیست؟
  4. معانی کلمات چگونه به کار گرفته می­شوند تا معنی جملات ساخته گردد؟

در حقیقت هدف اصلی در NLP، ماشینی کردن فرایند درک و برداشت مفاهیم اظهار گردیده با یک زبان طبیعی انسانی می­باشد. به تعریف دقیق‌تر پردازش زبان‌های طبیعی عبارت می باشد از بهره گیری از کامپیوتر برای پردازش زبان گفتاری و نوشتاری به نحوی که کامپیوترها از زبان طبیعی به عنوان ورودی و خروجی بهره گیری نمایند. بدین وسیله می‌توان به ترجمه­ی زبان‌ها پرداخت، از صفحات وب و بانک‌های اطلاعاتیِ نوشتاری جهت پاسخ دادن به پرسش‌ها بهره گیری نمود، یا با دستگاه‌ها مثلاً برای مشورت گرفتن به گفتگو پرداخت.

به‌ طورکلی‌ چگونگی­ی کار این‌ شاخه‌ این‌ می باشد‌ که‌ زبان­های‌ طبیعیِ ‌بشر‌ را تقلید کند. در این‌ میان‌، پیچیدگی‌ بشر‌ از بعد روانشناسی‌ بر روی‌ ارتباط متعامل‌ تأثیر می‌گذارد. پس پردازش زبان‌های طبیعی رهیافت بسیار جذابی برای ارتباط بین بشر و ماشین به شمار می رود و در صورت عملی شدنش به گونه کامل، می‌تواند تحولات شگفت‌انگیزی را در پی داشته‌ باشد. شکل زیر یک شمای کلی از معماری پردازش زبان­های طبیعی را نشان می­دهد:

تعداد صفحه :94

این مطلب رو هم توصیه می کنم بخونین:   دانلود پایان نامه ارشد : بهبود ساخت و ترکیب قوانین فازی با استفاده از الگوریتم رقابت استعماری

قیمت : 14700 تومان

بلافاصله پس از پرداخت لینک دانلود فایل در اختیار شما قرار می گیرد

و در ضمن فایل خریداری شده به ایمیل شما ارسال می گردد.

پشتیبانی سایت :        ****       serderehi@gmail.com

در صورتی که مشکلی با پرداخت آنلاین دارید می توانید مبلغ مورد نظر برای هر فایل را کارت به کارت کرده و فایل درخواستی و اطلاعات واریز را به ایمیل ما ارسال کنید تا فایل را از طریق ایمیل دریافت کنید.

***  **** ***