پس از آنکه مشخص شد مدل های زبانی می توانند از منابع مختلفی مانند داده های آموزشی، موتورهای جستجو، Knowledge Graph، APIها یا ابزارهای خارجی استفاده کنند، سؤال مهم تری مطرح می شود؛ مدل چگونه تشخیص می دهد از میان میلیاردها داده، کدام اطلاعات برای پاسخ به سؤال کاربر مرتبط هستند؟
پاسخ این سؤال، یکی از مهم ترین تفاوت های مدل های زبانی با موتورهای جستجوی سنتی را آشکار می کند. موتورهای جستجو معمولاً مجموعه ای از صفحات مرتبط با یک عبارت جستجو را نمایش می دهند و انتخاب پاسخ نهایی را بر عهده کاربر می گذارند. اما مدل های زبانی خود مسئول یافتن، ارزیابی و ترکیب اطلاعات هستند و در نهایت تنها یک پاسخ منسجم به کاربر ارائه می دهند.
این فرآیند با دریافت سؤال کاربر آغاز می شود. مدل ابتدا تلاش می کند مفهوم واقعی سؤال، هدف کاربر و زمینه گفتگو را درک کند. سپس با استفاده از تکنیک هایی مانند درک پرسش (Query Understanding)، تشخیص هدف کاربر (Intent Detection)، جستجوی معنایی (Semantic Search) و بازیابی اطلاعات (Retrieval)، مرتبط ترین اطلاعات را از میان منابع در دسترس شناسایی می کند. در بسیاری از موارد نیز تنها بخش های مشخصی از یک سند یا صفحه وب که ارتباط مستقیمی با سؤال دارند، انتخاب می شوند؛ فرآیندی که با عنوان Chunk Selection شناخته می شود.
نکته مهم این است که مدل های زبانی به دنبال یافتن مرتبط ترین دانش هستند، نه صرفاً صفحاتی که بیشترین تطابق کلمات را با سؤال دارند. به همین دلیل، ممکن است صفحه ای که دقیقاً همان عبارت جستجو را تکرار کرده است کنار گذاشته شود، اما منبعی که مفهوم موضوع را عمیق تر و دقیق تر توضیح داده است، برای تولید پاسخ انتخاب شود.
این تفاوت، یکی از دلایل اصلی تغییر رویکرد از Keyword Matching به Meaning Matching در عصر هوش مصنوعی است. در گذشته، وجود یک کلمه کلیدی در صفحه اهمیت زیادی داشت، اما امروز مدل های زبانی بیش از آنکه به شباهت واژه ها توجه کنند، به شباهت مفاهیم، ارتباط میان موجودیت ها (Entities) و میزان پاسخگویی محتوا به نیاز واقعی کاربر اهمیت می دهند.
درک پرسش (Query Understanding)
نخستین گام در فرآیند یافتن اطلاعات مرتبط، درک صحیح پرسش کاربر است. برخلاف موتورهای جستجوی سنتی که سال ها بر تطبیق کلمات کلیدی تمرکز داشتند، مدل های زبانی تلاش می کنند پیش از جستجوی اطلاعات، منظور واقعی کاربر را بفهمند. به همین دلیل، آنچه مدل پردازش می کند صرفاً مجموعه ای از کلمات نیست، بلکه مفهوم، هدف و زمینه سؤال است.
برای مثال، فرض کنید کاربری بنویسد:
«چگونه می توانم برندم را در پاسخ های ChatGPT بیشتر ببینم؟»
در نگاه اول، کلمات مهم این جمله ممکن است «برند»، «ChatGPT» و «بیشتر دیده شدن» باشند. اما مدل زبانی فراتر از این کلمات عمل می کند و تلاش می کند تشخیص دهد که کاربر احتمالاً به دنبال راهکارهای GEO، AI Citation یا افزایش اعتبار برند در اکوسیستم هوش مصنوعی است، نه صرفاً اطلاعاتی درباره خود ChatGPT.
مدل های زبانی برای این کار چندین عامل را هم زمان بررسی می کنند:
- معنای واژه ها در کنار یکدیگر
- ترتیب و ساختار جمله
- موضوع کلی گفتگو
- اطلاعاتی که در پیام های قبلی مطرح شده است
- روابط میان موجودیت های موجود در سؤال
- ابهام های احتمالی در عبارت های به کار رفته
به همین دلیل، دو سؤال که از نظر واژگان متفاوت هستند، ممکن است به عنوان یک درخواست مشابه تفسیر شوند. برای مثال، پرسش های «چگونه در پاسخ های هوش مصنوعی دیده شویم؟»، «چطور ChatGPT از برند من نام ببرد؟» و «راه های افزایش AI Citation چیست؟» اگرچه از کلمات متفاوتی استفاده کرده اند، اما از نظر مفهومی به یک نیاز مشترک اشاره می کنند و مدل معمولاً آن ها را در یک فضای معنایی نزدیک قرار می دهد.
از سوی دیگر، مدل های زبانی تلاش می کنند ابهام موجود در سؤال را نیز برطرف کنند. اگر کاربر از واژه ای استفاده کند که چندین معنا داشته باشد، مدل با توجه به زمینه گفتگو، دانش قبلی و سایر نشانه های موجود، محتمل ترین تفسیر را انتخاب می کند. هرچه سؤال دقیق تر و زمینه آن شفاف تر باشد، احتمال اینکه مدل اطلاعات مرتبط تری بازیابی کند نیز افزایش می یابد.
تشخیص هدف کاربر (Intent Detection)
پس از آنکه مدل زبانی مفهوم کلی سؤال را درک کرد، وارد مرحله مهم دیگری به نام تشخیص هدف کاربر (Intent Detection) می شود. در این مرحله، مدل تلاش می کند تشخیص دهد که کاربر دقیقاً چه چیزی می خواهد؛ زیرا دو کاربر ممکن است یک سؤال تقریباً مشابه بپرسند، اما هدف کاملاً متفاوتی از طرح آن داشته باشند.
برای مثال، تصور کنید دو نفر عبارت زیر را مطرح می کنند:
«AI Citation چیست؟»
در نگاه اول، هر دو سؤال یکسان به نظر می رسند، اما ممکن است اهداف آن ها کاملاً متفاوت باشد:
- یک دانشجو تنها به دنبال تعریف AI Citation باشد.
- یک متخصص سئو بخواهد بداند چگونه Citation دریافت کند.
- مدیر یک کسب وکار به دنبال افزایش دیده شدن برند خود در پاسخ های هوش مصنوعی باشد.
- یک پژوهشگر بخواهد سازوکار فنی Citation در مدل های زبانی را بررسی کند.
اگر مدل فقط به کلمات موجود در سؤال توجه کند، برای همه این افراد یک پاسخ یکسان تولید خواهد کرد. اما با تشخیص هدف کاربر، می تواند پاسخی متناسب با نیاز واقعی او ارائه دهد.
برای رسیدن به این هدف، مدل های زبانی تنها به متن سؤال اکتفا نمی کنند، بلکه عوامل مختلفی را در کنار هم تحلیل می کنند، از جمله:
- زمینه مکالمه و پرسش های قبلی
- سطح تخصص کاربر که از نحوه سؤال پرسیدن قابل استنباط است
- نوع اطلاعات درخواستی (تعریف، آموزش، مقایسه، تحلیل، راهکار یا تصمیم گیری)
- ارتباط سؤال با موضوعات مطرح شده در ادامه یا ابتدای گفتگو
به همین دلیل، اگر در ادامه یک مکالمه تخصصی درباره GEO، Entity SEO یا Knowledge Graph ناگهان پرسیده شود «AI Citation چیست؟»، مدل معمولاً پاسخی تحلیلی و فنی ارائه می دهد، نه یک تعریف عمومی. اما اگر همین سؤال در ابتدای یک گفت وگو مطرح شود، احتمال دارد پاسخ از سطح مقدماتی آغاز شود.
تشخیص صحیح هدف کاربر، نقش مستقیمی در کیفیت اطلاعاتی دارد که در مراحل بعدی بازیابی می شوند. اگر مدل هدف را اشتباه تشخیص دهد، حتی بازیابی دقیق ترین منابع نیز نمی تواند به تولید پاسخ مناسب منجر شود. به همین دلیل، بسیاری از خطاهای مدل های زبانی نه به دلیل کمبود دانش، بلکه به دلیل برداشت نادرست از نیاز واقعی کاربر رخ می دهند.
جستجوی معنایی (Semantic Search)
پس از آنکه مدل زبانی مفهوم سؤال و هدف واقعی کاربر را تشخیص داد، وارد مرحله جستجوی معنایی (Semantic Search) می شود. در این مرحله، دیگر هدف پیدا کردن صفحاتی نیست که صرفاً کلمات مشابهی با سؤال کاربر دارند، بلکه مدل تلاش می کند اطلاعاتی را بیابد که از نظر مفهومی بیشترین ارتباط را با درخواست کاربر داشته باشند.
این تفاوت، یکی از مهم ترین تحولاتی است که در سال های اخیر در دنیای جستجو و هوش مصنوعی رخ داده است. در گذشته، موتورهای جستجو وابستگی زیادی به تطبیق کلمات کلیدی داشتند. هرچه یک صفحه عبارت جستجو را بیشتر و دقیق تر تکرار می کرد، شانس بیشتری برای دیده شدن داشت. اما مدل های زبانی و موتورهای جستجوی مدرن تلاش می کنند معنای سؤال را درک کنند، نه فقط واژه های آن را.
برای مثال، اگر کاربری عبارت «چگونه برندم در پاسخ های هوش مصنوعی دیده شود؟» را مطرح کند، مدل ممکن است اطلاعاتی را بازیابی کند که در آن ها از عباراتی مانند AI Citation، Generative Engine Optimization (GEO)، Entity SEO، Topical Authority یا حتی «اعتماد مدل های زبانی» استفاده شده باشد، بدون آنکه دقیقاً عبارت «دیده شدن در پاسخ های هوش مصنوعی» در متن وجود داشته باشد. دلیل این موضوع آن است که مدل، ارتباط مفهومی میان این موضوعات را تشخیص می دهد.
در جستجوی معنایی، روابط میان موجودیت ها، مفاهیم، زمینه سؤال و ساختار دانش اهمیت بسیار بیشتری نسبت به شباهت ظاهری واژه ها دارند. به همین دلیل، محتوایی که یک موضوع را از ابعاد مختلف بررسی کرده و ارتباط منطقی میان مفاهیم مختلف ایجاد کرده باشد، معمولاً شانس بیشتری برای انتخاب شدن دارد.
نکته مهم دیگر این است که جستجوی معنایی تنها به یافتن صفحات محدود نمی شود. مدل های زبانی می توانند ارتباط میان بخش های مختلف یک مقاله، اسناد متعدد، پایگاه های دانشی و حتی داده های ساختاریافته را نیز در نظر بگیرند. به همین دلیل، ممکن است تنها بخشی از یک مقاله که بیشترین ارتباط معنایی را با سؤال دارد، در فرآیند تولید پاسخ مورد استفاده قرار گیرد.
به همین دلیل، در چارچوب SAG هدف این نیست که یک عبارت کلیدی بارها در متن تکرار شود؛ بلکه باید یک شبکه دانشی پیرامون موضوع ایجاد شود. برای مثال، مقاله ای درباره AI Citation نباید تنها به تعریف این مفهوم محدود شود، بلکه باید موضوعاتی مانند اعتماد مدل های زبانی، Knowledge Graph، Entity SEO، Topical Authority، Retrieval و سایر مفاهیم مرتبط را نیز پوشش دهد. هرچه این ارتباطات کامل تر و منطقی تر باشند، احتمال اینکه مدل های زبانی مقاله را به عنوان یک منبع جامع و معتبر تشخیص دهند، افزایش می یابد.
به بیان دیگر، در Semantic Search، هوش مصنوعی به دنبال کلمات نیست؛ به دنبال معناست. بنابراین، موفقیت در اکوسیستم هوش مصنوعی دیگر به تعداد دفعات تکرار یک عبارت وابسته نیست، بلکه به میزان پوشش مفهومی، انسجام دانشی و کیفیت ارتباط میان موضوعات بستگی دارد. این دقیقاً همان فلسفه ای است که SAG تلاش می کند آن را از سطح یک تکنیک سئو به یک استراتژی مهندسی دانش تبدیل کند.
بازیابی اطلاعات (Retrieval)
پس از آنکه مدل زبانی مفهوم سؤال و هدف کاربر را درک کرد و با استفاده از جستجوی معنایی مرتبط ترین اطلاعات را شناسایی نمود، وارد مرحله بازیابی اطلاعات (Retrieval) می شود. در این مرحله، مدل تصمیم می گیرد کدام اطلاعات باید وارد فرآیند تولید پاسخ شوند.
بسیاری از افراد تصور می کنند مدل های زبانی پس از دریافت سؤال، تمام دانش خود را مرور می کنند و سپس پاسخ را تولید می کنند. اما در عمل چنین اتفاقی رخ نمی دهد. حجم اطلاعاتی که یک مدل می تواند در هر لحظه پردازش کند محدود است و به همین دلیل، باید ابتدا مرتبط ترین اطلاعات انتخاب شوند و تنها همان بخش ها وارد مرحله استدلال و تولید پاسخ شوند.
Retrieval را می توان به فرآیند انتخاب کتاب های مناسب از یک کتابخانه بزرگ تشبیه کرد. فرض کنید کتابخانه ای با میلیون ها کتاب در اختیار دارید. برای پاسخ به یک سؤال، نیازی نیست تمام کتاب ها را بخوانید؛ کافی است چند کتاب مرتبط و حتی چند صفحه مشخص از آن ها را انتخاب کنید. مدل های زبانی نیز دقیقاً همین کار را انجام می دهند. آن ها ابتدا مناسب ترین منابع را پیدا می کنند و سپس تنها اطلاعات مورد نیاز را برای تولید پاسخ بازیابی می کنند.
این اطلاعات ممکن است از منابع مختلفی به دست آمده باشند؛ مانند داده های آموزشی، صفحات وب، Knowledge Graph، APIها، ابزارهای خارجی یا حتی حافظه همان مکالمه. در بسیاری از مدل های مدرن، این منابع هم زمان بررسی می شوند و اطلاعات بازیابی شده به صورت یک مجموعه منسجم در اختیار مدل قرار می گیرد.
نکته مهم این است که Retrieval به معنای انتخاب پاسخ نیست، بلکه انتخاب اطلاعات است. در این مرحله، مدل هنوز تصمیم نگرفته است چه پاسخی به کاربر بدهد؛ بلکه فقط مشخص کرده است که کدام شواهد، اسناد و داده ها ارزش ورود به مرحله استدلال را دارند. تصمیم نهایی درباره پاسخ، در مراحل بعدی و پس از ارزیابی اعتبار، مقایسه منابع و ترکیب اطلاعات گرفته می شود.
به همین دلیل، کیفیت Retrieval تأثیر مستقیمی بر کیفیت پاسخ نهایی دارد. اگر اطلاعات نامرتبط یا ناقص بازیابی شوند، حتی پیشرفته ترین مدل های زبانی نیز نمی توانند پاسخ دقیقی تولید کنند. به همین علت، در معماری بسیاری از سیستم های هوش مصنوعی، کیفیت مرحله Retrieval به اندازه خود مدل زبانی اهمیت دارد.
انتخاب بخش های مرتبط (Chunk Selection)
پس از آنکه مدل زبانی منابع مرتبط را در مرحله Retrieval بازیابی کرد، هنوز یک چالش مهم باقی مانده است؛ کدام بخش از این منابع باید برای تولید پاسخ استفاده شود؟ اینجاست که مرحله Chunk Selection یا انتخاب بخش های مرتبط آغاز می شود.
مدل های زبانی معمولاً یک مقاله، کتاب یا صفحه وب را به صورت کامل وارد فرآیند تولید پاسخ نمی کنند. دلیل این موضوع هم محدودیت در حجم اطلاعات قابل پردازش و هم نیاز به افزایش دقت پاسخ است. در نتیجه، اسناد بزرگ به بخش های کوچک تری تقسیم می شوند که به هر یک از آن ها Chunk گفته می شود. سپس مدل تنها Chunkهایی را انتخاب می کند که بیشترین ارتباط را با سؤال کاربر دارند.
برای مثال، فرض کنید مقاله ای با عنوان «مدل های زبانی چگونه منابع را انتخاب می کنند؟» شامل ده بخش مختلف باشد. اگر کاربر تنها درباره Knowledge Graph سؤال کند، مدل معمولاً کل مقاله را بررسی نمی کند، بلکه بخشی را انتخاب می کند که به طور مستقیم درباره Knowledge Graph توضیح داده است. این رویکرد علاوه بر کاهش حجم پردازش، باعث می شود پاسخ نهایی متمرکزتر، دقیق تر و مرتبط تر باشد.
اما انتخاب Chunk تنها بر اساس وجود کلمات کلیدی انجام نمی شود. مدل عواملی مانند ارتباط معنایی، میزان پاسخگویی به سؤال، کامل بودن اطلاعات، جایگاه متن در ساختار محتوا و ارتباط آن با سایر بخش ها را نیز در نظر می گیرد. به همین دلیل، ممکن است یک پاراگراف کوتاه از یک مقاله، ارزش بسیار بیشتری نسبت به چند صفحه متن غیرمرتبط داشته باشد.
یکی از پیامدهای مهم این موضوع برای تولیدکنندگان محتوا آن است که هر بخش از یک مقاله باید بتواند تا حد امکان به صورت مستقل نیز ارزشمند باشد. اگر توضیح یک مفهوم میان چندین پاراگراف پراکنده شده باشد یا برای درک آن لازم باشد خواننده بخش های مختلف مقاله را کنار هم قرار دهد، احتمال اینکه مدل بتواند آن را به عنوان یک Chunk کامل و قابل استفاده انتخاب کند، کاهش می یابد.
به همین دلیل، مقالاتی که ساختار منظم، هدینگ های مشخص، پاراگراف های هدفمند و توضیحات کامل برای هر موضوع دارند، معمولاً شانس بیشتری برای حضور در پاسخ های هوش مصنوعی خواهند داشت.
دیدگاه مدل SAG درباره کشف اطلاعات مرتبط توسط مدل های زبانی
اگر بخواهیم فرآیند پیدا کردن اطلاعات مرتبط توسط مدل های زبانی را از نگاه مدل SAG (Search, AEO, GEO) بررسی کنیم، باید ابتدا یک تغییر اساسی در نگاه خود ایجاد کنیم.
در گذشته، بسیاری از استراتژی های تولید محتوا بر این فرض بنا شده بودند که اگر یک صفحه برای یک کلمه کلیدی مشخص بهینه شود، می تواند در نتایج جستجو جایگاه مناسبی کسب کند. اما در اکوسیستم مدل های زبانی، مسئله دیگر فقط تطبیق یک عبارت با یک صفحه نیست؛ بلکه مسئله اصلی، درک مفهوم سؤال، تشخیص نیاز پشت آن و پیدا کردن بخشی از دانش است که بتواند بهترین پاسخ را ارائه دهد.
از نگاه SAG، رقابت واقعی برندها از جایی آغاز می شود که یک سؤال وارد فرآیند درک معنایی می شود. محتوایی که تنها برای گرفتن رتبه تولید شده باشد، ممکن است در مرحله بازیابی معنایی نتواند ارتباط کافی با نیاز کاربر برقرار کند. اما محتوایی که بر اساس شناخت مخاطب، پوشش جامع موضوع، ارتباط منطقی میان مفاهیم و ساختار صحیح دانش ایجاد شده باشد، شانس بیشتری برای ورود به فرآیند تصمیم گیری مدل های زبانی خواهد داشت.
به همین دلیل، SAG بر این باور است که آینده محتوا از Keyword-Based Content به سمت Intent-Based Content حرکت می کند.
در این رویکرد، هدف تولید یک صفحه برای یک عبارت مشخص نیست؛ بلکه هدف ساختن یک مجموعه دانشی است که بتواند نیازهای مختلف مرتبط با یک موضوع را پوشش دهد.
برای مثال، کاربری که درباره «AI Citation» سؤال می پرسد، ممکن است فقط به دنبال یک تعریف ساده نباشد. او ممکن است بخواهد بداند Citation چیست، چگونه اتفاق می افتد، چه عواملی بر آن تأثیر می گذارند، چگونه می توان احتمال دریافت آن را افزایش داد و چه نمونه هایی در دنیای واقعی وجود دارد.
محتوایی که بتواند این زنجیره نیازها را درک و پوشش دهد، نه تنها برای کاربر ارزشمندتر است، بلکه احتمال بیشتری دارد که از نگاه مدل های زبانی به عنوان یک منبع جامع و قابل اعتماد شناخته شود.
در چارچوب SAG، Intent تنها یک مرحله از تحقیق کلمات کلیدی نیست؛ بلکه یکی از پایه های طراحی سیستم دانش برند است. زیرا کاربران ممکن است یک سؤال مشابه را با هزاران شکل مختلف مطرح کنند، اما هدف پشت این پرسش ها می تواند یکسان باشد.
بنابراین، یک برند نباید فقط برای عبارت های جستجو شده محتوا تولید کند، بلکه باید برای نیازهای واقعی مخاطبان خود دانش ایجاد کند.
البته این موضوع به معنی ساده سازی بیش از حد محتوا نیست. یکی از خطرات تولید محتوای صرفاً Intent محور این است که برای پاسخ سریع به کاربر، عمق علمی، شواهد و ارتباطات دانشی حذف شوند. چنین محتوایی شاید بتواند یک پاسخ کوتاه ارائه دهد، اما ممکن است نتواند جایگاه یک منبع مرجع را به دست آورد.
از نگاه SAG، محتوای ارزشمند باید میان دو موضوع تعادل برقرار کند:
پاسخگویی سریع به نیاز کاربر و ایجاد عمق دانشی برای تبدیل شدن به یک منبع قابل اعتماد.
این همان نقطه ای است که یک محتوای معمولی را از یک دارایی دانشی برای برند جدا می کند.
در مرحله بعد، زمانی که مدل زبانی اطلاعات مرتبط را پیدا می کند، تنها موضوع کلی محتوا اهمیت ندارد؛ بلکه ساختار داخلی اطلاعات نیز اهمیت پیدا می کند. مدل های زبانی ممکن است تمام یک مقاله را به صورت یک واحد یکپارچه بررسی نکنند، بلکه بخش هایی از محتوا را که ارتباط بیشتری با سؤال دارند، استخراج و ارزیابی کنند.
از نگاه SAG، این موضوع اهمیت Chunk Optimization یا طراحی بخش های قابل استخراج محتوا را افزایش می دهد.
در گذشته، تمرکز اصلی بسیاری از استراتژی های محتوا این بود که کل صفحه برای موتور جستجو بهینه شود. اما در عصر مدل های زبانی، هر بخش از محتوا می تواند به تنهایی وارد فرآیند پاسخ دهی شود.
به بیان دیگر، دیگر فقط یک مقاله رتبه نمی گیرد؛ ممکن است یک پاراگراف، یک تعریف، یک جدول، یک توضیح تخصصی یا یک بخش کوچک از دانش شما تبدیل به بخشی از پاسخ هوش مصنوعی شود.
به همین دلیل، در مدل SAG ساختار محتوا اهمیت بیشتری پیدا می کند. هر بخش باید بتواند مفهوم مشخصی را منتقل کند، ارتباط آن با موضوع اصلی روشن باشد و بدون وابستگی شدید به بخش های دیگر، ارزش دانشی داشته باشد.
در نهایت، از دیدگاه SAG، کشف اطلاعات توسط مدل های زبانی تنها یک فرآیند فنی نیست؛ بلکه نتیجه هماهنگی میان چند لایه است:
شناخت نیاز کاربر، ساخت دانش مرتبط، پوشش جامع موضوع، ایجاد ارتباط میان مفاهیم و ارائه اطلاعات به شکلی که هم انسان و هم ماشین بتوانند آن را درک کنند.
به همین دلیل، هدف نهایی SAG این نیست که فقط یک محتوا در نتایج جستجو دیده شود؛ هدف این است که دانش یک برند به شکلی سازمان یافته ساخته شود تا در زمان نیاز، توسط سیستم های هوشمند قابل کشف، قابل فهم و قابل اعتماد باشد.
منابع و مطالعات پیشنهادی
مستندات رسمی
- Google Developers – Search Fundamentals & Documentation
- Anthropic Engineering – Contextual Retrieval
- OpenAI – Retrieval & Knowledge
چارچوب تحلیلی مورد استفاده در این مقاله
SAG Framework (Search, AEO, GEO)
چارچوب پژوهشی توسعه یافته توسط جعفر فرهود برای تحلیل نحوه تولید، سازماندهی، بازیابی، اعتبارسنجی و اثبات دانش در اکوسیستم جستجو و هوش مصنوعی.
