به گزارش خبرآنلاین، به نقل از دیجیاتو، امروزه، ما با یک صفحه سفید و یک نوار جستجوی ساده خو گرفته‌ایم که در کسری از ثانیه، پاسخ هر سوالی را از میان میلیاردها صفحه وب بیرون می‌کشد. اما پیش از آنکه گوگل (Google) در سال 1998 با الگوریتم جادویی «پیج‌رنک» (PageRank) خود، نظم را به این هرج‌ومرج بیاورد، جستجو در اینترنت یک ماجراجویی واقعی، خسته‌کننده و گاهی ناامیدکننده بود. در آن روزها، پیدا کردن اطلاعات نیازمند دانستن آدرس‌های دقیق (URL) یا تکیه بر لیست‌های دست‌نویس و دهان‌به‌دهان بود.

این مقاله، یک سفر در زمان به دوران پیشا-گوگل است؛ به دورانی که صدای خراشیده مودم‌های دایال‌آپ (Dial-up) موسیقی متن ورود به دنیای دیجیتال بود و مهندسان جوان در دانشگاه‌های مختلف جهان، در حال ساختن اولین چراغ‌قوه‌ها برای روشن کردن این تاریکی بی‌انتها بودند. از آرچی تا آلتاویستا، بیایید ببینیم انسان‌ها در دهه 90 چگونه راه خود را در اینترنت پیدا می‌کردند.

آرچی (Archie): تولد اولین جستجوگر در زیرزمین دانشگاه مک‌گیل

تاریخچه جستجو در اینترنت با وب شروع نمی‌شود، بلکه به دوران پیش از اختراع شبکه جهانی وب (WWW) برمی‌گردد. در سال 1990، آلن امتیج (Alan Emtage)، یک دانشجوی کارشناسی ارشد در دانشگاه مک‌گیل (McGill) در مونترال کانادا، وظیفه داشت تا فایل‌های نرم‌افزاری را برای دپارتمان کامپیوتر پیدا کند.

در آن زمان، اطلاعات روی سرورهای FTP (پروتکل انتقال فایل) ذخیره می‌شدند. اگر فایلی را می‌خواستید، باید می‌دانستید دقیقاً روی کدام سرور قرار دارد. امتیج که از جستجوی دستی در میان سرورها خسته شده بود، برنامه‌ای نوشت که شبانه‌روز به سرورهای مختلف متصل می‌شد، لیست فایل‌های آن‌ها را می‌خواند و در یک پایگاه داده مرکزی ذخیره می‌کرد. او نام این ابزار را «آرچی» (Archie) گذاشت که در واقع مخفف کلمه Archive (آرشیو) بود که حرف v از آن حذف شده بود.

آرچی محتوای داخل فایل‌ها را نمی‌خواند، بلکه فقط نام آن‌ها را فهرست می‌کرد. با این حال، همین گام کوچک، انقلابی بزرگ بود. آرچی اولین موتور جستجوی جهان لقب گرفت و به کاربران اجازه داد به جای گشتن کورکورانه، نام یک فایل را جستجو کنند و آدرس سرور آن را بیابند.

گوفر (Gopher) و ورونیکا (Veronica): شوخی‌های کمیک در دنیای آکادمیک

در سال 1992، دانشگاه مینه‌سوتا پروتکلی به نام گوفر (Gopher) را معرفی کرد. گوفر یک سیستم منو-محور بود که اسناد متنی را در اینترنت سازماندهی می‌کرد. اما با گسترش سرورهای گوفر، پیدا کردن اطلاعات در آن‌ها دوباره سخت شد.

اینجا بود که مهندسان دانشگاه نوادا ابزاری برای جستجو در سیستم گوفر ساختند و در یک حرکت طنزآمیز، در پاسخ به موتور جستجوی آرچی، نام آن را ورونیکا (Veronica) گذاشتند! (آرچی و ورونیکا نام شخصیت‌های یک مجموعه کمیک‌بوک بسیار معروف آمریکایی به نام Archie Comics هستند). ورونیکا مخفف عبارت طولانی و به شدت مهندسی‌شده Very Easy Rodent-Oriented Net-wide Index to Computerized Archives بود. مدت کوتاهی بعد، ابزار دیگری برای جستجو در گوفر ساخته شد که جاگ‌هد (Jughead) نام گرفت تا پازل شخصیت‌های کمیک‌بوک آرچی در تاریخ اینترنت تکمیل شود.

ورود به عصر وب: وندکس (Wandex) و ظهور خزندگان دیجیتال

با معرفی شبکه جهانی وب توسط تیم برنرز-لی، اینترنت از حالت متن‌های ساده و لیست‌های FTP خارج شد و مفهوم «لینک دادن» (Hyperlink) شکل گرفت. در سال 1993، متیو گری (Matthew Gray) در موسسه فناوری ماساچوست (MIT)، اولین ربات وب یا خزنده‌ (Crawler) را با نام World Wide Web Wanderer طراحی کرد.

هدف اولیه این ربات، فقط اندازه‌گیری وسعت وب بود، اما به زودی ابزاری به نام وندکس (Wandex) از داده‌های آن برای ایجاد یک فهرست قابل جستجو استفاده کرد. تقریباً در همان زمان، Aliweb (اولین موتور جستجوی اختصاصی وب) نیز متولد شد، اما به دلیل نیاز به ثبت دستی سایت‌ها توسط مدیران، نتوانست مقیاس‌پذیر شود.

سال 1994 یک نقطه عطف تاریخی بود. تا پیش از این، موتورهای جستجو فقط نام فایل‌ها یا عناوین صفحات (Title) را ایندکس می‌کردند. اگر کلمه مورد نظر شما در متن مقاله بود اما در عنوان ذکر نشده بود، هرگز آن را پیدا نمی‌کردید.

برایان پینکرتون (Brian Pinkerton)، دانشجوی دانشگاه واشنگتن، موتور جستجوی WebCrawler را در بهار 1994 راه‌اندازی کرد. این اولین موتور جستجویی بود که می‌توانست تمام کلمات داخل یک صفحه وب (Full-text search) را ایندکس کند. این تکنولوژی چنان محبوب شد که در روزهای اول، سرورهای دانشگاه زیر بار ترافیک کاربران از کار افتادند. وب‌کراولر استانداردی را تعریف کرد که تا به امروز اساس کار تمام موتورهای جستجو است.

دایرکتوری یاهو (Yahoo! Directory): انسان‌ها در برابر ماشین‌ها

در اواخر سال 1994، دو دانشجوی دکتری در دانشگاه استنفورد به نام‌های جری یانگ (Jerry Yang) و دیوید فیلو (David Filo)، متوجه شدند که پیگیری سایت‌های جذاب در اینترنت بسیار سخت شده است. آن‌ها شروع به دسته‌بندی سایت‌های مورد علاقه خود در یک لیست سلسله‌مراتبی کردند. این لیست که ابتدا «راهنمای جری و دیوید برای شبکه جهانی وب» نام داشت، خیلی زود تغییر نام داد و یاهو (Yahoo) متولد شد.

یاهو در واقع مخفف Yet Another Hierarchical Officious Oracle (یک اوراکل رسمی و سلسله‌مراتبی دیگر) بود. نکته جالب اینجا بود که یاهو در ابتدا یک موتور جستجوی ماشینی نبود! آن‌ها ارتشی از ویراستاران انسانی را استخدام کردند تا سایت‌ها را بررسی کنند و در دسته‌بندی‌های مشخص (مانند ورزش، هنر، تکنولوژی) قرار دهند. در دهه 90، مردم برای جستجو در اینترنت از الگوریتم‌ها استفاده نمی‌کردند، بلکه در دسته‌بندی‌های یاهو «وب‌گردی» (Surfing) می‌کردند. این رویکرد انسانی، یاهو را به پادشاه بلامنازع اینترنت در دهه 90 تبدیل کرد.

آلتاویستا (AltaVista): غولی که می‌توانست گوگل باشد

اگر یک موتور جستجو وجود داشته باشد که بتوان آن را نماد قدرت مهندسی در اواسط دهه 90 دانست، آن قطعا آلتاویستا (AltaVista) است. در دسامبر 1995، شرکت قدرتمند تجهیزات دیجیتال (DEC) این موتور جستجو را به عنوان یک پروژه جانبی برای نمایش قدرت سوپرکامپیوترهای سری Alpha خود راه‌اندازی کرد.

آلتاویستا فراتر از زمان خود بود. این موتور جستجو با سرعت سرسام‌آوری میلیاردها صفحه را ایندکس می‌کرد. برای اولین بار، ویژگی‌هایی مانند جستجوی چندزبانه (Multilingual) و امکان استفاده از عملگرهای منطقی (مانند AND و OR) در اختیار کاربران عادی قرار گرفت. آلتاویستا حتی در سال 1997 ابزار Babel Fish را معرفی کرد که اولین سیستم ترجمه ماشینی آنلاین متون در اینترنت بود.

این سایت در اوج قدرت خود روزانه بیش از 80 میلیون بازدید داشت. اما سرنوشت آلتاویستا با تصمیمات اشتباه مدیریتی گره خورد. در زمانی که باید روی بهبود جستجو تمرکز می‌کردند، سعی کردند به یک پورتال همه‌کاره (شبیه یاهو) تبدیل شوند و صفحه اصلی خود را پر از اخبار، ایمیل و تبلیغات آزاردهنده کردند. همین شلوغی و کندی باعث شد تا کاربران به محض ورود یک رقیب خلوت‌تر و هوشمندتر، آلتاویستا را برای همیشه ترک کنند.

ازک جیوز (Ask Jeeves): رویای جستجوی محاوره‌ای

در سال 1996، ایده جالبی شکل گرفت: چه می‌شد اگر به جای تایپ کردن کلمات کلیدی خشک، می‌توانستیم سوالات خود را مانند یک انسان بپرسیم؟ Ask Jeeves با یک رابط کاربری که یک پیشخدمت بریتانیایی (Jeeves) را نشان می‌داد، پا به عرصه گذاشت. شما می‌توانستید بپرسید: «آب‌وهوای لندن امروز چگونه است؟» و این سیستم سعی می‌کرد با پردازش زبان طبیعی (NLP) پاسخ را پیدا کند. اگرچه فناوری آن زمان برای درک کامل زبان انسان هنوز ضعیف بود، اما Ask Jeeves پیش‌گام ایده‌ای شد که امروز در دستیارهای صوتی به بلوغ رسیده است.

تغییر پارادایم: پایان یک دوران و ظهور الگوریتم‌های هوشمند

با نزدیک شدن به اواخر دهه 90، وب به قدری بزرگ شده بود که موتورهای جستجوی متکی بر کلمات کلیدی (Keyword-based) و دایرکتوری‌های انسانی فلج شده بودند. اگر شما کلمه “دانشگاه” را جستجو می‌کردید، موتورهای آن زمان نمی‌دانستند سایت رسمی دانشگاه هاروارد را نشان دهند یا وبلاگ یک دانش‌آموز را که کلمه “دانشگاه” را 100 بار در آن تکرار کرده بود.

این مشکل در سال 1998 توسط لری پیج و سرگی برین حل شد. گوگل با اختراع الگوریتم PageRank، به جای شمردن کلمات، به «اعتبار» سایت‌ها بر اساس لینک‌های ورودی نگاه کرد. با ورود گوگل، صفحه اصلی شلوغ اینترنت با یک صفحه کاملاً سفید و یک لوگوی رنگی جایگزین شد و عصر طلایی موتورهای اولیه به پایان رسید.

هوش مصنوعی: پایان عصر جستجوی کلیدواژه‌ای

تاریخ همیشه در حال تکرار است. همان‌طور که گوگل با الگوریتم‌های هوشمندتر خود به دوران موتورهای جستجوی مکانیکی دهه 90 پایان داد، امروز ما در آستانه یک تغییر پارادایم دیگر هستیم. با ظهور هوش مصنوعی مولد (Generative AI) و ابزارهایی مانند ChatGPT، Perplexity و موتورهای جستجوی مبتنی بر هوش مصنوعی، مفهوم «جستجو» به طور بنیادین در حال تغییر است. ما دیگر لیستی از لینک‌های آبی را زیر و رو نمی‌کنیم تا خودمان اطلاعات را استخراج کنیم؛ بلکه هوش مصنوعی میلیون‌ها سند را در کسری از ثانیه می‌خواند، تحلیل می‌کند و یک پاسخ مستقیم، محاوره‌ای و شخصی‌سازی‌شده به ما ارائه می‌دهد. عصر طلایی موتورهای جستجوی سنتی، جای خود را به عصر «موتورهای پاسخ‌دهی» و استدلال ماشینی می‌دهد.

۵۸۵۸