به احتمال زیاد متوجه مفهومی به نام فایل robots.txt شده‌اید. در همان مقالات، بسیاری از شما عزیزان از ما سوال کرده‌اید که این فایل robots.txt چیست و چگونه می توان آن را ساخت؟ یا آیا وجود فایل robots.txt برای سئوی وب سایت ضروری است؟
به دلیل همین سوالات، تصمیم گرفتیم که در این مقاله به شما توضیح دهیم که اصلاً فایل robots.txt چیست و چرا باید از آن استفاده کرد. بنابراین اگر مشتاقید در این باره اطلاعات بیشتری کسب کنید، پیشنهاد می‌کنم این مقاله را تا انتها مطالعه کنید.
همانطور که می‌دانیم موتورهای جستجوگر (گوگل، یاهو و بینگ که صد البته می‌دانیم گوگل از همه مهم‌تر است) جهت یافتن و ایند صفحات وب‌سایت‌ها از ربات‌های مختلف استفاده می کنند. ربات‌های موتورهای جستجوگر (که با نام‌های Crawler یا Spider نیز شناخته می‌شوند) با خزیدن در صفحات وب، اطلاعات مربوط به صفحات مختلف را به دست آورده و برای موتور جستجو ارسال میکنند.
شاید بپرسید که Crawlerهای موتور جستجوگر هر چند وقت یک بار به سایت شما سر می‌زنند؟ خب، باید گفت که این امر به تعداد بروزرسانی وبسایت شما ارتباط مستقیم دارد. هر چه در طول روز تعداد بیشتری مطلب در وب‌سایت‌تان قرار بگیرد، ربات‌های جستجوگر دفعات بیشتری به سایت شما مراجعه میکنند (پیشنهاد می‌کنم مقاله موتورهای جستجو چگونه کار می کنند را مطالعه کنید).
با همه این اوصاف، تمام صفحات یک سایت از درجه اهمیت و امنیت یکسانی برخوردار نیستند. برای مثال بیشتر وب‌مسترها علاقه‌ای ندارند تا پنل مدیریت وب‌سایت‌شان در موتورهای جستجوگر ایندکس شود و در اختیار عموم قرار بگیرد یا اینکه برخی از صفحات سایت‌شان محتوای قابل قبولی ندارد و به همین دلیل ترجیح می‌دهند آن صفحات، تا تکمیل نهایی در موتورهای جستجو ثبت نشوند. در چنین شرایطی تکلیف چیست؟ چگونه میتوان از ورود ربات‌های جستجوگر به این صفحات جلوگیری کرد؟
دقیقاً در همین نقطه است که فایل robots.txt برای کمک وارد میشود.
گاهی اوقات، هنگامی که می خواهیم اطلاعات یک فایل پشتیبان (backup) از پایگاه داده (database) و جدول ها (tables) را وارد (import) کنیم، خطای زیر ایجاد شود :
ایجاد این خطا، به دلیل محدودیت در حداکثر حجم مجاز برای آپلود فایل در PHP می باشد (زیرا ابتدا باید فایل پشتیبان، آپلود شود)، بنابراین با تغییر تنظیمات PHP ، می توان این مشکل را برطرف کرد.
اگر در هاست خود و یا در کامپیوتر خانگی خود (با نرم افزار wampserver)، به myPhpAdmin دسترسی دارید، وارد آن بشوید و سپس گزینه Import را انتخاب کنید. آنگاه در کنار گزینه مربوط به آپلود فایل پشتیبان (backup)، حداکثر حجم برای آپلود فایل ها توسط PHP ، نوشته شده است
اما اگر هم میخواهید مطمئن شوید میتوانید از وبمستر سرور خود بپرسید .
قبل از شروع کار حتما یک نسخه بک آپ از فایلی که هم اکنون در دایرکتوری شما قرار دارد بگیرید
قبل از شروع آموزش بگویم که این آموزش مختص صاحبان وب سایت‌ها هست
و کاربرانی که دارای سایت اختصاصی نیستند نمیتوانند استفاده چندانی از این مطلب بکنند
اما خوب برای اطلاعات عمومی بد نیست به ادامه ان بپردازید .
در این مطلب نگاهی به فایل Htaccess خواهیم داشت و آن را بصورت کامل و نکته به نکته وصف خواهیم کرد.اما در مرحله اول خواهیم گفت که htaccess چیست؟فایل htaccess یک فایل پیکربندی و تنظیماتی در وب سرورهای apache میباشد که، زمانی که یک فایل htaccess را در یک دایرکتوری قرار می‌دهیم این فایل توسط وب سرور apache شناسایی و اجرا میشود.این فایل قادر به تغییر تنظیمات apache وب سرور میباشد که امکانی را در apache فعال یا غیر فعال کند، امکاناتی نظیر تغییر مسیر دادن کاربر (redirect)، تعیین صفحه‌ی ۴۰۴، پسورد گذاشتن بر روی یه شاخه از سایت، بلاک کردن ip و … م یباشد.
جهت دیدن آموزش کامل Htaccess و نکته های آن به ادامه مطلب مراجعه فرمایید
اول لازم است مفهوم ریدایرکت و دلیل آن رابگویم
فرض کنید شما بدلایلی قصد تغییر نرم افزار سایت خودتان را دارید
مثلا یک مهاجرت از جوملا به مامبو
و یا دامنه خود را به دامنه جدیدی تغییر دهید (طوریکه خطای داپلیکیت پیش نیاید)که اصطلاحا domain forwarding هم گفته میشود
خوب حال سوال این است که تکلیف لینکهایی که به سایت شما شده چیست
آیا غیر آنست که گوگل همه را حذف میکند
بله نه تنها حذف میکند بلکه ممکن است شما را جریمه هم بکند(چون کاربران گوگل را به مقصد نرسانده اید)
برای اجتناب از این قضیه شما باید کاربران را به صفحه جدید هدایت کنید
اما همه چیز به اینجا ختم نمی شود
بلکه لازم است به موتورهای جستجو از جمله گوگل چگونگی تغییرات را اعلام کنید (این جزو اصول مهندسی سئو است)
بهترین گزینه ها 302 Redirect و301 Redirect است خوب حالا می رسیم به اصل مطلب یعنی اینکه
فرق ری دایرکت 301 با 302 در مهندسی سئو چیست
وقتی شما قصد دارید برای همیشه کاربران خود را به فرق ریدایرکت 301 و 302 در سئوصفحه دیگری منتقل نمایید از 301 استفاده میشود(مثل دلیل آورده شده مثلا تغییر نرم افزار سایت)
ولی اگر این تغییر موقتی باشد (مثلا دریافت اسپانسری در قبال تغییر کاربران به سایت دیگر به عنوان مثال شما اگر در گوگل عبارات
فهرست معروفترین ارایه کنندگان هاست لینوکس و ویندوز در ایران
را سرچ بزنید در صفحه اول جستجو وقتی برروی سایت www.artk.ir که در نتایج جستجو آمده کلیک کنی بجای getbyhost.ir به یک سایت دیگرمیروید
برای مشاهده عملی جستجوی فوق را در گوگل انجام دهیدو بر روی نتیجه آورده شده در سایت getbyhost.com کلیک نمایید در این جا(getbyhost.com در نتایج جستجوی گوگل مثال گفته شده) شما با هدر 302 به سایت تبلیغ دهنده می روید و چون تبلیغ در دوره کوتاهی اتفاق می افتد از 302 استفاده شده تا ارزش صفحه گفته شده به سایت انتقال داده شده به آن داده نشود
که این عمل اصطلاحا انتقال موقت نامیده میشود اما با کد 301 انتقال بصورت دائمی است
افزونه Web Developer یکی از قوی ترین پلاگین ها در زمینه طراحی وب می باشد. این افزونه یک منو و یک نوار ابزار جدید به مرورگر فایرفاکس اضافه می کند که دارای گزینه های زیادی برای کار با صفحات وب است.
درباره این سایت