Panduan Lengkap untuk Memahami file WordPress robots.txt 2020

Robot.txt adalah alat yang sangat kuat ketika datang ke SEO situs Anda. Ketika Anda mempublikasikan posting Bot mesin pencari merayapi situs Anda untuk pengindeksan. Dan untuk memastikan bahwa situs Anda atau peringkat posting tinggi di Halaman Hasil Mesin Pencari (SERP), Anda perlu membuatnya mudah untuk mesin pencari 'bot' untuk menjelajahi halaman yang paling penting. Dan terstruktur dengan baik robots.txt file akan membantu mengarahkan bot-bot itu ke halaman yang ingin Anda indeks. Di sini posting ini menjelaskan Pentingnya File Robots.txt untuk SEO Anda, dan bagaimana cara membuat file robot txt untuk situs WordPress Anda?

Apa itu robot txt WordPress?

File robots.txt, juga dikenal sebagai protokol atau standar robot pengecualian, yang memungkinkan Anda untuk menolak mesin pencari akses ke file dan folder tertentu. Atau beri tahu web robot (mesin pencari) halaman mana, posting di situs Anda untuk dijelajahi.

Pentingnya File Robots.txt untuk SEO Anda?

Seperti yang dijelaskan sebelumnya file Robots.txt Anda memberi tahu mesin pencari halaman mana yang akan diakses dan diindeks di situs web Anda pada halaman mana yang tidak. Misalnya, jika Anda menentukan dalam file Robots.txt Anda bahwa Anda tidak ingin mesin pencari dapat mengakses halaman umpan balik Anda, halaman itu tidak akan dapat muncul di hasil pencarian dan pengguna web tidak akan dapat menemukannya. Menjaga mesin pencari agar tidak mengakses halaman tertentu di situs Anda sangat penting untuk privasi situs Anda dan juga SEO Anda.

Membuat file robot.txt memiliki dua manfaat utama untuk situs web Anda. Pertama, ini membantu mesin pencari menentukan halaman mana yang Anda inginkan untuk dijelajahi dan yang harus diabaikan. Dengan melakukan itu Anda memastikan bahwa mesin pencari fokus pada halaman yang Anda inginkan untuk menunjukkan kepada audiens Anda. Kedua, ini membantu Anda mengoptimalkan penggunaan penelitian dengan memblokir bot yang tidak perlu membuang sumber daya server Anda.

Di mana robot txt terletak di WordPress?

File ini umumnya terletak di folder root situs Anda. Anda dapat melihat file ini dengan menghubungkan ke situs Anda dengan menggunakan klien FTP. Anda juga dapat melakukannya dengan menggunakan file manager cPanel. Dan Anda dapat membuka file ini dengan menggunakan editor teks biasa seperti Notepad. Ini adalah file biasa dan tidak perlu editor khusus untuk dibuka.

Apakah saya memerlukan file robot txt WordPress?

Secara default, WordPress membuat file robots.txt tetapi tidak dapat diakses sama sekali, dari direktori mana pun.
tetapi jika Anda ingin mengubahnya, Anda harus membuat file sendiri dan mengunggahnya ke folder root sebagai penggantinya.

Bagaimana cara membuat file robot txt?

Membuat file robot txt untuk situs Anda sangat mudah dan sederhana

• Buka Notepad, Microsoft Word atau editor teks apa pun
• Simpan file sebagai ‘robot,’ (pastikan untuk memilih .txt sebagai ekstensi jenis file)
• Selanjutnya, tambahkan dua baris teks berikut ke file Anda:

Agen pengguna: *
Melarang:

'Agen-pengguna' adalah kata lain untuk robot atau spider mesin pencari. Tanda bintang (*) menunjukkan bahwa baris ini berlaku untuk semua laba-laba. Di sini, tidak ada file atau folder yang tercantum dalam baris Disallow, yang menyiratkan bahwa setiap direktori di situs Anda dapat diakses. Ini adalah file teks robot dasar.

Memblokir spider mesin pencari dari seluruh situs Anda juga merupakan salah satu opsi robots.txt. Untuk melakukan ini, tambahkan dua baris ini ke file:

Agen pengguna: *
Larang: /

Jika Anda ingin memblokir laba-laba dari area tertentu di situs Anda, robots.txt Anda mungkin terlihat seperti ini:

Agen pengguna: *
Disallow: / database /
Disallow: / scripts /

Tiga baris di atas memberi tahu semua robot bahwa mereka tidak diizinkan mengakses apa pun di database dan direktori skrip atau sub-direktori.

Note: Perlu diingat bahwa hanya satu file atau folder yang dapat digunakan per baris Disallow. Anda dapat menambahkan sebanyak mungkin garis Larang yang Anda butuhkan.

Pastikan untuk menambahkan file sitemap XML ramah mesin pencari ke file teks robot. Ini akan memastikan bahwa laba-laba dapat menemukan peta situs Anda dan dengan mudah mengindeks semua halaman situs Anda. Gunakan sintaks ini:
Sitemap: http://www.mydomain.com/sitemap.xml

Setelah selesai, simpan dan unggah file robots.txt Anda ke direktori root situs Anda.

www.mydomain.com/robots.txt.

Gunakan Yoast untuk membuat file robots.txt

Plugin SEO seperti Yoast memiliki opsi untuk membuat dan mengedit file robots.txt Anda dari dalam dashboard WordPress Anda.

• Instal Yoast SEO dan arahkan ke halaman Tools di bawah menu SEO.
• Di sini Anda dapat melihat file robots.txt dari situs web / blog Anda.
• Jika Anda tidak memiliki file robots.txt, buat file dengan menekan tombol Buat file robots.txt.

Jika Anda tidak melihat opsi untuk editor file, itu karena Anda telah memperketat keamanan WordPress. Anda dapat mengaktifkan opsi pengeditan file dengan menghapus baris berikut dari file wp-config.php.

define (‘DISALLOW_FILE_EDIT’, true);

File Robot.txt Anda yang ada akan muncul sebagai:

Agen pengguna: *

Larang: /

Jika Anda menggunakan Semua dalam Satu SEO Buka Manajer Fitur halaman di dashboard Anda. Di dalam, Anda akan menemukan opsi yang disebut Robots.txt, dengan mencolok Mengaktifkan tombol tepat di bawahnya.

Apakah Anda memiliki pertanyaan tentang cara mengedit robots.txt di WordPress? Beri tahu kami di bagian komentar di bawah! Baca juga: