Apa itu Googlebot

Apa itu Googlebot

Apa itu Googlebot?

Googlebot adalah webcrawler yang digunakan oleh Google. Digunakan oleh Google untuk menemukan dan merangkum halaman website. Informasi yang dikumpulkan oleh Googlebot digunakan untuk memperbarui daftar indeks Google.

Googlebot mengunjungi miliaran halaman website dan terus-menerus mengunjungi halaman di seluruh jagat internet.

Apa itu Webcrawler?

Webcrawler atau perayap web (juga dikenal sebagai bot, robot, atau spider) adalah jenis perangkat lunak yang dirancang untuk mengikuti link, mengumpulkan informasi, dan kemudian mengirim informasi itu ke suatu tempat.

Apa yang dilakukan Googlebot?

Googlebot mengambil konten halaman web (kata, kode, dan sumber daya yang membentuk halaman web). Jika konten yang diambil memiliki link ke halaman lain, itulah yang dicatat. Kemudian mengirimkan informasi ke Google.

Googlebot dan Website Anda

Informasi yang dikirim Googlebot kembali ke server Google, yang digunakan untuk memperbarui daftar indeks Google. Indeks Google adalah tempat membandingkan dan memperingkat halaman website. Agar halaman web Anda dapat ditemukan di Google, maka halaman website harus terlihat oleh Googlebot. Agar halaman website Anda mendapatkan peringkat yang optimal, semua sumber daya website harus dapat diakses oleh Googlebot.

Perbedaan Googlebot dan Indeks Google

Googlebot

Googlebot bertugas merekam konten dari suatu website. Googlebot tidak menilai konten dengan cara apa pun, hanya mengambilnya. Satu-satunya masalah yang Googlebot miliki adalah “Dapatkah saya mengakses konten ini?” dan “Apakah ada konten lain yang bisa saya akses?”

Indeks Google

Indeks Google meramu konten yang diterimanya dari Googlebot dan menggunakannya untuk memberi peringkat halaman.

Langkah pertama untuk mendapatkan peringkat oleh Google adalah membiarkan Googlebot melihatnya.

Memastikan Googlebot dapat melihat halaman website Anda

Karena Googlebot adalah cara Google memperbarui indeks mereka, penting agar Googlebot dapat melihat halaman Anda. Pertanyaan mendasar pertama yang harus terjawab oleh seorang webmaster adalah …

  1. Dapatkah Googlebot “melihat” halaman saya?
  2. Dapatkah Googlebot mengakses semua konten dan link saya sepenuhnya?
  3. Bisakah Googlebot mengakses semua sumber daya halaman saya?

Mari kita lihat masing-masing yang lebih dekat …

Bisakah Googlebot melihat halaman website saya?

Untuk mendapatkan gambaran tentang apa yang dilihat Google dari situs Anda, lakukan pencarian Google berikut …

site:websiteanda.com

Dengan meletakkan “site:” di depan nama domain Anda, Anda akan meminta Google untuk mencantumkan halaman yang telah diindeks Google untuk website Anda.

Kiat: Pastikan tidak ada spasi di antara “situs:” dan nama domain Anda saat Anda melakukan ini. Berikut ini contoh menggunakan situs ini …

site:kacanegara.com

Jika Anda melihat kurang dari jumlah halaman yang Anda harapkan, Anda mungkin perlu memastikan bahwa Anda tidak memblokir Googlebot dengan file robots.txt Anda (file robots.txt akan dibahas lebih lanjut).

Baca juga:  Cara Link Building Efektif

Dapatkah Googlebot mengakses semua konten dan link saya sepenuhnya?

Langkah selanjutnya adalah memastikan Google melihat konten dan link Anda dengan benar. Hanya karena Googlebot dapat melihat halaman Anda tidak berarti bahwa Google memiliki gambaran yang sempurna tentang apa sebenarnya halaman-halaman itu.

Google mengakses komponen website

Bot Google tidak melihat website dengan cara yang sama seperti manusia. Manusia dapat melihat gambar, tetapi yang dilihat Googlebot hanyalah kode yang memanggil gambar itu. Googlebot mungkin dapat mengakses halaman website itu (file html), tetapi tidak dapat mengakses gambar yang ditemukan di halaman website itu karena berbagai alasan. Dalam skenario itu, indeks Google tidak akan menyertakan gambar itu, yang berarti bahwa Google memiliki pemahaman yang tidak lengkap tentang halaman website Anda.

Bagaimana Googlebot “melihat” halaman website

Googlebot tidak melihat halaman website secara lengkap, hanya melihat masing-masing komponen pendukung halaman itu.

Jika salah satu komponen tersebut tidak dapat diakses oleh Googlebot, maka kemungkinan tidak ada yang dapat dikirim ke indeks Google oleh Googlebot. Untuk menggunakan contoh kami sebelumnya, di sini adalah Googlebot melihat halaman web (html dan css) tetapi tidak melihat gambar.

Google tidak melihat gambar

Bukan hanya gambar. Ada banyak bagian yang menyusun halaman website. Agar Google dapat menentukan peringkat halaman website Anda secara optimal, Google membutuhkan gambaran yang lengkap. Ada banyak skenario di mana Googlebot mungkin tidak dapat mengakses konten web, di sini ada beberapa yang umum.

  • Sumber daya diblokir oleh robots.txt
  • Link halaman tidak dapat dibaca atau salah
  • Ketergantungan yang berlebihan pada Flash atau teknologi lain yang mungkin dipermasalahkan oleh perayap website
  • HTML buruk atau kesalahan pengkodean
  • Tautan dinamis yang terlalu rumit Sebagian besar dari hal-hal ini dapat diperiksa dengan cepat menggunakan alat panduan Google.

Jika Anda memiliki akun Google, gunakan alat “ambil dan render” yang ada di konsol pencarian Google. Alat ini akan memberi Anda contoh langsung dari apa yang dilihat Google untuk setiap halaman.

Bisakah Googlebot mengakses semua sumber daya halaman website saya?

Jika file CSS dan javascript diblokir oleh file robots.txt Anda maka itu dapat menyebabkan beberapa kesalahpahaman yang parah tentang konten halaman web Anda (jauh lebih buruk daripada hanya gambar yang hilang).

Baca juga:  6 Cara Membangun Positioning untuk Channel YouTube

Semakin benar bahwa halaman web mungkin sebenarnya berbeda, atau memiliki konten yang berbeda jika sumber halaman tidak dimuat.

Contoh untuk mengilustrasikan ini adalah halaman tampilan mobile yang menggunakan CSS atau javascript untuk menentukan apa yang akan ditampilkan tergantung pada perangkat apa yang melihat halaman. Jika Googlebot tidak dapat mengakses CSS atau Javascript dari halaman itu, mungkin tidak menyadari bahwa halaman itu bisa diakses secara mobile.

Dalam skenario ini dan yang lain seperti itu, Google akan “melihat” halaman Anda, dan bahkan mungkin memahaminya, tetapi mungkin tidak cukup mengetahuinya untuk menyadari bahwa itu dapat digolongkan dalam banyak skenario lain daripada apa yang disajikan oleh HTML saja.

Bisakah saya mengontrol Googlebot?

Googlebot mengikuti petunjuk yang diterimanya melalui standar robots.txt dan bahkan memiliki cara canggih untuk mengendalikannya yang spesifik Google.

Beberapa cara Anda dapat mengontrol Googlebot adalah …

  • Menggunakan file robots.txt
  • Termasuk instruksi robot dalam metadata halaman web Anda
  • Termasuk instruksi robot di header Anda
  • Menggunakan peta situs (sitemap)
  • Menggunakan konsol pencarian Google

Cara paling umum sejauh ini adalah menggunakan file robots.txt

Apa itu file robots.txt?

File robots.txt mengontrol bagaimana spider search engine seperti Googlebot melihat dan berinteraksi dengan halaman website Anda.

Singkatnya, file robots.txt memberi tahu Googlebot apa yang harus dilakukan ketika mengunjungi halaman Anda dengan mencantumkan file dan folder yang tidak ingin diakses Googlebot.

Peta Situs dan Googlebot

Peta Situs adalah cara yang dapat Anda lakukan untuk membantu Googlebot memahami website Anda, atau seperti yang dikatakan Google …

“Peta situs adalah file tempat Anda dapat mencantumkan laman web situs Anda untuk memberi tahu Google dan mesin telusur lainnya tentang organisasi konten situs Anda. Perayap web mesin telusur seperti Googlebot membaca file ini untuk lebih cerdas merayapi situs Anda.”

Google menyatakan bahwa peta situs paling baik digunakan dalam skenario tertentu, khususnya …

  • Website sangat besar (besar jumlah kontennya).
  • Website Anda memiliki arsip konten website yang besar jumlahnya yang terisolasi atau tidak terhubung satu sama lain.
  • Website Anda baru dan memiliki sedikit tautan eksternal.
  • Website Anda menggunakan konten multimedia, ditampilkan di Google News, atau menggunakan anotasi yang kompatibel dengan peta situs lainnya.
Baca juga:  Layanan Baru: Jasa Penulis Artikel SEO

Peta Situs digunakan untuk banyak hal sekarang, tetapi sejauh Googlebot berjalan, peta situs pada dasarnya membuat daftar url link dan data lain yang dapat digunakan Googlebot sebagai panduan ketika mengunjungi halaman website Anda.

Googlebot dan konsol pencarian Google

Tempat lain yang dapat Anda kontrol Googlebot adalah konsol pencarian Google.

Jika Googlebot mengakses server web Anda terlalu cepat, Anda dapat mengubah laju perayapan.

Anda juga dapat melihat ikhtisar tentang cara Googlebot mengakses website Anda, menguji robots.txt Anda, melihat kesalahan perayapan Googlebot, dan melakukan permintaan “ambil dan render” yang akan membantu Anda memahami bagaimana Google melihat halaman website Anda.

Berapa banyak googlebots / Google webcrawlers yang ada di sana?

Ada sembilan jenis webcrawlers Google yang berbeda.

  • Googlebot (pencarian Google)
  • Google Smartphone
  • Google Mobile (Feature phone)
  • Googlebot Images
  • Googlebot Video
  • Googlebot News
  • Google Adsense
  • Google Mobile Adsense
  • Google Adsbot (pemeriksaan kualitas halaman arahan iklan Anda)

Jika Anda menginginkan detail masing-masing, pastikan untuk mengunjungi laman bantuan perayap Google yang disediakan oleh Google (Ini mencantumkan detail tentang setiap webcrawler yang digunakannya).

Googlebot dan Bahasa / Lokasi

Googlebot Multi Bahasa

Jika halaman Anda menunjukkan bahasa atau konten yang berbeda tergantung pada lokasi atau bahasa permintaan, Googlebot mungkin tidak selalu melihat semua konten Anda (mereka merekomendasikan menggunakan hreflang).

Tetapi artikel ini adalah tentang Googlebot, dan apa yang Googlebot telah mulai lakukan untuk konten berbasis bahasa dan lokasi menarik. Mari lihat…

Googlebot membaca lokasi dan bahasa

Ketika pengguna mengunjungi halaman Anda dan Anda memiliki lokasi atau solusi berbasis bahasa untuk konten yang berbeda maka pengguna di Italia akan melihat konten Italia dan pengguna di Amerika akan melihat konten bahasa Inggris.

Googlebot berbasis di Amerika, jadi bagaimana cara kerjanya? Bagaimana Googlebot akan melihat konten Italia itu

Perayapan lokal

Googlebot menggunakan dua teknik utama (yang Google beri tahu kepada kami) untuk membuat perayapan sadar lokal …

  • Perayapan yang terdistribusi secara geografis: Googlebot tampaknya menggunakan alamat IP yang berbasis di luar AS, selain alamat IP lama yang digunakan Googlebot yang tampaknya berbasis di AS.
  • Perayapan bergantung-bahasa: Googlebot merayapi dengan bidang Bahasa-Terima diatur di header HTTP.

Jadi dengan kata lain, Googlebot menggunakan metode untuk menelusuri website sebagai pengguna dari mana saja, tetapi (dan ini adalah “besar” tetapi), Google masih merekomendasikan menggunakan hreflang.

Tinggalkan Balasan

Alamat email Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *