5 Cara Menyempurnakan Crawling Website untuk Optimasi SEO Website dan Blog

Advertisement

Advertisement

Akizaku.com -  Crawling merupakan istilah yang ada dalam suatu SEO atau tahapan SEO dikarenakan Crawling sendiri sangat berkaitan dengan pencarian data yang ada dalam internet. Milyaran halaman di internet setiap harinya di crawl oleh Google, untuk proses nya seringkali IMERS menyebutnya sebagai Googlebot, spider tot atau spider, bot maupun robot.


Proses Crawling sendiri berpengaruh terhadap proses indeks oleh Google, yang mana ini berpengaruh juga terhadap rangking artikel yang ada pada website kita. Jikasaja rangking artikel yang ada pada website kita ter crawling bagus maka secara bertahap Google akan menampilkan indeks artikel yang paling relevan pada saat itu sehingga nantinya artikel yang ada pada website kita akan terdapat pada halaman pertama (Page One).


Crawling sendiri merupakan suatu algoritma yang dibuat untuk proses indeks suatu situs website dengan menggunakan berbagai halaman yang saling berkaitan dan juga menambahkan sitemap yang ada pada halaman pencarian dari Google yang masih aktif, Crawling sendiri juga bertujuan untuk memperbaharui data dari berbagai miliaran halaman yang ada pada internet, sehingga Google bisa mencatat link website yang sudah tidak aktif, dan berbagai link website baru yang ada di internet, yang nantinya ini akan digunakan untuk penentuan suatu artikel yang dicari pada mesin pencarian Google (article relevant).


Google Search Performance


Image from Google Search Performance



Cara Menyempurnakan Crawling Website Anda

Beberapa teknik crawling yang sangat bagus diterapkan pada website anda adalah mulai dari



1. Memberikan atau Memberitahukan Situs Website anda pada sebuah Google Search Console


Anda bisa memberitahukan Peta situs anda atau alamat situs anda, namun dengan anda hanya memberikan peta situs anda saja, nantinya google akan tetap melakukan crawlink semua link yang ada pada website anda/


Peta Situs atau seringkali disebut dengan Site Map merupakan suatu bagian yang sangat penting dalam proses crawling dikarenakan dengan Indeks sitemap, maka suatu website semua artikelnya akan lebih mudah terindeks oleh Google dengan proses algoritma Google tersebut.


Biasanya pembuatan sitemap bisa dibuat dengan custome code yang seringkali ada di internet, dilanjutkan dengan proses crawling melalui memasukan link sitemap dari website kita kedalam web master Google.



2. Menggunakan URL yang Jelas


URL atau adressed suatu website merupakan suatu bentuk penyederhanaan bahasa yang membuat manusia lebih mudah untuk menghafalnya, bayangkan saja jika manusia diminta untuk menghafal nomer dari suatu situs website maka akan sulit nantinya dalam proses pencarian karena bisasaja terjadi kesalahan dalam pengetikan dan lain lain.


Sehingga URL dibuat untuk menyederhanakan IP suatu situs web menjadi suatu bentuk alfabet atau kata, sehingga pengguna akan lebih mudah menghafalnya, dikarenakan daya tangkap manusia terhadap angka lebih buruk dibandingkan dengan data tangkap manusia yang menghafal suatu kata.


Kata disini yang bisa anda gunakan adalah kata yang mudah untuk dipahami, jangan menggunakan kata yang sulit untuk dieja maupun dilafalkan, sepertihalnya "xjhasasaksasa.com dengan dosenkita.com" anda bisa melihat perbedaan mana yang mudah dan jelas untuk dihafalkan dan mana URL yang sulit untuk dipahami. Sehingga crawling Google lebih ke penggunaan website yang menggunakan URL yang jelas.



3. Menggunakan robot.txt dan Tidak menggunakan robot.txt


Ada perbedaan suatu website menggunakan robot.txt dan tidak menggunakan robot.txt, kelebihan daripada penggunaan robot.txt ini sangatlah banyak mulai dari suatu halaman website kita akan terindeks oleh Google lebih dahulu sampai dengan menghindari adanya trafict flow up sepertihalnya Jiglink, dan DDOS atau trafict yang memberatkan beban server sehingga keamanan menjadi lemah. Robot.txt sendiri ditujukan pada website yang memang sangatlah banyak NV (new visitor) sehingga akan lebih aman jika memakai robot.txt atau kepada website yang seringkali terkena DDOS maupun Jiglink.


Namun dalam hal ini anda bisa menggunakan robot.txt dengan bijak dan tidak ditujukan untuk memblokir suatu materi supaya materi tersebut tidak terindeks dalam indeks Google, sepertihalnya Safe Link yang seringkali dimanfaatkan oleh sebagian orang untuk memberikan indeks pada Google hanya pada halaman tersebut saja, sedangkan untuk halaman utama tidak dimuat adanya robot.txt untuk meminimalisir suatu dampak yang bisa saja diberikan oleh Google sepertihalnya Banned, Suspend, ataupun terkena Sandbox.



4. Menggunakan href lang atau a href language, Untuk Mengarahkan Suatu Halaman Website ke Halaman Website Alternatif


Jika anda membuat suatu artikel dalam bahasa indonesia sedangkan banyak dari pengunjung (visitors) website anda adalah kebanyakan dari IP luar negeri maka anda bisa menggunakan hreflang untuk memberikan pengalaman pengguna yang baik, dengan menggunakan hreflang maka pengunjung dari website anda akan lebih puas karena artikel yang disediakan akan sama dengan bahasa yang mereka gunakan.



5. Melihat Hasil Crawling Indeks Website Anda


Dengan sering anda melihat hasil indeks atau kemajuan indeks dari website anda terhadap crawling yang dilakukan oleh Google pada google search console, anda akan bisa lebih mengoptimasi bagian mana yang menyebabkan kurang sempurnanya indeks artikel yang ada pada website anda, sehingga nantinya setelah anda mengoptimalkan crawling yang dilakukan oleh Google artikel dari website anda nantinya bisa sampai ke halaman pertama (Page One)