Kamis, 17 September 2020
Mulai November 2020, Googlebot akan meng-crawl beberapa situs melalui HTTP/2.
Sejak beberapa browser utama mulai mendukung revisi utama HTTP berikutnya, yakni HTTP/2 atau disingkat h2, para profesional web menanyakan apakah Googlebot dapat meng-crawl melalui versi protokol yang diupgrade dan lebih modern.
Hari ini, kami mengumumkan bahwa mulai pertengahan November 2020, Googlebot akan mendukung crawling melalui HTTP/2 untuk situs tertentu.
Apa itu HTTP/2
Seperti yang telah kami sampaikan, ini adalah versi utama HTTP berikutnya, yakni protokol yang utamanya digunakan internet untuk mentransfer data. HTTP/2 jauh lebih tangguh, efisien, dan lebih cepat dari versi sebelumnya berkat arsitektur dan fitur yang diterapkan untuk klien (misalnya browser Anda) dan server. Jika ingin membaca informasi selengkapnya, Anda dapat membuka artikel lengkap kami tentang topik HTTP/2.
Alasan kami melakukan perubahan ini
Secara umum, kami berharap perubahan ini akan membuat crawling lebih efisien dalam hal penggunaan resource server. Dengan h2, Googlebot dapat membuka satu koneksi TCP ke server dan mentransfer beberapa file melalui koneksi tersebut secara paralel dan efisien, tanpa memerlukan beberapa koneksi. Semakin sedikit koneksi yang dibuka, semakin sedikit pula resource yang harus digunakan server dan Googlebot untuk crawling.
Cara kerjanya
Pada fase pertama, kami akan meng-crawl sejumlah kecil situs melalui h2, dan kami akan meningkatkan jumlahnya secara bertahap ke lebih banyak situs yang mungkin memperoleh manfaat dari beberapa fitur awal yang didukung, seperti permintaan multipleks.
Googlebot memilih situs yang akan di-crawl melalui h2 berdasarkan fakta apakah situs tersebut mendukung h2 dan apakah situs dan Googlebot akan mendapatkan manfaat dari crawling melalui HTTP/2. Jika server Anda mendukung h2 dan Googlebot sudah banyak meng-crawl situs tersebut, Anda mungkin sudah memenuhi syarat untuk mendapatkan upgrade koneksi dan tidak perlu mengambil tindakan apa pun.
Tidak perlu khawatir jika server Anda masih menggunakan HTTP/1.1 saja. Tidak ada kekurangan yang signifikan untuk crawling melalui protokol ini; crawling akan tetap sama, baik kualitas maupun kuantitasnya.
Cara memilih tidak menggunakan protokol baru
Pengujian awal kami tidak menunjukkan masalah atau dampak negatif pada pengindeksan, tetapi kami memahami jika, karena berbagai alasan, Anda mungkin tidak ingin situs di-crawl melalui HTTP/2. Jika demikian, Anda dapat menginstruksikan server untuk merespons dengan kode status HTTP 421 saat Googlebot mencoba meng-crawl situs Anda melalui h2. Jika tidak memungkinkan untuk saat ini, Anda dapat mengirimkan pesan ke tim Googlebot (tetapi solusi ini bersifat sementara).
Jika ada pertanyaan lain tentang Googlebot dan HTTP/2, lihat pertanyaan yang mungkin Anda ajukan. Jika pertanyaan Anda tidak tercakup di dalamnya, hubungi kami melalui Twitter dan forum bantuan.
Pertanyaan yang mungkin Anda ajukan
Mengapa Anda mengupgrade Googlebot sekarang?
Software yang kami gunakan untuk memungkinkan Googlebot meng-crawl melalui h2 telah cukup siap, sehingga dapat digunakan dalam produksi.
Apakah saya harus segera mengupgrade server?
Keputusannya ada di tangan Anda. Namun, kami hanya akan beralih ke crawling melalui h2 untuk situs yang mendukungnya dan akan mendapatkan manfaat yang jelas dari crawling ini. Jika tidak ada manfaat yang jelas untuk crawling melalui h2, Googlebot akan terus meng-crawl melalui h1.
Bagaimana cara menguji apakah situs saya mendukung h2 atau tidak?
Cloudflare memiliki postingan blog dengan berbagai metode untuk menguji apakah suatu situs mendukung h2 atau tidak. Anda bisa melihat-lihat di sana.
Bagaimana cara mengupgrade situs saya ke h2?
Hal ini sangat bergantung pada server Anda. Sebaiknya hubungi administrator server atau penyedia hosting Anda.
Bagaimana cara meyakinkan Googlebot untuk menggunakan h2 di situs saya?
Anda tidak dapat melakukannya. Jika mendukung h2, situs akan memenuhi syarat untuk di-crawl melalui h2, tetapi hanya jika hal itu bermanfaat bagi situs dan Googlebot. Jika crawling melalui h2 tidak akan menghasilkan penghematan resource yang signifikan, kami akan terus meng-crawl situs melalui HTTP/1.1.
Mengapa setiap situs yang mendukung h2 tidak di-crawl melalui h2?
Dalam evaluasi kami, crawling melalui h2 hanya memberikan sedikit atau bahkan tidak memberikan manfaat sama sekali bagi situs tertentu (misalnya situs dengan QPS yang sangat rendah). Oleh karena itu, kami memutuskan untuk mengalihkan crawling ke h2 hanya jika ada manfaat yang jelas bagi situs. Kami akan terus mengevaluasi peningkatan performa dan dapat mengubah kriteria kami untuk beralih ke protokol baru pada masa mendatang.
Bagaimana cara mengetahui apakah situs saya di-crawl melalui h2?
Jika situs memenuhi syarat untuk di-crawl melalui h2, pemilik situs yang terdaftar di Search Console tersebut akan menerima pesan yang menyatakan bahwa beberapa traffic crawling mungkin akan dilakukan melalui h2 untuk ke depannya. Anda juga dapat memeriksa log server (misalnya dalam file access.log jika situs Anda dijalankan di Apache).
Fitur h2 mana yang didukung oleh Googlebot?
Googlebot mendukung sebagian besar fitur yang ditawarkan oleh h2. Beberapa fitur seperti server push, yang mungkin berguna untuk rendering, masih dalam tahap evaluasi.
Apakah Googlebot mendukung HTTP/2 teks biasa (h2c)?
Tidak. Situs Anda harus menggunakan HTTPS dan mendukung HTTP/2 agar memenuhi syarat untuk di-crawl melalui HTTP/2. Hal ini sama dengan cara browser modern menanganinya.
Apakah Googlebot akan menggunakan ekstensi ALPN untuk menentukan versi protokol yang akan digunakan untuk crawling?
Negosiasi protokol lapisan aplikasi (ALPN) hanya akan digunakan untuk situs yang di-crawl melalui h2, dan satu-satunya protokol respons yang diterima adalah h2. Jika selama handshake TLS server merespons dengan versi protokol selain h2, Googlebot tidak akan melanjutkan crawl dan kembali ke HTTP/1.1.
Bagaimana fitur h2 lain akan membantu crawling?
Beberapa manfaat yang paling signifikan dari h2 meliputi:
- Koneksi multipleks dan serentak: Semakin sedikit koneksi TCP yang dibuka, semakin sedikit pula resource yang digunakan.
- Kompresi header: Mengurangi ukuran header HTTP secara signifikan akan menghemat resource.
- Server push: Fitur ini belum diaktifkan dan masih dalam tahap evaluasi. Fitur ini mungkin berguna untuk rendering, tetapi kami tidak dapat menyampaikan apa pun secara spesifik untuk saat ini.
Jika Anda ingin mengetahui informasi selengkapnya tentang fitur h2 tertentu dan kaitannya dengan crawling, tanyakan kepada kami melalui Twitter.
Apakah Googlebot akan meng-crawl lebih banyak situs atau meng-crawl lebih cepat melalui h2?
Manfaat utama h2 adalah penghematan resource, baik di sisi server maupun Googlebot. Situs Anda akan tetap diindeks dengan cara yang sama, baik jika menggunakan h1 maupun h2. Oleh karena itu, pilihan ini juga tidak berpengaruh terhadap banyaknya situs yang akan kami crawl.
Apakah ada manfaat peringkat untuk situs yang di-crawl melalui h2?
Tidak.