Senin, 21 September 2020
Tahun lalu kami merilis parser dan matcher robots.txt, yang kami gunakan dalam sistem produksi, ke dunia open source. Sejak itu, kami melihat banyak orang membuat alat baru menggunakan fitur tersebut, berkontribusi ke library open source (yang secara efektif meningkatkan sistem produksi kami, dan kami berterima kasih karenanya), serta merilis versi bahasa baru seperti golang dan rust, yang memudahkan developer dalam membuat alat baru.
Dengan musim magang yang telah berakhir di Google, kami ingin menyoroti dua rilis baru terkait dengan robots.txt. Kedua rilis ini merupakan karya dari dua magang yang bekerja di tim Open Source Penelusuran, Andreea Dutulescu dan Ian Dolzhanskii.
Pengujian Spesifikasi Robots.txt
Pertama, kami merilis framework pengujian untuk developer parser robots.txt, yang dibuat oleh Andreea. Project ini menyediakan alat pengujian yang dapat memvalidasi apakah parser robots.txt mengikuti Protokol Pengecualian Robot, atau sejauh mana parser tersebut mengikuti protokol ini. Saat ini, tidak ada cara yang resmi dan menyeluruh untuk menilai ketepatan suatu parser, sehingga Andreea menciptakan alat yang dapat digunakan untuk membuat parser robots.txt yang mengikuti protokol.
Parser dan matcher robots.txt Java
Kedua, kami merilis port Java dari parser robots.txt C++ resmi, yang dibuat oleh Ian. Java adalah bahasa pemrograman terpopuler ke-3 di GitHub dan juga digunakan secara luas di Google, jadi tidak heran jika bahasa ini menjadi port bahasa yang paling sering diminta. Parser ini adalah terjemahan one-to-one dari parser C++ dalam hal fungsi dan perilaku, yang keseimbangannya telah diuji secara menyeluruh terhadap sekumpulan besar aturan robots.txt. Beberapa tim telah berencana menggunakan parser robots.txt Java dalam sistem produksi Google, dan kami harap Anda juga akan merasakan manfaatnya.
Seperti biasa, kami menerima kontribusi Anda dalam project ini. Jika Anda membuat sesuatu menggunakan parser robots.txt C++ atau menggunakan rilis baru ini, beri tahu kami agar kami dapat membantu Anda menyebarkan informasi ini. Jika Anda menemukan bug, bantu kami memperbaikinya dengan membuka masalah di GitHub atau langsung berkontribusi dengan permintaan pull. Jika ada pertanyaan atau komentar tentang project ini, hubungi kami di Twitter.
Kami senang sekali dapat memfasilitasi Andreea dan Ian, tetapi sayangnya masa magang mereka sudah berakhir. Kontribusi mereka membantu menjadikan internet sebagai tempat yang lebih baik dan kami berharap dapat menyambut mereka kembali di Google pada masa mendatang.