Pertempuran Digital: Pengembang Open Source vs AI Crawlers yang Rakus
Dalam beberapa bulan terakhir, komunitas pengembang open source menghadapi tantangan besar dari AI crawlers yang agresif dalam mengumpulkan data dari repositori kode mereka. Perusahaan teknologi besar menggunakan AI crawlers untuk mengakses dan mengumpulkan kode sumber guna melatih model kecerdasan buatan mereka. Namun, banyak pengembang merasa bahwa praktik ini tidak etis dan merugikan ekosistem open source. Serangan AI Crawlers yang Meresahkan Sejumlah platform pengembangan seperti GitHub dan SourceHut melaporkan lonjakan lalu lintas dari AI crawlers yang mengabaikan aturan yang ditetapkan dalam robots.txt . File ini biasanya digunakan untuk memberi petunjuk kepada bot agar tidak mengakses bagian tertentu dari sebuah situs web. Namun, beberapa perusahaan AI tetap melakukan crawling tanpa izin, menyebabkan beban besar pada server dan memperlambat layanan. Drew DeVault, pendiri SourceHut, mengungkapkan bahwa crawling masif dari AI crawlers mengakibatkan perlambatan sistem dan gangguan ...