PilgudBrainBot

Kuidas teda ära tunda

Ta esitleb end igas päringus selle user agent'iga:

PilgudBrainBot/0.1 (+https://pilgud.com/bot)

Mõned lehed, mis vajavad kuvamiseks brauserit, loetakse Firecrawli kaudu – see on meie kasutatav kraapimisteenus. Nendel päringutel on Firecrawli enda user agent ja need järgivad samu reegleid, mis allpool.

Mida ta loeb – ja mida mitte

• Ainult avalikke lehti. Ta ei logi kunagi sisse, ei kasuta kellegi teise kontot ega mööda maksumüürist; maksumüüri taga olevast lehest saab ta ainult tutvustuse.
• Turundusteadmisi, mitte inimesi. Ta otsib väiteid turunduse kohta – mis töötab, mis on reeglid, mida numbrid ütlevad. Isikuandmete kogumine pole tema eesmärk ja inimeste nimesid tema õpitu hulka ei salvestata.
• Mitte meie klientide kodulehti. Kliendi enda lehte loetakse ainult kliendi palvel, eraldi teed pidi, ja see ei jõua kunagi ühisesse teadmistebaasi.
• Mitte Meta lehti. Facebooki ja Instagrami lehti ta automaatselt üldse ei loe.

Sinu keeldu austatakse

• robots.txt – alati. Enne millegi laadimist loeb ta sinu robots.txt-i ja järgib seda – nii User-agent: PilgudBrainBot kui ka User-agent: * all. Ta hoiab koopiat kuni 24 tundi, nii et muudatus jõuab temani päeva jooksul. Seda ei saa me välja lülitada.
• Teksti- ja andmekaeve keeld. EL-i autoriõigus (DSM-direktiivi artikkel 4) lubab seaduslikult kättesaadava sisu ärilist teksti- ja andmekaevet, kui õiguste omaja pole seda masinloetaval viisil keelanud. Me käsitleme robots.txt-i keeldu ja TDMRep-keeldu (/.well-known/tdmrep.json) sellise keeluna ja siis me lehte ei kaevanda.

Kui tahad PilgudBrainBoti oma lehelt täiesti eemal hoida, lisa robots.txt-i:

Kui kiiresti ta käib

Korraga kõige rohkem üks-kaks päringut sinu lehele ja meie enda laadijaga vähemalt sekund nende vahel. Väike leht ei pane teda peaaegu tähelegi; kui sinu oma paneb, kirjuta meile ja me aeglustame või lõpetame.

Mida me alles hoiame

• Lehe täisteksti hoiame ainult nii kaua, kui kaeveks vaja: seni, kuni allikas on meie nimekirjas, ja veel 90 päeva. Avatud litsentsiga lehti (näiteks avalikku statistikat) võime hoida kauem.
• Lühikesi tsitaate – lause või kaks, kuni umbes 300 tähemärki – hoiame koos lingiga lehele, et kõik, milleni aju jõuab, oleks tagasi allikani jälgitav.

Kontakt

Midagi on valesti või tahad oma lehe välja jätta ilma robots.txt-i muutmata? Kirjuta info@pilgud.com. Lisame sinu domeeni nimekirja, mida PilgudBrainBot kunagi ei laadi, ja kustutame sinu lehtedest hoitud täisteksti. Pilgud on R.J. RADIANT OÜ toode, Eesti.