Pokaż wyniki od 1 do 7 z 7

Wątek: robots.txt czyli ustalanie zezwolen dla botów wyszukiwarek

  1. #1
    Optymista :) Awatar htmlxp
    Dołączył
    Sep 2007
    Posty
    2,095

    Domyślnie robots.txt czyli ustalanie zezwolen dla botów wyszukiwarek

    Często spotykamy sytuacje kiedy musimy zablokować dostęp robotów do katalogu który zawiera treść np. nie związaną z główną tematyką strony, treść która według nas nie powinna być wyświetlana w wynikach wyszukiwania google. Do takich operacji używamy pliku robots.txt który ma się znajdować w głównym katalogu naszej strony np.
    na początek podam treść przykładowego pliku robots.txt
    Kod:
    User-agent: *
    
    Disallow: /mojastrona/
    
    Disallow: /stronakolezanki/
    teraz czas na objaśnienia :
    User-agent: *
    Jest to komenda która mówi o tym że pó??niejsze zezwolenia dotyczą dosłownie wszystkich robotów które odwiedzą stronę, czyli "*" oznacza "wszystkie"
    Disallow: /mojastrona/
    w wolnym tłumaczeniu, dla botów został zablokowany całkowity dostęp do tego katalogu i plików w nim zawartych.

    PRZYK?ADY

    W przypadkach kiedy chcemy zablokować wybrany plik wszystkim wyszukiwarkom to reguła powinna wyglądać tak :
    Kod:
    User-agent: *
    
    Disallow: /mojastrona/plik.html
    należy pamietać o formacie pliku, czyli w tym przypadku .html

    Gdy chcemy zablokować dany obrazek z wyników wyszukiwań images.google.pl reguła powinna wyglądać tak :

    Kod:
    User-agent: Googlebot-Image
    
    Disallow: /mojeobrazki/obrazek.jpg
    czyli jak i w poprzednim przypadku należy pamiętać o odpowiednim formacie pliku,

    Gdy chcemy zablokować pliki formatu np .gif w danym katalogu dla images.google.pl :
    Kod:
    User-agent: Googlebot-Image
    
    Disallow: /mojeobrazki/*.gif$
    Jeśli chcemy zablokować cała stronę dla wszystkich robotów wystarczy w robots.txt umieścić :
    Kod:
    User-agent: *
    Disallow: /
    Jeszcze jeden słynny przykład dodam. Jeśli chcemy by do danego katalogu nie dostawały się wszystkie boty lecz z wyjątkiem bota odpowiedzialnego za adsense, to plik robots.txt powinien wyglądać następująco :

    Kod:
    User-agent: *
    Disallow: /folderprywatny/
    
    User-agent: MediaPartners-Google
    Allow: /folderprywatny/
    Jak sami się domyślamy "Allow" oznacza "zezwolić".

    Dla ciekawskich dodam link do listy botów http://www.spiders.pl/baza-browse.php

    Pozdrawiam htmlxp
    NIE POMAGAM NA GG, jeśeli zostaniesz zablokowany/a to nie miej do mnie pretensji. Zawsze lubię pogadać gdy mam na to czas. GG podaje jedynie do zgłaszania wszelkich problemów z forum jak i jego treści.

  2. #2
    Zarejestrowany Awatar piraci
    Dołączył
    Sep 2007
    Posty
    534

    Domyślnie Odp: robots.txt czyli ustalanie zezwolen dla botów wyszukiwarek

    "w wolnym tłumaczeniu, dla botów został zablokowany całkowity dostęp do tego katalogu i plików w nim zawartych. "
    Należało by dodać że nie wszystkie boty "słuchają" pliku robots.txt , przydało by się też wspomnieć o znaczniku META ROBOTS.

  3. #3
    Optymista :) Awatar htmlxp
    Dołączył
    Sep 2007
    Posty
    2,095

    Domyślnie Odp: robots.txt czyli ustalanie zezwolen dla botów wyszukiwarek

    jak dostalem teraz powiadomienie o nowym poscie w tym temacie to od razu pomyslalem, "jee, przyszedł ten dzien kiedy napisałem jakas kompletną głupote a ktos to przeczytał i teraz smial sie bedzie" hehe ale widac pomylilem sie, do rzeczy

    piraci, ten poradnik jest pisany bardziej pod google i ich boty, napisac o meta tagach ? jak najbardziej, ale juz w innym temacie, ten jest poswiecony tworzeniu robots.txt, a co do tego czy boty są posłuszne plikowi robots.txt czy nie to nie wiem bo nie przyłapałem

    pozdrawiam
    NIE POMAGAM NA GG, jeśeli zostaniesz zablokowany/a to nie miej do mnie pretensji. Zawsze lubię pogadać gdy mam na to czas. GG podaje jedynie do zgłaszania wszelkich problemów z forum jak i jego treści.

  4. #4
    Zarejestrowany Awatar piraci
    Dołączył
    Sep 2007
    Posty
    534

    Domyślnie Odp: robots.txt czyli ustalanie zezwolen dla botów wyszukiwarek

    Htmlxp ja wychodzę z założenia jak coś robić to robić to dobrze czyli wyczerpać temat, a jeżeli o meta w innym temacie to przynajmniej tu wspomnieć .
    PS. Coś ten link na końcu nie działa.

  5. #5
    Zasłużony Awatar karer
    Dołączył
    Apr 2008
    Posty
    2,554

    Domyślnie Odp: robots.txt czyli ustalanie zezwolen dla botów wyszukiwarek

    Wlasnie chyba nie powinno sie wszystkiego na raz dawac do jednego tematu. Zalozenie masz dobre ale meta tagi nie byly tematem tego watku wiec dlaczego o nich pisac? Wystarczy wyczerpac temat z robots.txt i juz mamy wyczerpany temat (beznadziejnie napisane - wiem )

  6. #6
    Zarejestrowany Awatar piraci
    Dołączył
    Sep 2007
    Posty
    534

    Domyślnie Odp: robots.txt czyli ustalanie zezwolen dla botów wyszukiwarek

    Wspomnieć, nie rozpisywać się nie wiadomo jak... Ułatwi to komunikacje na forum, łatwiej znale??ć info poza tym jeżeli mamy edukować to edukować, bynajmniej sam jak kiedyś czytałem takie arty byłem bardzo szczęśliwy gdy widziałem linki do innych równie przydatnych .
    No ale dobra...

  7. #7
    Optymista :) Awatar htmlxp
    Dołączył
    Sep 2007
    Posty
    2,095

    Domyślnie Odp: robots.txt czyli ustalanie zezwolen dla botów wyszukiwarek

    piraci, link nie działa bo i cała strona tamta jak widać wysiadła
    NIE POMAGAM NA GG, jeśeli zostaniesz zablokowany/a to nie miej do mnie pretensji. Zawsze lubię pogadać gdy mam na to czas. GG podaje jedynie do zgłaszania wszelkich problemów z forum jak i jego treści.

Informacje o wątku

Użytkownicy przeglądający ten wątek

Aktualnie 1 użytkownik(ów) przegląda ten wątek. (0 zarejestrowany(ch) oraz 1 gości)

Podobne wątki

  1. Odpowiedzi: 19
    Ostatni post / autor: 27-08-2010, 11:18
  2. Nihil Novi, czyli Witam ;)
    Przez Emhyrus w dziale Przedstaw się
    Odpowiedzi: 12
    Ostatni post / autor: 28-03-2010, 20:55
  3. Czyli wszystko od początku ?
    Przez Widney w dziale Pytania dotyczące silnika Xnova
    Odpowiedzi: 10
    Ostatni post / autor: 27-09-2009, 19:17
  4. Reset gry, czyli rozpoczęcie nowej ery...
    Przez Aelfric w dziale Support Vallheru
    Odpowiedzi: 18
    Ostatni post / autor: 21-05-2008, 21:45

Zakładki

Uprawnienia umieszczania postów

  • Nie możesz zakładać nowych tematów
  • Nie możesz pisać wiadomości
  • Nie możesz dodawać załączników
  • Nie możesz edytować swoich postów
  •