WordPress: blokowanie w robots.txt kilku rzeczy

W wielu miejscach i przez wiele osób poruszana jest kwestia bezpieczeństwa WordPressa, ale bardzo mało uwagi poświęcone jest niepozornemu zaganieniu, jakim jest plik robots.txt, który sam z siebie nie poprawia bezpieczeństwa, ale wpływa na to co z naszego serwisu skopiują sobie wyszukiwarki.

Zdaję sobie sprawę, że wyszukiwarki tak naprawdę i tak chodzą po tych miejscach, ale przynajmniej nie prezentują na cały świat zawartości. Zaprezentowany kawałek kodu dodaje do pliku robots.txt wpisy, informujące roboty, której treści serwisu nie publikować.

add_filter( 'robots_txt', 'iworks_filter_robots_txt' );
if ( !function_exists( 'iworks_filter_robots_txt' ) ) {
    function iworks_filter_robots_txt( $robots )
    {
        $entries = array(
            '/.htaccess',
            '/license.txt',
            '/readme.html',
            '*/trackback/',
            '/wp-admin/',
            '/wp-content/languages/',
            '/wp-content/mu-plugins/',
            '/wp-content/plugins/',
            '/wp-content/themes/',
            '/wp-includes/',
            '/wp-*.php',
            '/xmlrpc.php',
        );
        $robots .= "\n";
        foreach ( $entries as $one ) {
            $robots .= sprintf( 'Disallow: %s%s', $one, "\n" );
        }
        return $robots;
    }
}

[zip href="http://iworks.pl/wp-content/uploads/2012/01/iworks_add_to_robots_txt.php_.zip"]iworks_add_to_robots_txt.php[/zip]

Jak użyć podany kod?

Masz 3 rozwiązania:

wrzuć załączony plik do folderu wp-content/plugins, a potem włącz wtyczkę
wrzuć załączony plik do folderu wp-content/mu-plugins
dołącz kod do pliku functions.php aktualnie używanego motywu

Komentarze

Lub:
Takie same regułki można dodać bezpośrednio w pliku robots.txt lub z poziomu „Narzędzi Dla Webmasterów”.

Np. coś w tym stylu:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

[…] tych postawionych na WordPressie. Marcin Pietrzak na iWorks podaje gotową receptę na plik robots.txt. Odpowiednio przygotowany plik zawiera instrukcje dla […]

No właśnie, czemu to jest zrobione jako pligin, a nie plik robots.txt do podmiany?

Oczywiście, że można jako plik robots.txt, ale większość użytkowników raczej nie dotyka się do plików.

Dzięki wielkie. Świetny sposób dla laika. Polecam.

Ja osobiście jestem za taką forma pomocy, nie wszystko trzeba rozumieć, ale ważne żeby działało.

To działa i dodatkowo chroni, ode mnie podziękowania i ukłon :)