WordPress: blokowanie w robots.txt kilku rzeczy

• 26 stycznia, 2012
• Tagi: robots.txt, WordPress

W wielu miejscach i przez wiele osób poruszana jest kwestia bezpieczeństwa WordPressa, ale bardzo mało uwagi poświęcone jest niepozornemu zaganieniu, jakim jest plik robots.txt, który sam z siebie nie poprawia bezpieczeństwa, ale wpływa na to co z naszego serwisu skopiują sobie wyszukiwarki.

Zdaję sobie sprawę, że wyszukiwarki tak naprawdę i tak chodzą po tych miejscach, ale przynajmniej nie prezentują na cały świat zawartości. Zaprezentowany kawałek kodu dodaje do pliku robots.txt wpisy, informujące roboty, której treści serwisu nie publikować.

add_filter( 'robots_txt', 'iworks_filter_robots_txt' );
if ( !function_exists( 'iworks_filter_robots_txt' ) ) {
    function iworks_filter_robots_txt( $robots )
    {
        $entries = array(
            '/.htaccess',
            '/license.txt',
            '/readme.html',
            '*/trackback/',
            '/wp-admin/',
            '/wp-content/languages/',
            '/wp-content/mu-plugins/',
            '/wp-content/plugins/',
            '/wp-content/themes/',
            '/wp-includes/',
            '/wp-*.php',
            '/xmlrpc.php',
        );
        $robots .= "\n";
        foreach ( $entries as $one ) {
            $robots .= sprintf( 'Disallow: %s%s', $one, "\n" );
        }
        return $robots;
    }
}

pobierz plik: iworks_add_to_robots_txt.php

Standardowo należy:

1. ściągnąć plik
2. rozpakować do katalogu wp-content/plugins
3. uruchomić wtyczkę
4. lub rozpakować do katalogu wp-content/mu-plugins i wtedy nie trzeba już jej aktywować, będzie po prostu działać (polecam ten sposób)

• feed z komentarzami
• trackback