副業完全ガイドまとめ

もうタイトル通りなんですよ。

ウェブマスターツールことサーチコンソールに「robots.txt取得エラー」が表示されるということは、サイトの死を意味するんです。

なんたって、ページのインデックスがドンドン削除されて行きますからね。洒落になりません。

で、なんと・・・

ここ数日、まさしく私が運営しているサイトの一部がそんな状況でした。

まぁ早い段階で気が付いたので、２～３日で順位も戻り、大きな被害にはならなかったのが不幸中の幸いですね。

と言うわけで、今後アナタが私と同じことにならないよう、「robots.txt取得エラー」のヤバさと、解決策についてシェアしたいと思います。

robots.txtって何？

robots.txtは、「ロボットに向けてのメッセージが書かれたテキスト」です。なんて言っても意味が全くわからないと思うので簡単に解説しておきます。

アナタが運営してるサイトには、多かれ少なかれ毎日のように色んな人がアクセスしてくれてますよね？で、実はアクセスしてくれるのは人だけではなく、複数のロボットもアクセスして来てるんですよ。これが通称、クローラーという奴ですね。

このクローラーの仕事は、web上のサイト情報を収集して自社データベースに持ち帰ることなんです。アナタのサイトがネット上で順位付けされてるのもgoogleクローラーのお陰だったりするんですよ。

で、ここから超重要なんですが、アナタのサイトが順位付けされてるのは、アナタのサイトにgoogleクローラーがアクセスできるからなんです。逆から言えば、googleクローラーがアクセスできないようになってしまうと、googleはサイトの評価が出来なくなってしまうってことですね。

もう気付いたかもしれないですが、robots.txtを利用することで、こっちからロボットであるクローラーに意思表示することができるんですよ。つまり、使い方によってはgoogleクローラーをサイト内に入れなくすることだってできるんです。

『えっ？なんか重要っぽいけど、聞いたことすらないよ！？』と思うかもしれませんね。安心してください。普通にブログやサイトを運営する場合、robots.txtなんて使いませんから。

【robots.txtを使っていない】＝【制限無くアクセスしてOK】なので、通常は全く問題ないんですよ。通常は・・・ね。

はい。というわけで、もうプロレベルにrobots.txtの理解が深まってますんで、次に進めたいと思います。

サイトのインデックス削除ラッシュが止まらない

冒頭でも伝えた通り、ここ数日、私が運営するサイトの一部は、インデックスが次々と削除されるという事態に陥ってました。

当日の衝撃は中々のレベルでしたね。いつも通りコーヒー飲みながらGRCでサイトの順位をチェックしたら、1位から圏外にぶっ飛んでるサイトがいくつかあるわけですから。モチロン、報酬も合わせてガタ落ち。まさに地獄。

例えるなら、小５にもなって、授業中に先生のことを「お母さん」と呼んでしまうくらい地獄です。

こんな地獄すぎる状況でも『絶対に何か原因あるやろ！』と思いながら長時間探ってました。そしたらついに、サーチコンソール上でrobots.txtに問題があるとわかったんです。

5/28から急にrobots.txt取得エラー

ちなみに、さっきも言ったとおりrobots.txtが入って無くても問題ないんですよ。だから私は、基本的に全てのサイトにrobots.txtを入れていないんです。

しかし！いきなり何の前触れもなくこの有様なんです。『え！？急にどしたん！？』と。

『特にrobots.txtを弄ったわけでもない・・・というかrobots.txtすらない。んんん？サーバー側でなんかあった？』と思って調べてみると、予想的中。なんと私が契約してるサーバーが5/28辺りで新しいサーバーに切り替わってたんです。これを期に、通常robots.txtが無くても問題は無いのに、サーバー状況が不安定になったことでrobots.txt取得エラーが頻発してたというわけです。

状況を整理すると、インデックスが削除されまくってたサイト達は”全て同じサーバー”に入ってて、そのサーバーが”新しいサーバーに切り替わったこと”でgoogleクローラーが入れなくなってたってことですね。

今回の事件を解決するために色々と調べて知ったんですが、米googleの偉い人いわく、『通常robots.txtはいらない。でもサーバーが不安定になった時はrobots.txtがないとrobots.txt取得エラーが出てしまう。だからrobots.txtは入れておいた方が安全だろう』ということでした。

と言うわけで、運が悪ければ何かのきっかけで、アナタも私と同じような事態に巻き込まれる可能性もゼロじゃないわけですよ。

なので、その事態を未然に防ぐために、tttが実際にこの事態を解決したrobots.txtを提供するので使ってください。

これをぶち込めば安心！！robots.txtをシェアします

私のように悲しい事態になりたくなければ、このrobots.txtをダウンロードして、アナタのサーバーにアップしておきましょう。

アップロード場所は、ドメイントップでＯＫです。

例えばこのサイトなら、「affiliate-blog7.com」と同じ階層にアップロードすればＯＫですね。サーバーによっては、「affiliate-blog7.com/public_html/」になります。

で、このrobots.txtに書いてる内容なんですが、下記の２行だけなんですよ。

これ、何？って話だと思うので簡単に解説しておくと、「制限なくサイトにアクセスしてＯＫです！」の意味です。

念のため言っておくと、「不正アクセスも大歓迎！！」みたいな話じゃないですよ。クローラーに対して、「このサイトにアクセス制限はございませんので、全てのページをご覧頂いて高評価してくだせぇ！！」って感じですね。

ちなみにこのrobots.txtをぶち込んだことで、状況は落ち着きました。

robots.txt取得エラーはゼロになり、順位も回復しました

備えあれば憂いなし！ということで、是非アナタのサイトにもぶち込んでおきましょう。

最後に

アフィリエイトは未知の連続で、時には解決するために何日も掛かってしまうことってありますよね？

私は今回の事態を解決するために、2日ぐらい費やしました。

でも『また、レベルアップできたなー』と思いましたね。

アナタも新しいことにチャレンジして何日も費やすことがあると思います。

でも、そこを乗り越えた人にしか成長はなく、成功もないということを知ってください。

諦めずに続けると・・・

テレレレーテッテッテーン！！