このブログにボット / クローラーからのアクセスがどの程度発生しいているのかが気になったので確認してみました。
当ブログのアクセスログは蓄積しており、先月ローカルの検証環境にエクスポートしていたので、そのデータを基にして確認しています。
- 期間: 2025-11-01 – 2025-11-18
- 検索条件: User Agent に ‘bot’ を含むデータをボットからのアクセスとする
- 期間内のアクセスログ: 748,386 レコード
アクセスログを確認した結果が次の画像となります。(上位 20 件)
User Agent に「bot」を含むログは、「258,656」レコードとなっており、全体の 34.56%でした。
bot を含む User Agent のアクセス、全体量から考えるとかなり多いですね。
上記の User Agent の内容を確認すると次のようなボット / クローラーからのアクセスとなっているようです。
% は期間内の全体アクセスを母数とし、類似のものは合計したものとなります。
順位はクローラーで集計した際の比率の合計となります。
- OpenAI Crawlers (GPTBot: 6.32% / OAI-SearchBot: 3.07％ / ChatGPT-User: 0.54%): 9.93%
- Bing crawlers (Bingbot): 7.13%
- Ahrefs Bots: 5.68%
- Google Crawlers (Googlebot: 3.51% / Image Googlebot: 1.64%): 5.15%
- SemrushBot: 1.49%
- BLEXBot Crawler: 1.04%
- Anthropic Crawler (ClaudeBot): 0.98%
- Moz: 0.74%
- Slack Robots: 0.69%
- Applebot: 0.61%
- Amazon (Amazonbot): 0.47%
- Awario Crawlers: 0.47%
- Internet Archive: 0.25%
単体で見ると Bingbot が多いですが、OpenAI からのアクセスも全クローラーの合計で見ると比率は多いですね。