User-agent: *
Allow: /

# サイトマップ
Sitemap: https://avdouga-correct.net/sitemap.xml

# クロール頻度の制御（深いページネーション）
# 10ページ以降はクロールを制限
Disallow: /*?page=1[0-9]
Disallow: /*?page=2[0-9]
Disallow: /*?page=3[0-9]
Disallow: /*?page=[4-9][0-9]
Disallow: /*?page=[1-9][0-9][0-9]

# 不正なURLパターンのクロールを禁止
Disallow: /actress/*/page/
Disallow: /genre/*/page/
Disallow: /maker/*/page/
Disallow: /label/*/page/
Disallow: /series/*/page/

# pageパラメータに不正な値が含まれるパターンを禁止
Disallow: /*?page=*/
Disallow: /*?page=*/*
Disallow: /?page=*/

# 重複コンテンツを防ぐ
Disallow: /*?*&page=
Disallow: /*?*page=*&
Disallow: /*?page=*&*

# 検索結果ページのパラメータ制限
Disallow: /*?*sort=
Disallow: /*?*order=

# 管理ディレクトリ
Disallow: /cron/
Disallow: /lib/
Disallow: /tag/

# Googlebot専用設定
User-agent: Googlebot
Allow: /
Crawl-delay: 0

# 不正なURLパターンのクロールを禁止
Disallow: /actress/*/page/
Disallow: /genre/*/page/
Disallow: /maker/*/page/
Disallow: /label/*/page/
Disallow: /series/*/page/

# 重複コンテンツを防ぐ
Disallow: /*?*&page=
Disallow: /*?*page=*&