# 2017.08.15 更新

# 全てのクローラーを対象
User-agent: *

# Allow: /

Disallow: /data/gtop/test_allpage_crawler.html
Disallow: /data/gtop/link_crawler.html