티스토리 robots.txt 경고, 수정 못 해도 괜찮은 이유

블로그 운영하다 보면 어느 날 갑자기 Google Search Console에서 robots.txt 경고가 떠서 “이거 수정해야 하나?” 하고 멈칫할 때가 있죠. 저도 이번에 “Googlebot에서 무시되는 규칙”이라는 문구를 보고, 혹시 색인(노출)에 문제 생기는 건가 싶어서 하나씩 확인해봤습니다.

 

결론부터 말하면, 이 경고는 치명적인 오류가 아니라 안내에 가깝고, 티스토리에서는 수정/삭제를 못 하는 구조인 경우가 많아요. 오늘 글은 제가 어떤 순서로 접근했고, 뭐가 “아닌 것”이었고, 마지막에 왜 신경 안 써도 되는지까지 깔끔하게 정리해보겠습니다.

📋 목차

• robots.txt 경고가 뭔데? (무슨 의미?)
• 어디서 확인했나: 구글·네이버에서 본 내용
• 삭제하려고 어디까지 들어갔나: 티스토리 관리자 접근
• “아닌 것” 정리: images/robots.txt의 함정
• 결론: 결국 신경 안 써도 되는 이유
• 자주 묻는 질문(FAQ)

robots.txt 경고가 뭔데? (무슨 의미?)

먼저 robots.txt는 검색엔진 크롤러(예: Googlebot, bingbot)에게 “이 사이트에서 어떤 경로(URL)를 수집(크롤링)해도 되는지 / 하지 말아야 하는지”를 알려주는 규칙 파일입니다. 보통 블로그 루트 주소에 /robots.txt로 존재해요.

✅ 예) robots.txt 기본 주소
https://내도메인/robots.txt

그런데 저는 Google Search Console에서 robots.txt를 확인하다가, 아래처럼 “Googlebot에서 무시되는 규칙”이라는 경고(주의) 문구를 보게 됐습니다.

⚠️ Googlebot에서 무시되는 규칙
robots.txt 안에 Google이 해석하지 않는(지원하지 않는) 문장이 포함되어 있습니다.

제가 확인한 robots.txt 내용 중, 문제처럼 보였던 줄은 보통 이런 형태였습니다.

User-agent: bingbot Crawl-delay: 20

여기서 핵심은 딱 하나예요.

핵심 정리
Crawl-delay는 Bing(빙) 등 일부 검색엔진이 “크롤링 속도를 조절”할 때 참고하는 규칙이고,
Googlebot은 이 규칙을 지원하지 않아 그대로 무시합니다.
그래서 Google은 “이 줄은 내가 안 읽어”라는 의미로 경고(주의)를 표시하는 경우가 많습니다.

즉, 이 메시지는 보통 “robots.txt 자체를 못 읽는다” 같은 치명적인 오류가 아니라, 특정 문장(Crawl-delay)이 Google 기준에서는 의미가 없다는 안내에 가깝습니다.

어디서 확인했나: 구글·네이버에서 본 내용

저는 먼저 “진짜 robots.txt가 뭔지”부터 확인했습니다. 확인한 곳은 아래 두 군데였어요.

• Google Search Console → 설정 → robots.txt
• 네이버 서치어드바이저 → 검증 → robots.txt

✅ 두 도구의 공통점
둘 다 “내가 임의로 만든 화면”이 아니라,
검색엔진이 실제로 사이트에서 가져온 /robots.txt 내용을 보여주는 확인(검증) 화면입니다.

즉, 두 곳에서 같은 내용이 보인다면 “robots.txt가 실제로 그렇게 제공되고 있다”는 뜻이고, 저는 여기서 자연스럽게 다음 질문으로 넘어가게 됐습니다.

“그럼 이 줄(bingbot + Crawl-delay)을 어디서 삭제해야 하지?”

삭제하려고 어디까지 들어갔나: 티스토리 관리자 접근

robots.txt에 문제가 있어 보이니, 다음 단계는 자연스럽게 “그럼 이 파일을 어디서 수정하지?”라는 생각이었습니다. 티스토리를 오래 써보신 분들이라면 보통 아래 경로를 먼저 떠올리게 됩니다.

티스토리 관리자 경로
관리자 → 꾸미기 → 스킨 편집 →
└ HTML 편집 / CSS 편집 / 파일업로드

그래서 저는 순서대로 하나씩 확인해봤어요.

• HTML 편집 탭에서 robot, robots, bingbot 같은 키워드로 전체 검색
• CSS 편집에서도 혹시 주석 형태로 들어간 게 있는지 확인
• 마지막으로 파일업로드 탭에서 robots.txt 파일 존재 여부 확인

하지만 결과는 같았습니다.
검색엔진이 읽는 경로(/robots.txt)에 해당하는 파일이 관리자 화면 어디에도 존재하지 않았습니다.

여기서 중요한 사실 하나를 알게 됩니다.

정리
티스토리 블로그는 경우에 따라
블로그 루트의 /robots.txt를 사용자가 직접 파일로 관리하지 않고,
티스토리 서버에서 기본 robots.txt를 자동 제공하는 구조를 사용합니다.

즉, “못 찾은 게 아니라”,
원래 수정할 수 있는 파일이 없는 상태였던 겁니다.

“아닌 것” 정리: images/robots.txt의 함정

이 과정에서 정말 헷갈릴 수 있는 포인트가 하나 더 나옵니다. 파일업로드 목록을 보다 보면, images/robots.txt 같은 파일이 보일 수도 있어요.

 

저 역시 처음에는 “아, 이게 robots.txt구나?” 하고 착각할 뻔했습니다.

하지만 이건 “진짜 robots.txt”가 아닙니다.

파일업로드의 robots.txt

검색엔진이 robots 규칙을 읽는 주소는 오직 하나입니다.

https://내도메인/robots.txt

반면, 파일업로드에 보이는 /images/robots.txt는 경로 자체가 완전히 다릅니다.

📌 경로 차이 정리
/robots.txt → 검색엔진이 읽는 규칙 파일
/images/robots.txt → 스킨에서 사용하는 일반 파일

✅ 따라서 images/robots.txt는
- 검색엔진 크롤링 규칙으로 사용되지 않고
- 수정하거나 삭제해도 SEO·색인·노출에 영향이 없으며
- 스킨 리소스 파일일 뿐입니다.

이 지점에서 확실해졌습니다. 내가 보고 있던 robots.txt 경고는 “고쳐야 할 파일이 있어서 생긴 문제”가 아니라, 티스토리 구조상 기본 제공되는 robots.txt에 대한 안내 메시지였다는 점입니다.

결론: 결국 신경 안 써도 되는 이유

여기까지 하나씩 확인해보면 결론은 꽤 명확해집니다. 처음엔 “이거 큰 문제 아닌가?” 싶었지만, 실제로는 구조를 알면 불안해할 이유가 없는 케이스였어요.

결론 3줄 요약
1) 구글의 robots.txt 경고는 오류(Error)가 아니라 “구글이 무시하는 규칙이 있다”는 안내 메시지
2) 티스토리는 블로그 루트(/robots.txt)를 사용자가 직접 수정·삭제하지 못하는 구조인 경우가 많음
3) 그래서 이번 케이스는 그냥 두는 게 정답이며, 노출·애드센스에 치명적인 영향은 없음

오히려 지금 단계에서 더 중요한 건 robots.txt 한 줄이 아니라, 실제로 내 글이 검색엔진에 잘 잡히고 있는지입니다.

🔎 지금 더 신경 써야 할 우선순위
- 새 글이 색인(Index)에 정상적으로 등록되는지
- 사이트맵 제출이 되어 있는지
- 제목·본문·내부링크 같은 글 내부 SEO가 탄탄한지

robots.txt 경고는 “한 번 보고 구조만 이해하면 끝”인 이슈에 가깝습니다. 여기에 시간을 너무 쓰기보다는, 콘텐츠 자체의 품질과 검색 흐름에 집중하는 게 훨씬 효율적이에요 🙂

자주 묻는 질문(FAQ)

Q1. “Googlebot에서 무시되는 규칙”은 검색 순위에 불이익이 있나요?

아닙니다. 이 문구는 “구글이 이해하지 않는 문장이 robots.txt에 있다”는 정보성 안내에 가깝습니다. 패널티나 순위 하락과 직접적으로 연결되지는 않습니다.

Q2. Bing용 규칙(Crawl-delay)이 있으면 Google 노출이 막히나요?

아닙니다. Crawl-delay는 Bing 등 일부 검색엔진에서만 참고하는 옵션이고, Google은 이를 그냥 무시합니다. “차단”이나 “제한” 개념과는 다릅니다.

Q3. robots.txt를 직접 수정하면 이 경고를 없앨 수 있나요?

일반적인 티스토리 블로그에서는 /robots.txt 파일을 사용자가 직접 수정·삭제할 수 없는 구조입니다. 그래서 “없애고 싶어도 못 없애는” 경우가 정상에 가깝습니다.

Q4. 그럼 이 경고를 완전히 무시해도 괜찮을까요?

네. 글 색인과 노출이 정상적으로 되고 있다면, 이 robots.txt 경고 하나만으로 문제를 판단할 필요는 없습니다. 실제 운영에서는 신경 안 써도 되는 경고에 속합니다.

Q5. robots.txt 대신 꼭 확인해야 할 건 뭔가요?

Google Search Console에서 URL 검사로 색인 여부를 확인하고, 사이트맵 제출 상태, 그리고 제목·본문 키워드·내부 링크 같은 콘텐츠 SEO를 점검하는 게 훨씬 중요합니다.