|
|
|
|
|
질문과 답변
|
|
|
* 매뉴얼과 자주 묻는 질문을 먼저 확인 하시고, 질답 게시판에서 검색후 질문바랍니다.
* 질문시에는 자신의 계정 아이디와 홈주소를 필히 남겨주시기 바랍니다.
* 에러로 인한 문의시 에러메세지를 필히 함께 남겨주시기 바랍니다.
* 질답 게시판은 공개게시판으로 계정 비밀번호 정보를 남기시면 안됩니다.
|
| Read Reply from No. 39764 article |
2016-02-19 17:19:10 |
|
|
|
|
| NickName |
풀비누 |
| Subject |
Re: 구글 크롤링관련 |
|
|
회원님의 사이트 웹로그에서 66.249 로 검색을 하여 보면, 구글 쪽에서 수시로
접근하고 있는 것이 확인이 됩니다. (로그 확인은 ssh 접근하여 체크가 가능합니다)
구글봇 접근이 현재에도 되고 있는 것으로 확인이 되니,
체크를 좀더 해보셨으면 합니다.
66.249.77.85 - - [19/Feb/2016:17:17:02 +0900] "GET
/xe/addons/addon_insert_sticker/stickers/027.gif HTTP/1.1" 200 6051 "-" "Googlebot-Image/1.0"
66.249.77.85 - - [19/Feb/2016:17:08:43 +0900] "GET /xe/index.php?
mid=C_DIARY&document_srl=72677&listStyle=viewer HTTP/1.1" 200 27997 "-" "Mozilla/5.0
(compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.77.73 - - [19/Feb/2016:17:08:42 +0900] "GET /xe/index.php?
mid=C_DIARY&document_srl=72677&listStyle=viewer HTTP/1.1" 200 8423 "-" "Mozilla/5.0 (compatible;
Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.71.10 - - [19/Feb/2016:17:00:22 +0900] "GET /sitemap.xml HTTP/1.1" 200 1196648 "-"
"Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.77.79 - - [19/Feb/2016:16:52:02 +0900] "GET
/xe/addons/addon_insert_sticker/stickers/040.gif HTTP/1.1" 200 6193 "-" "Googlebot-Image/1.0"
66.249.79.49 - - [19/Feb/2016:16:43:43 +0900] "GET /xe/index.php?
mid=BIKE_2013&page=1&document_srl=76343 HTTP/1.1" 200 133725 "-" "Mozilla/5.0 (compatible;
Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.77.85 - - [19/Feb/2016:16:43:42 +0900] "GET /xe/index.php?
mid=BIKE_2013&page=1&document_srl=76343 HTTP/1.1" 200 29250 "-" "Mozilla/5.0 (compatible;
Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.77.79 - - [19/Feb/2016:16:35:22 +0900] "GET /xe/61729 HTTP/1.1" 302 - "-" "Mozilla/5.0
(compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.84.154 - - [19/Feb/2016:16:34:59 +0900] "GET /xefiles/attach/xeicon/favicon.ico HTTP/1.1"
404 1472 "-" "Mozilla/5.0 (Windows NT 6.1; rv:6.0) Gecko/20110814 Firefox/6.0 Google Favicon"
66.249.84.83 - - [19/Feb/2016:16:34:57 +0900] "GET /xe/ HTTP/1.1" 200 111594 "-" "Mozilla/5.0
(Windows NT 6.1; rv:6.0) Gecko/20110814 Firefox/6.0 Google Favicon"
66.249.84.82 - - [19/Feb/2016:16:34:56 +0900] "GET /xe/ HTTP/1.1" 200 17922 "-" "Mozilla/5.0
(Windows NT 6.1; rv:6.0) Gecko/20110814 Firefox/6.0 Google Favicon"
romeo1052 wrote..
: 처음 필터링 해제시켜주신 날 이후로
: 첫날 빠르게 30개정도 구글에 크롤링이 된뒤 이틀동안 더이상의 크롤링이 진행되지않고 멈춰있습니 다.
: 아니 오히려 34개에서 30개로 줄어들기까지 했는데요.
:
: 서버에서 자동으로 필터링이 되거나 다른 제한 사항이 있는건지 확인해주실수 있을까요?
[ 관련글 ]
|
|
|
Page Loading [ 0.24 Sec ]
SQL Time [ 0.22 Sec ]
|
|
|
Re: 구글 크롤링관련 