Các công cụ SEO bá đạo nhất thế giới
HOT *** 06 Checklist tốt nhất về SEO Onpage 2016 !
Chú ý: Không chèn Link vô nghĩa trong bài viết !
Các thành viên bị lỗi đăng ký không gửi email vui lòng liên hệ Facebook: Lee Nam để được trợ giúp

Phân tích cách dùng Robots.txt không đúng cách

Thảo luận trong 'Sitemap - Sơ đồ trang web' bắt đầu bởi NghiHQ, 10 Tháng chín 2014.

  1. NghiHQ

    NghiHQ Thành viên chính thức

    Tham gia ngày:
    26 Tháng tám 2014
    Bài viết:
    80
    Đã được thích:
    99
    Sử dụng Robots.txt không đúng cách có thể làm công sức mà các dịch vụ SEO gầy dựng đổ sông đổi biển. Những điểm rất căn bản, rất dễ sửa nhưng nếu sai sẽ gây hậu quả nghiêm trọng.

    [​IMG]


    Tập đoàn Liberty Mutual có trụ sở chính đặt tại Thành phố Boston, bang Massachusetts, Mỹ và hiện có hơn 45,000 nhân viên làm việc tại hơn 900 văn phòng trên toàn thế giới.
    Liberty hiện là Tập đoàn bảo hiểm phi nhân thọ lớn thứ 5 tại nước Mỹ, được Tổ chức A.M Best Co. đánh giá ở mức “Xuất sắc” (A/Excellent) và xếp vào danh sách 100 tập đoàn lớn nhất nước Mỹ dựa vào doanh thu năm 2009.


    [​IMG]
    Đây là file robots của Liberty Insurance​
    Kết quả tìm kiếm

    [​IMG]
    Vẫn ở kết quả đầu tiên nhưng không còn chi tiết về description nữa.
    [​IMG]
    Trong source code trang chủ vẫn cho phép robots Index và follow nhưng file robots.txt đã vô hiệu hóa phần meta này. Như vậy, robots.txt có sức mạnh nhiều hơn Meta Tag.
    Các kết quả được index trước đây vẫn xuất hiện trên trong phần index. Tuy nhiên nếu không khắc phục, số lượng trang index sẽ từ từ mất đi cho tới khi về không (Zero).

    [​IMG]
    Bonus:
    Đặt sai vị trí của Robots.txt sẽ không có tác dụng ở website ILA Việt Nam
    ILA Việt Nam đã block khá nhiều liên kết để Robots không vào index những thông tin nhạy cảm, nhưng đặt sai vị trí
    [​IMG]
    Nên Bots vẫn vào đọc nội dung bình thường
    [​IMG]
    #1
    prosq and Bánh Chưng Ngon like this.
  2. daohoa

    daohoa Thành viên chính thức

    Tham gia ngày:
    2 Tháng mười hai 2013
    Bài viết:
    57
    Đã được thích:
    11
    file robots này mình tưởng với mỗi loại code lai khác nhau, thường mình cũng chỉ đặt chặn admin thôi.
    #2
  3. gamemobi24h

    gamemobi24h Thành viên chính thức

    Tham gia ngày:
    14 Tháng chín 2015
    Bài viết:
    100
    Đã được thích:
    6
    Bác hướng dẫn tỷ mỉ quá tks bác nhiều.mình đã học hỏi được từ bác rồi đó.
    #3
  4. Bánh Chưng Ngon

    Bánh Chưng Ngon Thành viên chính thức

    Tham gia ngày:
    19 Tháng một 2016
    Bài viết:
    26
    Đã được thích:
    1
  5. ngannk95

    ngannk95 Thành viên chính thức

    Tham gia ngày:
    3 Tháng tám 2015
    Bài viết:
    60
    Đã được thích:
    5
    Rồi phân tích thì cũng phải đưa ra hướng giải quyết chứ bạn.
    Phân tích không thế này thì cũng bó tay.
    #5
  6. nguyễn trung kiên

    nguyễn trung kiên Thành viên chính thức

    Tham gia ngày:
    1 Tháng ba 2016
    Bài viết:
    169
    Đã được thích:
    3
    cảm ơn bạn nhé . bài viết rất có ích đối với mình
    #6
  7. prosq

    prosq Thành viên chính thức

    Tham gia ngày:
    29 Tháng hai 2016
    Bài viết:
    472
    Đã được thích:
    27
    Bạn có thể đăng thêm bài nói về cách khắc phục nó được không? mình gặp vài lỗi như trên mà chưa biết phải giải quyết như nào?
    #7
  8. Đồ đồng Cường Thịnh

    Đồ đồng Cường Thịnh Thành viên chính thức

    Tham gia ngày:
    8 Tháng ba 2016
    Bài viết:
    146
    Đã được thích:
    12
    mấy bác hỗ trợ mình cái, hiện mấy cái chức năng robot bị chặn css, js, làm cách nào cho nó vô kiếm các phần đó, bữa giờ mình allow rồi nhưng vẫn bị chặn xin cái bác giúp đỡ, thay đổi câu lệnh thế nào cho đúng
    [​IMG]
    #8
  9. Hoàng An Sương

    Hoàng An Sương Thành viên chính thức

    Tham gia ngày:
    18 Tháng mười 2015
    Bài viết:
    45
    Đã được thích:
    1
    Nếu phân tích sai cách dùng robots thì ảnh hưởng không nhỏ đến độ uy tín của website trong quá trình SEO.
    #9
  10. bedethuong07

    bedethuong07 Thành viên chính thức

    Tham gia ngày:
    11 Tháng năm 2016
    Bài viết:
    70
    Đã được thích:
    7
    Bạn ơi tại sao mình không thể cập nhật được thong tin mới trên file robots.txt nhỉ, ấn lưu rồi mà nó không lưu cho, muốn chặn một số cái đi mà ko được
    #10
  11. vthao93hp

    vthao93hp Thành viên chính thức

    Tham gia ngày:
    20 Tháng ba 2016
    Bài viết:
    147
    Đã được thích:
    15
    Nếu vậy bạn có thể tải file đó về chỉnh sửa bằng notepad rồi sau đó up lên nhé. FIle robot.txt này nhẹ nên bác cứ yên tâm. :D:D:D
    #11
  12. bedethuong07

    bedethuong07 Thành viên chính thức

    Tham gia ngày:
    11 Tháng năm 2016
    Bài viết:
    70
    Đã được thích:
    7
    Ôi cảm ơn bạn nhé. Vậy mà từ bữa giờ mình không nghĩ ra chứ.hihi
    #12
  13. vn.ttquynhh

    vn.ttquynhh Thành viên chính thức

    Tham gia ngày:
    4 Tháng bảy 2015
    Bài viết:
    400
    Đã được thích:
    13
    Không tìm hiểu kỹ là chặn luôn cả trang đấy, cần thận robot.txt này
    #13
  14. NND

    NND Thành viên chính thức

    Tham gia ngày:
    24 Tháng mười hai 2014
    Bài viết:
    160
    Đã được thích:
    40
    Đặt thứ tự thế nào mới là đúng hả bác
    #14
  15. nguyenhungcase

    nguyenhungcase Thành viên chính thức

    Tham gia ngày:
    1 Tháng hai 2015
    Bài viết:
    156
    Đã được thích:
    8
    1 thương hiệu lớn vậy mà để web mắc lỗi này thì phí quá nhỉ? hay có vấn đề gi chăng?
    #15
  16. dangtuanh79

    dangtuanh79 Thành viên chính thức

    Tham gia ngày:
    6 Tháng ba 2017
    Bài viết:
    68
    Đã được thích:
    2
    [​IMG]

    HÃY TRANH THỦ TRONG KHI ĐỐI THỦ BẬN ĂN TẾT

    ĐỐI THỦ CỦA BẠN
    Đang bận lo Tết đến, họ đang chuẩn bị vui xuân, qua Tết mới triển khai kinh doanh tiếp.

    BẠN CÓ NHƯ VẬY KHÔNG ?
    Kinh doanh không bỏ lỡ giây phút nào cả, chúng tôi giúp bạn ĐI TRƯỚC ĐỐI THỦ NGAY
    Thiết kế trang Web ngay lúc này để qua Tết mở hàng với 1 website đầy đủ nội dung và may mắn trong lúc đối thủ của bạn vẫn mơ màng phê Tết.

    HÃY GIAO VIỆC ĐÓ CHO CHÚNG TÔI!
    CHÚNG TÔI SẼ LÀM TỐT NHẤT CHO BẠN VỚI CHI PHÍ THẤP NHẤT !

    Khuyến Mãi Thiết Kế Web Tháng 1 .Chỉ 1,990,000, có ngay Bộ " Website Chuyên Nghiệp + Tên Miền + Hosting + Email theo tên miền riêng" BẢO HÀNH VĨNH VIỄN

    0986.184.211 (VIBER/ZALO) + 0908.823.311

    Địa Chỉ: 134/15 Huỳnh Văn Nghệ, P15, Tân Bình, Tp.HCM
    Homepage: thietkewebchuyen . com
    #16
  17. dangtuanh79

    dangtuanh79 Thành viên chính thức

    Tham gia ngày:
    6 Tháng ba 2017
    Bài viết:
    68
    Đã được thích:
    2
    [​IMG]

    HÃY TRANH THỦ TRONG KHI ĐỐI THỦ BẬN ĂN TẾT

    ĐỐI THỦ CỦA BẠN
    Đang bận lo Tết đến, họ đang chuẩn bị vui xuân, qua Tết mới triển khai kinh doanh tiếp.

    BẠN CÓ NHƯ VẬY KHÔNG ?
    Kinh doanh không bỏ lỡ giây phút nào cả, chúng tôi giúp bạn ĐI TRƯỚC ĐỐI THỦ NGAY
    Thiết kế trang Web ngay lúc này để qua Tết mở hàng với 1 website đầy đủ nội dung và may mắn trong lúc đối thủ của bạn vẫn mơ màng phê Tết.

    HÃY GIAO VIỆC ĐÓ CHO CHÚNG TÔI!
    CHÚNG TÔI SẼ LÀM TỐT NHẤT CHO BẠN VỚI CHI PHÍ THẤP NHẤT !

    Khuyến Mãi Thiết Kế Web Tháng 1 .Chỉ 1,990,000, có ngay Bộ " Website Chuyên Nghiệp + Tên Miền + Hosting + Email theo tên miền riêng" BẢO HÀNH VĨNH VIỄN

    0986.184.211 (VIBER/ZALO) + 0908.823.311

    Địa Chỉ: 134/15 Huỳnh Văn Nghệ, P15, Tân Bình, Tp.HCM
    Homepage: thietkewebchuyen . com
    #17
  18. hoangnam27102017

    hoangnam27102017 Thành viên mới

    Tham gia ngày:
    27 Tháng mười 2017
    Bài viết:
    3
    Đã được thích:
    0
    Chuyên phân phối máy tính bảng Mid K960, Mid K107, Mid 7731, Nontaus 10, ... hàng Đài Loan

    Máy tính bảng giá rẻ nhưng chất lượng phải ổn định. Chúng tôi cam kết bán hàng chính hãng. 1 đổi 1 trong 7 ngày đầu nếu máy bị lỗi kỹ thuật. Ngoài ra , nếu hết hạn bảo hành vẫn có linh kiện để sữa chữa thay thế
    MinhHuy Company
    SỰ LỰA CHỌN THÔNG MINH CỦA BẠN
    ĐC: 271/21 Trịnh Đình Trọng, Hòa Thạnh, Tân Phú, Hồ Chí Minh ( Cách Đầm Sen nước 300m, đầu hẻm 271 Kênh Tân Hóa)
    ĐT: 090.246.4227, 098 829 0718, 085 406 7374
    ctyminhhuy.com, ctylinhnhi.com
    #18

Chia sẻ trang này