ਸੇਮਲਟ ਬੋਟਾਂ, ਮੱਕੜੀਆਂ ਅਤੇ ਕ੍ਰਾਲਰਾਂ ਨਾਲ ਕਿਵੇਂ ਨਜਿੱਠਣਾ ਹੈ ਬਾਰੇ ਸੁਝਾਅ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ
ਸਰਚ ਇੰਜਨ ਦੇ ਅਨੁਕੂਲ ਯੂਆਰਐਲ ਬਣਾਉਣ ਤੋਂ ਇਲਾਵਾ .htaccess ਫਾਈਲ ਵੈਬਮਾਸਟਰਾਂ ਨੂੰ ਖਾਸ ਬੋਟਾਂ ਨੂੰ ਉਨ੍ਹਾਂ ਦੀ ਵੈਬਸਾਈਟ ਤਕ ਪਹੁੰਚਣ ਤੋਂ ਰੋਕ ਦਿੰਦੀ ਹੈ. ਇਨ੍ਹਾਂ ਰੋਬੋਟਾਂ ਨੂੰ ਬਲੌਕ ਕਰਨ ਦਾ ਇੱਕ theੰਗ ਹੈ ਰੋਬੋਟ.ਟੈਕਸਟ ਫਾਈਲ ਦੁਆਰਾ. ਹਾਲਾਂਕਿ, ਸੇਮਲਟ ਗਾਹਕ ਸਫਲਤਾ ਮੈਨੇਜਰ, ਰਾਸ ਬਾਰਬਰ ਕਹਿੰਦਾ ਹੈ ਕਿ ਉਸਨੇ ਕੁਝ ਬੇਨਤੀਕਰਤਾਵਾਂ ਨੂੰ ਇਸ ਬੇਨਤੀ ਨੂੰ ਨਜ਼ਰ ਅੰਦਾਜ਼ ਕਰਦਿਆਂ ਵੇਖਿਆ ਹੈ. ਇੱਕ ਵਧੀਆ waysੰਗ ਹੈ .htaccess ਫਾਈਲ ਨੂੰ ਆਪਣੀ ਸਮਗਰੀ ਨੂੰ ਸੂਚੀਬੱਧ ਕਰਨ ਤੋਂ ਰੋਕਣ ਲਈ ਇਸਤੇਮਾਲ ਕਰਨਾ.
ਇਹ ਬੋਟ ਕੀ ਹਨ?
ਉਹ ਇਕ ਕਿਸਮ ਦਾ ਸਾੱਫਟਵੇਅਰ ਹਨ ਜੋ ਸਰਚ ਇੰਜਣਾਂ ਦੁਆਰਾ ਇੰਡੈਕਸਿੰਗ ਦੇ ਉਦੇਸ਼ਾਂ ਲਈ ਇੰਟਰਨੈਟ ਤੋਂ ਨਵੀਂ ਸਮੱਗਰੀ ਨੂੰ ਮਿਟਾਉਣ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ.
ਉਹ ਹੇਠ ਦਿੱਤੇ ਕਾਰਜ ਕਰਦੇ ਹਨ:
- ਉਨ੍ਹਾਂ ਵੈਬ ਪੇਜਾਂ 'ਤੇ ਜਾਓ ਜਿਨ੍ਹਾਂ ਨਾਲ ਤੁਸੀਂ ਲਿੰਕ ਹੋ ਗਏ ਹੋ
- ਗਲਤੀਆਂ ਲਈ ਆਪਣੇ HTML ਕੋਡ ਦੀ ਜਾਂਚ ਕਰੋ
- ਉਹ ਬਚਾਉਂਦੇ ਹਨ ਕਿ ਤੁਸੀਂ ਕਿਹੜੇ ਵੈਬ ਪੇਜਾਂ ਨਾਲ ਲਿੰਕ ਹੋ ਰਹੇ ਹੋ ਅਤੇ ਇਹ ਵੇਖਦੇ ਹਨ ਕਿ ਕਿਹੜੀਆਂ ਵੈਬ ਪੇਜ ਤੁਹਾਡੀ ਸਮਗਰੀ ਨਾਲ ਲਿੰਕ ਹਨ
- ਉਹ ਤੁਹਾਡੀ ਸਮਗਰੀ ਨੂੰ ਸੂਚੀਬੱਧ ਕਰਦੇ ਹਨ
ਹਾਲਾਂਕਿ, ਕੁਝ ਬੋਟ ਖਤਰਨਾਕ ਹੁੰਦੇ ਹਨ ਅਤੇ ਤੁਹਾਡੀ ਸਾਈਟ ਨੂੰ ਈਮੇਲ ਪਤਿਆਂ ਅਤੇ ਫਾਰਮਾਂ ਲਈ ਭਾਲਦੇ ਹਨ ਜੋ ਆਮ ਤੌਰ 'ਤੇ ਤੁਹਾਨੂੰ ਅਣਚਾਹੇ ਸੰਦੇਸ਼ ਜਾਂ ਸਪੈਮ ਭੇਜਣ ਲਈ ਵਰਤੇ ਜਾਂਦੇ ਹਨ. ਦੂਸਰੇ ਤਾਂ ਤੁਹਾਡੇ ਕੋਡ ਵਿਚ ਸੁਰੱਖਿਆ ਦੀਆਂ ਕਮੀਆਂ ਵੀ ਭਾਲਦੇ ਹਨ.
ਵੈਬ ਕ੍ਰਾਲਰਾਂ ਨੂੰ ਰੋਕਣ ਲਈ ਕੀ ਚਾਹੀਦਾ ਹੈ?
.Htaccess ਫਾਈਲ ਦੀ ਵਰਤੋਂ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ, ਤੁਹਾਨੂੰ ਹੇਠ ਲਿਖੀਆਂ ਚੀਜ਼ਾਂ ਦੀ ਜਾਂਚ ਕਰਨ ਦੀ ਜ਼ਰੂਰਤ ਹੈ:
1. ਤੁਹਾਡੀ ਸਾਈਟ ਅਪਾਚੇ ਸਰਵਰ ਤੇ ਚੱਲ ਰਹੀ ਹੋਣੀ ਚਾਹੀਦੀ ਹੈ. ਅੱਜ ਕੱਲ, ਉਹ ਵੈਬ ਹੋਸਟਿੰਗ ਕੰਪਨੀਆਂ ਵੀ ਆਪਣੀ ਨੌਕਰੀ ਵਿੱਚ ਅੱਧੇ ਵਿਨੀਤ ਹਨ, ਤੁਹਾਨੂੰ ਲੋੜੀਂਦੀ ਫਾਈਲ ਤੱਕ ਪਹੁੰਚ ਪ੍ਰਦਾਨ ਕਰਦੀਆਂ ਹਨ.
2. ਤੁਹਾਨੂੰ ਆਪਣੀ ਵੈਬਸਾਈਟ ਦੇ ਕੱਚੇ ਸਰਵਰ ਲੌਗ ਤੱਕ ਪਹੁੰਚ ਕਰਨੀ ਚਾਹੀਦੀ ਹੈ ਤਾਂ ਜੋ ਤੁਸੀਂ ਇਹ ਪਤਾ ਲਗਾ ਸਕੋ ਕਿ ਤੁਹਾਡੇ ਵੈਬ ਪੇਜਾਂ ਤੇ ਕਿਹੜੀਆਂ ਬੋਟਾਂ ਆਈਆਂ ਹਨ.
ਨੋਟ ਕਰੋ ਇੱਥੇ ਕੋਈ ਤਰੀਕਾ ਨਹੀਂ ਹੈ ਤੁਸੀਂ ਸਾਰੇ ਨੁਕਸਾਨਦੇਹ ਬੋਟਾਂ ਨੂੰ ਰੋਕਣ ਦੇ ਯੋਗ ਹੋਵੋਗੇ ਜਦੋਂ ਤੱਕ ਤੁਸੀਂ ਉਨ੍ਹਾਂ ਸਾਰਿਆਂ ਨੂੰ ਬਲੌਕ ਨਹੀਂ ਕਰਦੇ, ਇੱਥੋਂ ਤੱਕ ਕਿ ਉਹ ਜਿਨ੍ਹਾਂ ਨੂੰ ਤੁਸੀਂ ਮਦਦਗਾਰ ਸਮਝਦੇ ਹੋ. ਹਰ ਰੋਜ਼ ਨਵੇਂ ਬੋਟ ਆਉਂਦੇ ਹਨ, ਅਤੇ ਬੁੱ onesੇ ਬਦਲੇ ਜਾਂਦੇ ਹਨ. ਸਭ ਤੋਂ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਤਰੀਕਾ ਹੈ ਆਪਣੇ ਕੋਡ ਨੂੰ ਸੁਰੱਖਿਅਤ ਕਰਨਾ ਅਤੇ ਬੋਟਾਂ ਨੂੰ ਤੁਹਾਡੇ ਲਈ ਸਪੈਮ ਕਰਨਾ ਮੁਸ਼ਕਲ ਬਣਾਉਣਾ.
ਬੋਟ ਦੀ ਪਛਾਣ
ਬੋਟਾਂ ਦੀ ਪਛਾਣ ਜਾਂ ਤਾਂ ਆਈ ਪੀ ਐਡਰੈੱਸ ਦੁਆਰਾ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ ਜਾਂ ਉਨ੍ਹਾਂ ਦੇ "ਯੂਜ਼ਰ ਏਜੰਟ ਸਤਰ," ਤੋਂ ਜੋ ਉਹ HTTP ਹੈਡਰ ਵਿਚ ਭੇਜਦੇ ਹਨ. ਉਦਾਹਰਣ ਦੇ ਲਈ, ਗੂਗਲ "ਗੂਗਲਬੋਟ" ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ.
ਤੁਹਾਨੂੰ ਇਸ ਸੂਚੀ ਨੂੰ 302 ਬੋਟਾਂ ਦੀ ਜ਼ਰੂਰਤ ਪੈ ਸਕਦੀ ਹੈ ਜੇ ਤੁਹਾਡੇ ਕੋਲ ਪਹਿਲਾਂ ਹੀ ਉਸ ਬੋਟ ਦਾ ਨਾਮ ਹੈ ਜੋ ਤੁਸੀਂ .htaccess ਵਰਤਣਾ ਜਾਰੀ ਰੱਖਣਾ ਚਾਹੁੰਦੇ ਹੋ
ਇਕ ਹੋਰ ਤਰੀਕਾ ਹੈ ਕਿ ਸਰਵਰ ਤੋਂ ਸਾਰੀਆਂ ਲੌਗ ਫਾਈਲਾਂ ਨੂੰ ਡਾ downloadਨਲੋਡ ਕਰਨਾ ਅਤੇ ਟੈਕਸਟ ਐਡੀਟਰ ਦੀ ਵਰਤੋਂ ਨਾਲ ਖੋਲ੍ਹਣਾ. ਤੁਹਾਡੇ ਸਰਵਰ ਦੀ ਕੌਨਫਿਗਰੇਸ਼ਨ ਦੇ ਅਧਾਰ ਤੇ ਸਰਵਰ ਤੇ ਉਹਨਾਂ ਦੀ ਸਥਿਤੀ ਬਦਲ ਸਕਦੀ ਹੈ. ਜੇ ਤੁਸੀਂ ਉਨ੍ਹਾਂ ਨੂੰ ਨਹੀਂ ਲੱਭ ਸਕਦੇ, ਆਪਣੇ ਵੈੱਬ ਹੋਸਟ ਤੋਂ ਸਹਾਇਤਾ ਲਓ.
ਜੇ ਤੁਸੀਂ ਜਾਣਦੇ ਹੋ ਕਿ ਕਿਹੜੇ ਪੰਨੇ 'ਤੇ ਦੌਰਾ ਕੀਤਾ ਗਿਆ ਸੀ, ਜਾਂ ਫੇਰ ਦਾ ਸਮਾਂ, ਕਿਸੇ ਅਣਚਾਹੇ ਬੋਟ ਨਾਲ ਆਉਣਾ ਸੌਖਾ ਹੈ. ਤੁਸੀਂ ਇਹਨਾਂ ਪੈਰਾਮੀਟਰਾਂ ਨਾਲ ਲੌਗ ਫਾਈਲ ਦੀ ਖੋਜ ਕਰ ਸਕਦੇ ਹੋ.
ਇਕ ਵਾਰ, ਤੁਸੀਂ ਨੋਟ ਕੀਤਾ ਹੈ ਕਿ ਤੁਹਾਨੂੰ ਕਿਹੜੇ ਬੋਟਾਂ ਨੂੰ ਰੋਕਣ ਦੀ ਜ਼ਰੂਰਤ ਹੈ; ਫਿਰ ਤੁਸੀਂ ਉਹਨਾਂ ਨੂੰ .htaccess ਫਾਈਲ ਵਿੱਚ ਸ਼ਾਮਲ ਕਰ ਸਕਦੇ ਹੋ. ਕਿਰਪਾ ਕਰਕੇ ਨੋਟ ਕਰੋ ਕਿ ਬੋਟ ਨੂੰ ਰੋਕਣਾ ਇਸ ਨੂੰ ਰੋਕਣ ਲਈ ਕਾਫ਼ੀ ਨਹੀਂ ਹੈ. ਇਹ ਇੱਕ ਨਵਾਂ ਆਈਪੀ ਜਾਂ ਨਾਮ ਲੈ ਕੇ ਵਾਪਸ ਆ ਸਕਦਾ ਹੈ.
ਉਨ੍ਹਾਂ ਨੂੰ ਕਿਵੇਂ ਰੋਕਿਆ ਜਾਵੇ
.Htaccess ਫਾਈਲ ਦੀ ਇੱਕ ਕਾਪੀ ਡਾਉਨਲੋਡ ਕਰੋ. ਜੇ ਜਰੂਰੀ ਹੋਏ ਤਾਂ ਬੈਕਅਪ ਬਣਾਓ.
1ੰਗ 1: ਆਈ ਪੀ ਦੁਆਰਾ ਬਲੌਕ ਕਰਨਾ
ਇਹ ਕੋਡ ਸਨਿੱਪਟ ਆਈਪੀ ਐਡਰੈਸ 197.0.0.1 ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਬੋਟ ਨੂੰ ਰੋਕਦਾ ਹੈ
ਆਰਡਰ ਇਨਕਾਰ, ਇਜ਼ਾਜ਼ਤ
197.0.0.1 ਤੋਂ ਇਨਕਾਰ ਕਰੋ
ਪਹਿਲੀ ਲਾਈਨ ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਸਰਵਰ ਤੁਹਾਡੇ ਦੁਆਰਾ ਦਰਸਾਏ ਗਏ ਪੈਟਰਨ ਨਾਲ ਮੇਲ ਖਾਂਦੀਆਂ ਸਾਰੀਆਂ ਬੇਨਤੀਆਂ ਨੂੰ ਬਲੌਕ ਕਰੇਗਾ ਅਤੇ ਹੋਰਾਂ ਨੂੰ ਆਗਿਆ ਦੇਵੇਗਾ.
ਦੂਜੀ ਲਾਈਨ ਸਰਵਰ ਨੂੰ 403: ਵਰਜਿਤ ਪੰਨਾ ਜਾਰੀ ਕਰਨ ਲਈ ਕਹਿੰਦੀ ਹੈ
2ੰਗ 2: ਉਪਭੋਗਤਾ ਏਜੰਟਾਂ ਦੁਆਰਾ ਰੋਕ
ਸਭ ਤੋਂ ਅਸਾਨ ਤਰੀਕਾ ਅਪਾਚੇ ਦੇ ਮੁੜ ਲਿਖਣ ਵਾਲੇ ਇੰਜਨ ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਹੈ
ਮੁੜ ਲਿਖੋ
ਰੀਵਾਈਟਕੌਂਡ%. HTTP_USER_AGENT} ਬੋਟ ਯੂਜ਼ਰ ਏਜੰਟ
ਮੁੜ ਲਿਖੋ. - [ਐਫ, ਐਲ]
ਪਹਿਲੀ ਲਾਈਨ ਇਹ ਪੁਸ਼ਟੀ ਕਰਦੀ ਹੈ ਕਿ ਪੁਨਰ ਲਿਖਣ ਮੋਡੀ moduleਲ ਸਮਰੱਥ ਹੈ. ਲਾਈਨ ਦੋ ਉਹ ਸ਼ਰਤ ਹੈ ਜਿਸ ਤੇ ਨਿਯਮ ਲਾਗੂ ਹੁੰਦਾ ਹੈ. ਲਾਈਨ 4 ਵਿਚਲੀ "ਐਫ" ਸਰਵਰ ਨੂੰ 403 ਵਾਪਸ ਕਰਨ ਲਈ ਕਹਿੰਦੀ ਹੈ: ਵਰਜਿਤ ਜਦਕਿ "ਐਲ" ਦਾ ਅਰਥ ਹੈ ਇਹ ਆਖਰੀ ਨਿਯਮ ਹੈ.
ਫਿਰ ਤੁਸੀਂ .htaccess ਫਾਈਲ ਨੂੰ ਆਪਣੇ ਸਰਵਰ ਤੇ ਅਪਲੋਡ ਕਰੋਗੇ ਅਤੇ ਮੌਜੂਦਾ ਇਕ ਨੂੰ ਮੁੜ ਲਿਖੋਗੇ. ਸਮੇਂ ਦੇ ਨਾਲ, ਤੁਹਾਨੂੰ ਬੋਟ ਦਾ ਆਈਪੀ ਅਪਡੇਟ ਕਰਨ ਦੀ ਜ਼ਰੂਰਤ ਹੋਏਗੀ. ਜੇ ਤੁਸੀਂ ਕੋਈ ਗਲਤੀ ਕਰਦੇ ਹੋ, ਤਾਂ ਜੋ ਬੈਕਅਪ ਕੀਤਾ ਹੈ ਉਸ ਨੂੰ ਅਪਲੋਡ ਕਰੋ.