User Agent — это строка, которая характеризует программу, делающую запрос к веб-серверу. Пример такой строки: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36 Как можно увидеть, по User Agent можно определить операционную систему и версию веб-браузера. По своей…
ДАЛЕЕ
По умолчанию значение User Agent в запросах PhantomJS имеет примерно следующий вид: Mozilla/5.0 (Unknown; Linux x86_64) AppleWebKit/538.1 (KHTML, like Gecko) PhantomJS/2.1.1 Safari/538.1 Но это значение можно поменять на любое другое, чтобы, к примеру, выдать запрос от PhantomJS за запрос от…
ДАЛЕЕ
Некоторые сайты нормально открываются в браузере, но при попытке получить исходный HTML код с помощью cURL эти запросы могут отклоняться. Могут возвращаться коды ответов, например, 403, то есть доступ запрещён. Чтобы понимать, как это исправить, нужно понимать причины, которых может…
ДАЛЕЕ