Форум программистов

Восстановите пароль или Зарегистрируйтесь на форуме, о проблемах и с заказом рекламы пишите сюда - alarforum@yandex.ru, проверяйте папку спам!

Форум программистов (https://programmersforum.ru/index.php)
-   Работа с сетью в Delphi (https://programmersforum.ru/forumdisplay.php?f=3)
-   -   IdHTTP.GET выдаёт ошибку HTTP/1.1 403 Forbidden (https://programmersforum.ru/showthread.php?t=343028)

cr@nk 10.06.2022 16:32

IdHTTP.GET выдаёт ошибку HTTP/1.1 403 Forbidden
 
Вложений: 1
Этот вопрос я задавал на другом форуме, но там тишина

Была написана утилита для парсинга сайта 1с
В апреле сайт ддосили. На сайт добавили какую-то защиту и утилита перестала работать.
Я пробовал прописать юзерагент с реального браузере - не помогает. Много чего пробовал...

Блок авторизации проходит, а дальше страница не открывается - ошибка 403
Вынес проблемную часть в отдельный проект (на Delphi 10.4)
Там введены рабочие тестовые логин и пароль
С ними проходит успешная авторизация (и в проекте и в браузере).

Valick 10.06.2022 16:47

В наше время даже у чайника есть API. Неужели у сайта его нет? Что за сайт-то? По продаже каменных топоров и шкур мамонта?
Упс, сайт 1с - это прям реально сайт 1с, я думал просто сайт на битрихе. Так почему вопрос на форум, а не в техподдержку 1с?

cr@nk 10.06.2022 17:03

Скажем так... общался с саппортом 1с именно по вопросам 1с - всё печально

А на вопрос: почему я ваш сайт парсить больше не могу админы/разрабы сайта отвечать и не обязаны. И API никто не даст (если оно есть). Это была утилита, написанная для автоматизации

macomics 10.06.2022 17:55

Может стоит прочитать описание ошибки, прежде чем задавать такие вопросы

cr@nk 10.06.2022 19:39

Цитата:

Сообщение от macomics (Сообщение 1848761)
Может стоит прочитать описание ошибки, прежде чем задавать такие вопросы

Само собой, что ошибку эту понимаю. По вашей ссылке очень понятно написано
Цитата:

ограничения были заданы администратором сервера или разработчиком веб-приложения и могут быть любыми
Я примерно это и имел ввиду, когда писал, что добавили защиту. Как обойти ограничения?
Варианты с написанием собственного браузера не рассматриваю :)

Сейчас попробовал спарсить сайт через утилиту xidel - получилось. Поставил в исходниках UA: Opera и вроде бы тоже пошло (хотя недели полторы назад я это пробовал одним из первых способов).

Через несколько часов снова всё отвалилось. Мистика :)

cr@nk 12.06.2022 07:56

Всё же это скорее всего какая-то "умная" защита на стороне сервера
10 и 11 июня (почти сутки) пример из 1 поста работал (я получал данные с сервера)
Потом снова начал получать ошибку 403 (по текущий момент). Пробовал запустить проект с другого компа (вдруг бан по IP) - 403
С браузера пускает исправно
Утилита xidel тоже парсит, авторизуется без проблем с любого "проблемного" компа

hexor_boo 24.06.2022 21:32

Цитата:

Сообщение от cr@nk (Сообщение 1848816)
Всё же это скорее всего какая-то "умная" защита на стороне сервера
10 и 11 июня (почти сутки) пример из 1 поста работал (я получал данные с сервера)
Потом снова начал получать ошибку 403 (по текущий момент). Пробовал запустить проект с другого компа (вдруг бан по IP) - 403
С браузера пускает исправно
Утилита xidel тоже парсит, авторизуется без проблем с любого "проблемного" компа

А не использует ли утилита xidel какие-либо явные или скрытые списки прокси-серверов для парсинга с показом IP вплоть до разных стран?


21:44.