[BUG]: Запрос заблокирован (403)

[makatyson]

ОС

Windows 10

Версия парсера

v3.2.14

Способ запуска

exe

Текст ошибки

Использовал сервис spfa. Выходят такие ошибки. Но если убрать ключевые слова, то уведомления в телеграм приходят.

Логи

2026-05-05 19:17:11.203 | INFO     | __main__:start_parser:239 - Старт
2026-05-05 19:17:11.203 | INFO     | __main__:start_parser:239 - Старт
2026-05-05 19:17:11.207 | DEBUG    | __main__:save_config:126 - Настройки сохранены в config.toml
2026-05-05 19:17:11.207 | DEBUG    | __main__:save_config:126 - Настройки сохранены в config.toml
2026-05-05 19:17:11.214 | INFO     | parser.cookies.external_api:_load_from_disk:275 - Загружаем сохраненные cookies с диска
2026-05-05 19:17:11.214 | INFO     | parser.cookies.external_api:_load_from_disk:275 - Загружаем сохраненные cookies с диска
2026-05-05 19:17:11.219 | INFO     | hide_private_data:log_config:64 - Запуск AvitoParse v3.2.14 с настройками:
AvitoConfig(urls=['https://www.avito.ru/all/muzykalnye_instrumenty?context=H4sIAAAAAAAA_wEmANn_YToxOntzOjE6InkiO3M6MTY6ImxhVktaWmJnSXk5YkpoOHIiO30-4JW9JgAAAA&s=104'], proxy_string='', proxy_change_url='', keys_word_white_list=['juno-106', 'juno-60', 'juno-6', 'roland d-50', 'roland d-110', 'roland jd-800', 'jupiter-4', 'jupiter-6', 'jupiter-8', 'sh-101', 'sh-2000', 'alpha juno', 'jx-3p', 'jx-8p', 'roland mks-', 'yamaha dx7', 'yamaha dx5', 'yamaha dx11', 'yamaha dx100', 'yamaha cs-80', 'yamaha cs-50', 'yamaha cs-60', 'yamaha sy77', 'yamaha sy99', 'korg m1', 'korg poly-61', 'korg poly-800', 'korg dw-8000', 'korg wavestation', 'korg 707', 'korg trident', 'korg x3', 'korg m1', 'minimoog', 'moog source', 'moog rogue', 'moog prodigy', 'oberheim ob', 'prophet-5', 'prophet-600', 'ensoniq', ' ASR', 'винтажный синтезатор'], keys_word_black_list=[], seller_black_list=[], count=100, tg_token='***', tg_chat_id=['***'], vk_token='', vk_user_id=[], max_price=99999999, min_price=0, geo='', max_age=0, debug_mode=0, pause_general=1, pause_between_links=1, max_count_of_retry=5, ignore_reserv=False, ignore_promotion=False, one_time_start=True, one_file_for_link=False, parse_views=False, save_xlsx=True, use_webdriver=False, use_bypass_api=True, cookies_api_key='***', output_dir=WindowsPath('result'), use_own_cookies=False, parse_phone=False, proxy_notifier='', tg_only_text=False, retry_delay=5, timeout=20, block_threshold=3)
2026-05-05 19:17:11.219 | INFO     | hide_private_data:log_config:64 - Запуск AvitoParse v3.2.14 с настройками:
AvitoConfig(urls=['https://www.avito.ru/all/muzykalnye_instrumenty?context=H4sIAAAAAAAA_wEmANn_YToxOntzOjE6InkiO3M6MTY6ImxhVktaWmJnSXk5YkpoOHIiO30-4JW9JgAAAA&s=104'], proxy_string='', proxy_change_url='', keys_word_white_list=['juno-106', 'juno-60', 'juno-6', 'roland d-50', 'roland d-110', 'roland jd-800', 'jupiter-4', 'jupiter-6', 'jupiter-8', 'sh-101', 'sh-2000', 'alpha juno', 'jx-3p', 'jx-8p', 'roland mks-', 'yamaha dx7', 'yamaha dx5', 'yamaha dx11', 'yamaha dx100', 'yamaha cs-80', 'yamaha cs-50', 'yamaha cs-60', 'yamaha sy77', 'yamaha sy99', 'korg m1', 'korg poly-61', 'korg poly-800', 'korg dw-8000', 'korg wavestation', 'korg 707', 'korg trident', 'korg x3', 'korg m1', 'minimoog', 'moog source', 'moog rogue', 'moog prodigy', 'oberheim ob', 'prophet-5', 'prophet-600', 'ensoniq', ' ASR', 'винтажный синтезатор'], keys_word_black_list=[], seller_black_list=[], count=100, tg_token='***', tg_chat_id=['***'], vk_token='', vk_user_id=[], max_price=99999999, min_price=0, geo='', max_age=0, debug_mode=0, pause_general=1, pause_between_links=1, max_count_of_retry=5, ignore_reserv=False, ignore_promotion=False, one_time_start=True, one_file_for_link=False, parse_views=False, save_xlsx=True, use_webdriver=False, use_bypass_api=True, cookies_api_key='***', output_dir=WindowsPath('result'), use_own_cookies=False, parse_phone=False, proxy_notifier='', tg_only_text=False, retry_delay=5, timeout=20, block_threshold=3)
2026-05-05 19:17:11.222 | INFO     | parser_cls:parse:118 - page=1
2026-05-05 19:17:11.222 | INFO     | parser_cls:parse:118 - page=1
2026-05-05 19:17:12.237 | DEBUG    | parser.cookies.external_api:_save_to_disk:258 - 💾 Cookies сохранены на диск
2026-05-05 19:17:12.237 | DEBUG    | parser.cookies.external_api:_save_to_disk:258 - 💾 Cookies сохранены на диск
2026-05-05 19:17:12.490 | INFO     | parser_cls:parse:160 - Объявлений перед чисткой 50
2026-05-05 19:17:12.490 | INFO     | parser_cls:parse:160 - Объявлений перед чисткой 50
2026-05-05 19:17:12.514 | INFO     | filters.ads_filter:apply:30 - После фильтрации _filter_viewed осталось 50
2026-05-05 19:17:12.514 | INFO     | filters.ads_filter:apply:30 - После фильтрации _filter_viewed осталось 50
2026-05-05 19:17:12.517 | INFO     | filters.ads_filter:apply:30 - После фильтрации _filter_by_price_range осталось 50
2026-05-05 19:17:12.517 | INFO     | filters.ads_filter:apply:30 - После фильтрации _filter_by_price_range осталось 50
2026-05-05 19:17:12.521 | INFO     | filters.ads_filter:apply:30 - После фильтрации _filter_by_black_keywords осталось 50
2026-05-05 19:17:12.521 | INFO     | filters.ads_filter:apply:30 - После фильтрации _filter_by_black_keywords осталось 50
2026-05-05 19:17:12.524 | INFO     | filters.ads_filter:apply:30 - После фильтрации _filter_by_white_keyword осталось 0
2026-05-05 19:17:12.524 | INFO     | filters.ads_filter:apply:30 - После фильтрации _filter_by_white_keyword осталось 0
2026-05-05 19:17:12.528 | INFO     | parser_cls:parse:184 - Пауза 1 сек.
2026-05-05 19:17:12.528 | INFO     | parser_cls:parse:184 - Пауза 1 сек.
2026-05-05 19:17:13.532 | INFO     | parser_cls:parse:118 - page=2
2026-05-05 19:17:13.532 | INFO     | parser_cls:parse:118 - page=2
2026-05-05 19:17:13.647 | DEBUG    | parser.cookies.external_api:_save_to_disk:258 - 💾 Cookies сохранены на диск
2026-05-05 19:17:13.647 | DEBUG    | parser.cookies.external_api:_save_to_disk:258 - 💾 Cookies сохранены на диск
2026-05-05 19:17:13.650 | WARNING  | parser.http.client:request:82 - Запрос заблокирован (403), попытка 1
2026-05-05 19:17:13.650 | WARNING  | parser.http.client:request:82 - Запрос заблокирован (403), попытка 1
2026-05-05 19:17:18.742 | DEBUG    | parser.cookies.external_api:_save_to_disk:258 - 💾 Cookies сохранены на диск
2026-05-05 19:17:18.742 | DEBUG    | parser.cookies.external_api:_save_to_disk:258 - 💾 Cookies сохранены на диск
2026-05-05 19:17:18.745 | WARNING  | parser.http.client:request:82 - Запрос заблокирован (403), попытка 2
2026-05-05 19:17:18.745 | WARNING  | parser.http.client:request:82 - Запрос заблокирован (403), попытка 2
2026-05-05 19:17:23.841 | DEBUG    | parser.cookies.external_api:_save_to_disk:258 - 💾 Cookies сохранены на диск
2026-05-05 19:17:23.841 | DEBUG    | parser.cookies.external_api:_save_to_disk:258 - 💾 Cookies сохранены на диск
2026-05-05 19:17:23.844 | WARNING  | parser.http.client:request:82 - Запрос заблокирован (403), попытка 3
2026-05-05 19:17:23.844 | WARNING  | parser.http.client:request:82 - Запрос заблокирован (403), попытка 3
2026-05-05 19:17:23.847 | WARNING  | parser.http.client:request:88 - Достигнут лимит блокировок, запускается обработка
2026-05-05 19:17:23.847 | WARNING  | parser.http.client:request:88 - Достигнут лимит блокировок, запускается обработка
2026-05-05 19:17:23.850 | INFO     | parser.cookies.external_api:handle_block:123 - 🔓 Пытаемся разблокировать cookies | id=55172
2026-05-05 19:17:23.850 | INFO     | parser.cookies.external_api:handle_block:123 - 🔓 Пытаемся разблокировать cookies | id=55172
2026-05-05 19:17:24.152 | INFO     | parser.cookies.external_api:handle_block:145 - ⏳ Разблокировка запущена | id=55172
2026-05-05 19:17:24.152 | INFO     | parser.cookies.external_api:handle_block:145 - ⏳ Разблокировка запущена | id=55172
2026-05-05 19:17:34.256 | DEBUG    | parser.cookies.external_api:_save_to_disk:258 - 💾 Cookies сохранены на диск
2026-05-05 19:17:34.256 | DEBUG    | parser.cookies.external_api:_save_to_disk:258 - 💾 Cookies сохранены на диск
2026-05-05 19:17:34.259 | WARNING  | parser.http.client:request:82 - Запрос заблокирован (403), попытка 1
2026-05-05 19:17:34.259 | WARNING  | parser.http.client:request:82 - Запрос заблокирован (403), попытка 1
2026-05-05 19:17:39.355 | DEBUG    | parser.cookies.external_api:_save_to_disk:258 - 💾 Cookies сохранены на диск
2026-05-05 19:17:39.355 | DEBUG    | parser.cookies.external_api:_save_to_disk:258 - 💾 Cookies сохранены на диск
2026-05-05 19:17:39.358 | WARNING  | parser.http.client:request:82 - Запрос заблокирован (403), попытка 2
2026-05-05 19:17:39.358 | WARNING  | parser.http.client:request:82 - Запрос заблокирован (403), попытка 2
2026-05-05 19:17:44.367 | INFO     | __main__:start_parser:251 - Пауза между повторами
2026-05-05 19:17:44.367 | INFO     | __main__:start_parser:251 - Пауза между повторами

Конфиг

[avito]
tg_token = "****:****"
tg_chat_id = [
    "****",
]
vk_token = ""
vk_user_id = []
urls = [
    "https://www.avito.ru/all/muzykalnye_instrumenty?context=H4sIAAAAAAAA_wEmANn_YToxOntzOjE6InkiO3M6MTY6ImxhVktaWmJnSXk5YkpoOHIiO30-4JW9JgAAAA&s=104",
]
count = 100
keys_word_white_list = [
    "juno-106",
    "juno-60",
    "juno-6",
    "roland d-50",
    "roland d-110",
    "roland jd-800",
    "jupiter-4",
    "jupiter-6",
    "jupiter-8",
    "sh-101",
    "sh-2000",
    "alpha juno",
    "jx-3p",
    "jx-8p",
    "roland mks-",
    "yamaha dx7",
    "yamaha dx5",
    "yamaha dx11",
    "yamaha dx100",
    "yamaha cs-80",
    "yamaha cs-50",
    "yamaha cs-60",
    "yamaha sy77",
    "yamaha sy99",
    "korg m1",
    "korg poly-61",
    "korg poly-800",
    "korg dw-8000",
    "korg wavestation",
    "korg 707",
    "korg trident",
    "korg x3",
    "korg m1",
    "minimoog",
    "moog source",
    "moog rogue",
    "moog prodigy",
    "oberheim ob",
    "prophet-5",
    "prophet-600",
    "ensoniq",
    " ASR",
    "винтажный синтезатор",
]
keys_word_black_list = []
seller_black_list = []
max_price = 99999999
min_price = 0
geo = ""
proxy_string = ""
proxy_change_url = ""
pause_general = 1
pause_between_links = 1
max_age = 0
max_count_of_retry = 5
ignore_reserv = false
ignore_promotion = false
one_time_start = true
one_file_for_link = false
parse_views = false
save_xlsx = true
use_webdriver = false
use_bypass_api = true
cookies_api_key = "****"
use_own_cookies = false
parse_phone = false
proxy_notifier = ""
tg_only_text = false
retry_delay = 5
timeout = 20
block_threshold = 3

[Duff89]

Ничего не понял. В логах ошибок нет, просто несколько блокировок - это вполне штатное поведение.
Но Вы пишите что-то про телегу. В чем именно проблема?

[makatyson]

С телеграм проблем нет, я отправлял тестовое сообщение. По ключевым словам не находит ни одно объявление. Например вот скрин с авито korg poly-61, а уведомление не приходит, в папке result таблица пустая. Потом я выставил значение количество страниц - 100 (чтобы программа все просмотрела в выбранной категории), но она дошла только до 10 страницы. Может я что-то не так делаю?

[Duff89]

По логам видно, что парсер увидел 50 объявлений.
Потом при фильтрации по ключевым словам-фразам все объявления отсеялись:

После фильтрации _filter_by_white_keyword осталось 0

В объявлении на скриншоте написано "korg poly 61", у Вас в настройках "korg poly-61", кажется разница всего-то в дефисе, но она есть, поэтому и такое поведение.
Попробуйте:

• остановить парсер
• очистить память парсера (удалите файл database.db)
• в настройках укажите "korg poly 61"
• запустите и это объявление придет

[makatyson]

keys_word_white_list = [
"Roland juno",
"roland d 50",
"roland d 110",
"roland jd 800",
"Roland jupiter",
"Roland sh",
"Roland alpha juno",
"Roland jx 3p",
"Roland jx 8p",
"roland mks",
"yamaha dx",
"yamaha cs 80",
"yamaha cs 50",
"yamaha cs 60",
"yamaha sy",
"korg m",
"korg poly 61",
"korg poly 800",
"korg dw 8000",
"korg",
"korg 707",
"korg trident",
"korg ms",
"korg m1",
"minimoog",
"moog source",
"moog rogue",
"moog prodigy",
"oberheim ob",
"prophet 5",
"prophet 600",
"ensoniq ASR",
"винтажный синтезатор",
]

Я уже настолько упростил, но пришло несколько результатов только на слова "korg". Может из-за того что максимум 10 страниц просматривает из выбранных 100? Файл database.db я удалил.

[Duff89]

Объясню как это работает под капотом:

• с объявления берется название + описание (неполное, а то которое видно в спике объявлений) и всё приводится к нижнему регистру
• проверяется входит ли хотя бы один keyword (тоже в нижнем регистре) в получившийся текст
• если да - продолжаем с ним работу, нет - игнорируем

[makatyson]

Ок, я понял. Но даже в случае с korg poly 61 (дефис я убрал, все точно как в названии), это объявление не приходит.

[Duff89]

Я проверил с такой настройкой:

keys_word_white_list = ["korg poly 61"]

urls = [
    "https://www.avito.ru/all/muzykalnye_instrumenty?context=H4sIAAAAAAAA_wEmANn_YToxOntzOjE6InkiO3M6MTY6ImhYQXo3WHVESzVodTZXSGciO304AWHBJgAAAA&q=korg+poly-61&s=104"
]

И мне пришло это объявление. Подозреваю, что в конфиге у Вас ссылка:
https://www.avito.ru/all/muzykalnye_instrumenty?context=H4sIAAAAAAAA_wEmANn_YToxOntzOjE6InkiO3M6MTY6ImxhVktaWmJnSXk5YkpoOHIiO30-4JW9JgAAAA&s=104
а в браузере смотрите
https://www.avito.ru/all/muzykalnye_instrumenty?context=H4sIAAAAAAAA_wEmANn_YToxOntzOjE6InkiO3M6MTY6ImhYQXo3WHVESzVodTZXSGciO304AWHBJgAAAA&q=korg+poly-61&s=104

[makatyson]

В общем я разобрался, я увеличил паузы между повторами (30 сек.) и попытки перед разблокировкой (20 попыток, судя по логу максимум было 14 попыток).

логи - app_log.txt
конфиг - config_toml.txt

Объясню чего я хочу. Все что я ищу находится в категории музыкальные инструменты - https://www.avito.ru/all/muzykalnye_instrumenty?cd=1

В основном я ищу синтезаторы (категория "клавишные и синтезаторы"), но кто-то может создать объявление о продаже синтезатора в подкатегории, допустим "для студии и концертов", соответственно это объявление пройдет мимо меня.

Как эффективней и быстрее парсить объявления?

1. Делать так как делаю в кофиге, например если я ищу какой-нибудь roland juno 60, то сперва ввожу в поисковик avito - roland juno 60, копирую ссылку, вставляю в парсер и в ключевых словах пишу все вариации с названием (juno 60, juno-60, juno60) и так с каждым инструментом (их более 200).
2. Или, просто указать в парсере одну ссылку на категорию - музыкальные инструменты, выбрать максимальное количество страниц в категории, например 100. В ключевых словах указать все названия инструментов со всеми вариациями написания, так же черном списке прописать слова которые мне не нужны?