Guest tema1234321 Posted March 19, 2019 Posted March 19, 2019 Как спарсить прокси если пул большой и есть возможность подключение по порту или логину,а по ссылке или тхт нет?
Admin Posted March 20, 2019 Posted March 20, 2019 15 часов назад, tema1234321 сказал: Как спарсить прокси если пул большой и есть возможность подключение по порту или логину,а по ссылке или тхт нет? по логину и паролю технически реализовано, но проверить некому. Насчет "спарсить" уточните вопрос - откуда, что за список?
Guest tema1234321 Posted March 20, 2019 Posted March 20, 2019 39 минут назад, fortek сказал: по логину и паролю технически реализовано, но проверить некому. Насчет "спарсить" уточните вопрос - откуда, что за список? списка нет,реальные прокси реальных людей,которые появляются и пропадают,зависит от операторов,подключение происходит к ресурсу занимающемуся этим,условно формат логин пароль порт,но нет айпи адреса прокси,пробовал вставить ссылку в документ,программа распознает как одну прокси,и подключается, но к одному айпи,делаю кучу таких ссылок подключается все равно к одному айпи адресу,, дописывая (session id рандомные числа) подключается к айпи,равному кол-ву этих строк допустим прописал я 20 к,значит пул 20к,при этом как я понимаю,полный список прокси опять же не получает я крутит между собой те айпи к которым было подключение,при этом они же банятся
Guest Дмитрий Иванов Posted March 20, 2019 Posted March 20, 2019 (edited) 46 минут назад, tema1234321 сказал: списка нет,реальные прокси реальных людей,которые появляются и пропадают,зависит от операторов,подключение происходит к ресурсу занимающемуся этим,условно формат логин пароль порт,но нет айпи адреса прокси,пробовал вставить ссылку в документ,программа распознает как одну прокси,и подключается, но к одному айпи,делаю кучу таких ссылок подключается все равно к одному айпи адресу,, дописывая (session id рандомные числа) подключается к айпи,равному кол-ву этих строк допустим прописал я 20 к,значит пул 20к,при этом как я понимаю,полный список прокси опять же не получает я крутит между собой те айпи к которым было подключение,при этом они же банятся значит у них один порт а на каждый коннет своя прокся. Ты уже определись у тебя пул 20к или 1 шт. Скорее всего это динамические прокси с общим пулом 20к, но ты можешь юзать одновременно только одну Когда пулы по 20к они и выдают список 20к строк либо порты но не как 1 шт ;(( Edited March 20, 2019 by Дмитрий Иванов
Guest tema1234321 Posted March 20, 2019 Posted March 20, 2019 1 минуту назад, Дмитрий Иванов сказал: значит у них один порт а на каждый коннет своя прокся. Ты уже определись у тебя пул 20к или 1 шт вот вот,порт один,у меня пул несколько миллионов прокси,но как мне пподключить софт ровно?
Guest Дмитрий Иванов Posted March 20, 2019 Posted March 20, 2019 (edited) 2 минуты назад, tema1234321 сказал: вот вот,порт один,у меня пул несколько миллионов прокси,но как мне пподключить софт ровно? да хоть 50 млн. 1 порт не сработает. Тебе должны были на такой пул как минимум 1к портов. Сервис в личку подскажу Edited March 20, 2019 by Дмитрий Иванов
Guest tema1234321 Posted March 20, 2019 Posted March 20, 2019 Только что, Дмитрий Иванов сказал: да хоть 50 млн. Сервис в личку подскажу какой сервис о чем ты?
Guest Дмитрий Иванов Posted March 20, 2019 Posted March 20, 2019 (edited) 5 минут назад, tema1234321 сказал: какой сервис о чем ты? Напиши сервису где ты купил прокси и потребуй помощи ищи апи сервиса для выгрузки. Edited March 20, 2019 by Дмитрий Иванов
Guest tema1234321 Posted March 20, 2019 Posted March 20, 2019 1 минуту назад, Дмитрий Иванов сказал: Напиши сервису где ты купил прокси и потребуй помощи ищи апи сервиса для выгрузки. решаю с ними куда этот апи вбивать и вообще как это происходит?)
Guest Дмитрий Иванов Posted March 20, 2019 Posted March 20, 2019 5 минут назад, tema1234321 сказал: решаю с ними куда этот апи вбивать и вообще как это происходит?) вместо ссылки
Guest tema1234321 Posted March 20, 2019 Posted March 20, 2019 понимаешь пул миллионы,я делаю 20к пул,могу сделать 40к,но как мне без этих манипуляций подключиться ко всему пулу
Guest Дмитрий Иванов Posted March 20, 2019 Posted March 20, 2019 2 часа назад, tema1234321 сказал: понимаешь пул миллионы,я делаю 20к пул,могу сделать 40к,но как мне без этих манипуляций подключиться ко всему пулу ну что ты мне чешишь ;))) Пул миллионы только в резидентных ротационных прокси Там порты, а не прокси. Ну выдают тебе список в 20-40к так его и загружай они меняются на выходе каждые 3-5 минут Вопрос в другом сколько тебе доступно соединений (потоков) если 1 то хренли ты тупишь Ты хоть 500к загрузки 1 прокся будет )
Guest tema1234321 Posted March 20, 2019 Posted March 20, 2019 та 2 минуты назад, Дмитрий Иванов сказал: ну что ты мне чешишь ;))) Пул миллионы только в резидентных ротационных прокси Там порты, а не прокси. Ну выдают тебе список в 20-40к так его и загружай они меняются на выходе каждые 3-5 минут Вопрос в другом сколько тебе доступно соединений (потоков) если 1 то хренли ты тупишь Ты хоть 500к загрузки 1 прокся будет ) так вот у меня резидентские ротационные прокси,читай что пишу друг,плз,а не делай свои выводы
Guest Дмитрий Иванов Posted March 20, 2019 Posted March 20, 2019 1 минуту назад, tema1234321 сказал: та так вот у меня резидентские ротационные прокси,читай что пишу друг,плз,а не делай свои выводы я тебе говорил дай ссылку на сервис всех их переюзал так ты чешишься )) Скачай стандартный список. Там формат ип или хост:порт. Грузишь в программу не по урлу, а текст файл со списком. Далее уже крути )
Guest Дмитрий Иванов Posted March 20, 2019 Posted March 20, 2019 + бывало что не работали данные прокси в руботе. Обновлялся до WIN2016
Guest tema1234321 Posted March 20, 2019 Posted March 20, 2019 6 минут назад, Дмитрий Иванов сказал: + бывало что не работали данные прокси в руботе. Обновлялся до WIN2016 я так и делал по какому юрлу я могу,загрузить?лол,в тхт я загружал,работает для каждой строки в тексте один айпи
Guest Дмитрий Иванов Posted March 20, 2019 Posted March 20, 2019 1 час назад, tema1234321 сказал: я так и делал по какому юрлу я могу,загрузить?лол,в тхт я загружал,работает для каждой строки в тексте один айпи там порты. 20к строк - 20к портов и на каждый порт свой прокси. Вот его и грузи сколько потоков столько онлайн.
Guest tema1234321 Posted March 20, 2019 Posted March 20, 2019 (edited) 11 минут назад, Дмитрий Иванов сказал: там порты. 20к строк - 20к портов и на каждый порт свой прокси. Вот его и грузи сколько потоков столько онлайн. да я разобрался,теперь встала другая проблема,трафик жрет,в логах смотрю по 13000-15000 обращений к прокси за 5 мин,на слоу режиме в 500 потоков,как то трафик экономить можно? Edited March 20, 2019 by tema1234321
Relic Posted March 20, 2019 Posted March 20, 2019 4 минуты назад, tema1234321 сказал: да я разобрался,теперь встала другая проблема,трафик жрет,в логах смотрю по 13000-15000 к прокси за 5 мин,на слоу режиме в 500 потоков,как то трафик экономить можно? Что ты написал , сам понял?
Guest tema1234321 Posted March 20, 2019 Posted March 20, 2019 3 минуты назад, Relic сказал: Что ты написал , сам понял? да,жрет большое количество трафика,за 5 минут по 10000-15000 запросов к прокси при работе программы на слоу режиме в 500 потоков)
Relic Posted March 20, 2019 Posted March 20, 2019 2 минуты назад, tema1234321 сказал: да,жрет большое количество трафика,за 5 минут по 10000-15000 запросов к прокси при работе программы на слоу режиме в 500 потоков) Прокси говно?
Guest tema1234321 Posted March 20, 2019 Posted March 20, 2019 Только что, Relic сказал: Прокси говно? резидентские топовые прокси)может в менеджере настройки подрихтовать
Guest tema1234321 Posted March 20, 2019 Posted March 20, 2019 просто думаю что ограничить именно и как,условно при 500 потоках они выдают 1500-2000 зрителей на слоу режиме,но трафик 200 мб за 5 минут эта жесть)
Relic Posted March 20, 2019 Posted March 20, 2019 29 минут назад, tema1234321 сказал: просто думаю что ограничить именно и как,условно при 500 потоках они выдают 1500-2000 зрителей на слоу режиме,но трафик 200 мб за 5 минут эта жесть) А у тебя типо прокси по трафику? Условно 50 гигов на месяц??
Guest tema1234321 Posted March 20, 2019 Posted March 20, 2019 5 минут назад, Relic сказал: А у тебя типо прокси по трафику? Условно 50 гигов на месяц?? у меня нет ограничений,но трафик стоит деняк)ну собсна пока не платил
Recommended Posts