bili 0 Report post Posted April 6, 2007 Witam! Chcę napisać sobie skrypt, który umożliwi mi sprawdzenie masowo domen PL czy są wolne i napotkałem przy tym na problem. Wstępnie odsiewam domeny, które mają przypisane rekordy DNS, a potem sprawdzam whois... i tu pojawia się problem, bo nawet jeżeli whois zwraca informację "no info..." to może się okazać że domena jest w trakcie rejestracji/jest zarezerwowana. Istnieje jakiś rozsądny sposób na dodatkowe sprawdzenie, czy domena z "no info..." w whois jest rzeczywiście wolna? Share this post Link to post Share on other sites
apze 1,062 Report post Posted April 6, 2007 Omijasz limit 100 zapytań do whois? Share this post Link to post Share on other sites
pb 2,626 Report post Posted April 6, 2007 Chcę napisać sobie skrypt, który umożliwi mi sprawdzenie masowo domen PL czy są wolne i napotkałem przy tym na problem. Wstępnie odsiewam domeny, które mają przypisane rekordy DNS, a potem sprawdzam whois... i tu pojawia się problem, bo nawet jeżeli whois zwraca informację "no info..." to może się okazać że domena jest w trakcie rejestracji/jest zarezerwowana. Istnieje jakiś rozsądny sposób na dodatkowe sprawdzenie, czy domena z "no info..." w whois jest rzeczywiście wolna? Nie ma takiego sposobu przy korzystaniu ze zwykłego WHOIS, trzeba mieć dostęp partnerski do bazy NASK. To, o co pyta apze, też mnie ciekawi – co z limitem odpytań? Domen zwalnia się przecież kilkaset dziennie... Share this post Link to post Share on other sites
bili 0 Report post Posted April 6, 2007 No to zacznę od tego, że jestem bardzo początkujący w dziedzinie domen, ale o informatyce mam jakieś tam pojęcie ;P Co do limitu whois'a to udało mi się go obejść korzystając z sieci TOR, ale skrypt przez to jest masakrycznie wolny Sprawdzenie jednej domeny to nawet 10-15 sekund. Być może to też kwestia kiepskiego łącza jakie mam (512/64 kbps). Dobrze, że można wstępnie odsiać te domeny, które na pewno są zajęte. Jakieś pytania jeszcze? Share this post Link to post Share on other sites
apze 1,062 Report post Posted April 6, 2007 Chcesz wkleić liste i poczekac paręnaście minut i zobaczyc efekty? Cos jak dokladniejsze host.di.pl? Wydaje mi się, że ratuje Cię tylko to o czym pisze vpb, partnerstwo z DomainMaker lub obciążenie jakiegoś rejestratora choćby stronę dns.pl Share this post Link to post Share on other sites
bili 0 Report post Posted April 6, 2007 Chyba obciążę jakiegoś rejestratora Share this post Link to post Share on other sites
apze 1,062 Report post Posted April 6, 2007 Nie znam TOR'a, ale odpytywanie z jednego IP grozi banem. Share this post Link to post Share on other sites
bili 0 Report post Posted April 6, 2007 Korzystając z TOR'a masz co kilka-kilkanaście minut inne IP. Share this post Link to post Share on other sites
pb 2,626 Report post Posted April 6, 2007 Robiłem testy z użyciem TORa i zrezygnowałem właśnie ze względu na jego powolność. Przy łapaniu domen te kilkanaście sekund zwykle przesądza o porażce (chyba że akurat polujesz np. na superzajebistadomena.pl ;-). Share this post Link to post Share on other sites
gosel 0 Report post Posted April 6, 2007 Co do ominięcia limitu i zwiększenia wydajności to polecałbym odpalanie skryptu na dobrym shellu, proxując połączenie przez odpowiednią ilość proxy i obciążając równomiernie wielu registrarów (wielowątkowo), w ten sposób w ciągu 10-15 sekund można spokojnie odpytać 10-15 albo i 100 domen i zwielokrotnić limit zapytań. Wystarczy napisać dobry mieszacz. Tylko cii, ten post to taki edukacyjny, nie żebym zachęcał do obciążania bazy whois czy coś... Share this post Link to post Share on other sites
pb 2,626 Report post Posted April 6, 2007 Co do ominięcia limitu i zwiększenia wydajności to polecałbym odpalanie skryptu na dobrym shellu, proxując połączenie przez odpowiednią ilość proxy i obciążając równomiernie wielu registrarów (wielowątkowo) Ale pl ma tylko jeden registry. Czy może chodzi ci o dostęp przez API do różnych registrarów? Ale wtedy proxy ani nie jest potrzebne, ani pomocne. ;-) Share this post Link to post Share on other sites
apze 1,062 Report post Posted April 6, 2007 Czy może chodzi ci o dostęp przez API do różnych registrarów? Na palcach 1 reki mozna policzyć ile udostępnia API, a i tak zablokują za takie coś Ja mialem na mysli podszywanie sie pod przeglądarkę/usera. Share this post Link to post Share on other sites
pb 2,626 Report post Posted April 7, 2007 Na palcach 1 reki mozna policzyć ile udostępnia API, a i tak zablokują za takie coś Ja mialem na mysli podszywanie sie pod przeglądarkę/usera. No, to jest wyjście, ale to też ma swoje limity, a jak ktoś zacznie szaleć to zaraz wprowadzą jakieś zabezpieczenia. Zresztą whois jest chyba udostępniany z captcha, a tu już trzeba się trochę pomęczyć, żeby to obejść. Share this post Link to post Share on other sites
bili 0 Report post Posted April 7, 2007 Podszywałem się już pod przeglądarkę, np. na http://www.domenka.org/whois/ nie dostaje się bana, ale działa to chyba niestety na zasadzie klasycznego whois'a, bo nie rozpoznaje zarezerwowanych domen. Próbowałem też na dns.pl, ale tam się bardzo szybko kończy limit. Muszę znaleźć coś lepszego. @gosel, wiem, że to byłby najlepszy sposób, ale jak napisałem, na razie jestem początkujący i sobie dopiero eksperymentuje. Będę musiał pomyśleć nad wykorzystaniem tych proxy. Na szczęście wczoraj udało mi się rozgryźć SOCKSv4a więc z grubsza wiem jak to zrobić. Share this post Link to post Share on other sites
