Sprawdzanie dostępności domen...

[bili]

Witam!

 

Chcę napisać sobie skrypt, który umożliwi mi sprawdzenie masowo domen PL czy są wolne i napotkałem przy tym na problem. Wstępnie odsiewam domeny, które mają przypisane rekordy DNS, a potem sprawdzam whois... i tu pojawia się problem, bo nawet jeżeli whois zwraca informację "no info..." to może się okazać że domena jest w trakcie rejestracji/jest zarezerwowana. Istnieje jakiś rozsądny sposób na dodatkowe sprawdzenie, czy domena z "no info..." w whois jest rzeczywiście wolna?

[apze]

Omijasz limit 100 zapytań do whois?

[pb]

Chcę napisać sobie skrypt, który umożliwi mi sprawdzenie masowo domen PL czy są wolne i napotkałem przy tym na problem. Wstępnie odsiewam domeny, które mają przypisane rekordy DNS, a potem sprawdzam whois... i tu pojawia się problem, bo nawet jeżeli whois zwraca informację "no info..." to może się okazać że domena jest w trakcie rejestracji/jest zarezerwowana. Istnieje jakiś rozsądny sposób na dodatkowe sprawdzenie, czy domena z "no info..." w whois jest rzeczywiście wolna?

Nie ma takiego sposobu przy korzystaniu ze zwykłego WHOIS, trzeba mieć dostęp partnerski do bazy NASK. To, o co pyta apze, też mnie ciekawi – co z limitem odpytań? Domen zwalnia się przecież kilkaset dziennie...

[bili]

No to zacznę od tego, że jestem bardzo początkujący w dziedzinie domen, ale o informatyce mam jakieś tam pojęcie ;P Co do limitu whois'a to udało mi się go obejść korzystając z sieci TOR, ale skrypt przez to jest masakrycznie wolny Sprawdzenie jednej domeny to nawet 10-15 sekund. Być może to też kwestia kiepskiego łącza jakie mam (512/64 kbps). Dobrze, że można wstępnie odsiać te domeny, które na pewno są zajęte.

 

Jakieś pytania jeszcze?

[apze]

Chcesz wkleić liste i poczekac paręnaście minut i zobaczyc efekty? Cos jak dokladniejsze host.di.pl?

Wydaje mi się, że ratuje Cię tylko to o czym pisze vpb, partnerstwo z DomainMaker lub obciążenie jakiegoś rejestratora choćby stronę dns.pl

[bili]

Chyba obciążę jakiegoś rejestratora

[apze]

Nie znam TOR'a, ale odpytywanie z jednego IP grozi banem.

[bili]

Korzystając z TOR'a masz co kilka-kilkanaście minut inne IP.

[pb]

Robiłem testy z użyciem TORa i zrezygnowałem właśnie ze względu na jego powolność. Przy łapaniu domen te kilkanaście sekund zwykle przesądza o porażce (chyba że akurat polujesz np. na superzajebistadomena.pl ;-).

[gosel]

Co do ominięcia limitu i zwiększenia wydajności to polecałbym odpalanie skryptu na dobrym shellu, proxując połączenie przez odpowiednią ilość proxy i obciążając równomiernie wielu registrarów (wielowątkowo), w ten sposób w ciągu 10-15 sekund można spokojnie odpytać 10-15 albo i 100 domen i zwielokrotnić limit zapytań. Wystarczy napisać dobry mieszacz. Tylko cii, ten post to taki edukacyjny, nie żebym zachęcał do obciążania bazy whois czy coś...

[pb]

Co do ominięcia limitu i zwiększenia wydajności to polecałbym odpalanie skryptu na dobrym shellu, proxując połączenie przez odpowiednią ilość proxy i obciążając równomiernie wielu registrarów (wielowątkowo)

 

Ale pl ma tylko jeden registry. Czy może chodzi ci o dostęp przez API do różnych registrarów? Ale wtedy proxy ani nie jest potrzebne, ani pomocne. ;-)

[apze]

Czy może chodzi ci o dostęp przez API do różnych registrarów?

Na palcach 1 reki mozna policzyć ile udostępnia API, a i tak zablokują za takie coś

 

Ja mialem na mysli podszywanie sie pod przeglądarkę/usera.

[pb]

Na palcach 1 reki mozna policzyć ile udostępnia API, a i tak zablokują za takie coś

 

Ja mialem na mysli podszywanie sie pod przeglądarkę/usera.

 

No, to jest wyjście, ale to też ma swoje limity, a jak ktoś zacznie szaleć to zaraz wprowadzą jakieś zabezpieczenia. Zresztą whois jest chyba udostępniany z captcha, a tu już trzeba się trochę pomęczyć, żeby to obejść.

[bili]

Podszywałem się już pod przeglądarkę, np. na http://www.domenka.org/whois/ nie dostaje się bana, ale działa to chyba niestety na zasadzie klasycznego whois'a, bo nie rozpoznaje zarezerwowanych domen. Próbowałem też na dns.pl, ale tam się bardzo szybko kończy limit. Muszę znaleźć coś lepszego.

 

@gosel, wiem, że to byłby najlepszy sposób, ale jak napisałem, na razie jestem początkujący i sobie dopiero eksperymentuje. Będę musiał pomyśleć nad wykorzystaniem tych proxy. Na szczęście wczoraj udało mi się rozgryźć SOCKSv4a więc z grubsza wiem jak to zrobić.