Jump to content
maciej_p

Robot do poszukiwania domen wolnych do zarejestrowania

Recommended Posts

Napisałem robota który zbiera z internetu słowa i sprawdza czy są dostępne do zarejestrowania jako domeny z końcówkami pl, com.pl, com, net, org, info, eu

Więcej info o jego działaniu http://spokodomeny.pl/generator-domen/

Wyniku poszukiwań udostępniam tu: http://spokodomeny.pl/category/generator/

Mam nadzieję, że się przyda ;)

Wiem, że przeczesywanie strony może być problematyczne, więc w planach jest integracja z Twitterem i Facebookiem.

Share this post


Link to post
Share on other sites
Guest Anubis

"robot odwiedza stronę i zbiera wszystkie słowa" - to mnie martwi.

Share this post


Link to post
Share on other sites
Guest Anubis

słowa nie będą się powtarzały + robię moderację (odpada póki co 50%)

 

Nie chodzi mi o powtarzanie się słów. Chodzi mi o to że 90% (albo więcej) domen wygenerowanych w ten sposób to będą zwykłe ninje.

 

Poza tym taki robot słabo działa. Przykład: mienie.pl pokazuje że wolna a tymczasem jest zajęta od 2008 roku.

Edited by Anubis

Share this post


Link to post
Share on other sites

Nie chodzi mi o powtarzanie się słów. Chodzi mi o to że 90% (albo więcej) domen wygenerowanych w ten sposób to będą zwykłe ninje.

 

Poza tym taki robot słabo działa. Przykład: mienie.pl pokazuje że wolna a tymczasem jest zajęta od 2008 roku.

 

bo nie ma rekordu A, pewnie na tym się opiera - są lepsze metody, nawet przy sprawdzaniu bez użycia whois.

na stronie widziałem też, że nasdaq.org okresla jako wolną, a jest zajęta, z tym że też brakuje rekordu A.

Share this post


Link to post
Share on other sites

Jasne, ja sprawdzam przy użyciu komendy dig i parsuję wynik pod kątem wystąpienia ciągu NXDOMAIN (non-existent domain) - dzięki temu nie pokazują mi się domeny, które istnieją, a jedynie nie mają rekordu A, czy też mają SERVFAIL. Możesz sobie sprawdzić, że nasdaq.org ma status: NOERROR - czyli istnieje i jest poprawnie delegowana na serwery nazw. NXDOMAIN niekoniecznie oznacza że domena jest wolna, ten status będą mieć też domeny wygasające, rezerwacje itd. - wszystkie które nie są w strefie. W niektórych przypadkach będą to też domeny nie posiadające przypisanych serwerów nazw - w .pl można je policzyć na palcach jednej ręki, ale wśród domen globalnych to wcale nie jest rzadkie. Dlatego dla domen globalnych, jeśli chcesz być maksymalnie precyzyjny, warto zastosować dodatkową weryfikację przez whois - dla .com czy .net praktycznie nie ma limitów, dla .org są limity, ale nie pamiętakm dokładnie jakie (chyba jedno zapytanie na kilka sekund powinno przejść), przy .eu trzeba uważać, bo przy przekroczeniu limitu dostajesz banana na dwa lata ;-) - a dla .pl masz marne 100 odpytań na dobę, więc nie ma nawet o czym myśleć. .info, .biz - nie mam pojęcia czy/jakie są limity. Powodzenia. ;-)

  • Like 1

Share this post


Link to post
Share on other sites

jeszcze co do whois .com i .net - on się w praktyce składa z dwóch części, "górna" jest dostarczana bezpośrednio przez verisign, a "dolna" - dane abonenta itd. - przez rejestratora. dlatego możesz się spotkać z tym, że dolnej nie będzie Ci zwracać, bo bo dostałeś bana za zbyt wiele odpytań od danego rejestratora, ale górną zwraca zawsze, nie spotkałem się z banem przy normalnym używaniu (w skryptach), więc parsuj górną lepiej.

Share this post


Link to post
Share on other sites

zmodyfikowałem skrypt i zamiast sprawdzać nagłówki dałem warunek

 

if(count(dns_get_record($domena))==0){
wolna
}{
zajęta
}

 

Rezerwacja - to chyba już jedyna rzecz przez którą domena może być pokazana jako wolna

Share this post


Link to post
Share on other sites

Sorry 43. No ale chyba nie powiesz, że łączysz się curlem do whoisa na porcie 43 przez proxy? :)

Share this post


Link to post
Share on other sites

No to powiedz mi jak to robisz bo curl obsługuje zupełnie inny protokół niż whois.

Share this post


Link to post
Share on other sites
No to powiedz mi jak to robisz bo curl obsługuje zupełnie inny protokół niż whois.

 

ja tylko informuję że istnieje sposób przy użyciu cURL + lista serwerów PROXY na odpytanie bazy WHOIS poprzez adresy PROXY, nie będę niczego udowadniać ani podawać gotowych rozwiązań bo to nie leży w moim interesie.

 

Warto prześledzić opcje jakie dostarcza cURL, jest tam wszystko co trzeba.

Edited by coolos

Share this post


Link to post
Share on other sites

ja tylko informuję że istnieje sposób przy użyciu cURL + lista serwerów PROXY na odpytanie bazy WHOIS poprzez adresy PROXY, nie będę niczego udowadniać ani podawać gotowych rozwiązań bo to nie leży w moim interesie.

 

Warto prześledzić opcje jakie dostarcza cURL, jest tam wszystko co trzeba.

 

Pod warunkiem, ze masz kilka dobrych anonimowych proxy. A i tak trzeba miec ich sporo, by moc jakas sensowna ilosc razy odpytywac...

 

Najlepiej, to interweniowac w NASK by zwiekszyli ta ilosc do tysiaka z limitem odpytan 1/1sek czy jakies inne restrykcje dla orajacych i nie byloby potrzeby robienia protez. Bo na chwile obecna, to ci co orali, oraja nadal, a ci co korzystali od czasu do czasu, zostali mocno ograniczeni.

  • Like 1

Share this post


Link to post
Share on other sites

Najlepiej, to interweniowac w NASK by zwiekszyli ta ilosc do tysiaka z limitem odpytan 1/1sek czy jakies inne restrykcje dla orajacych i nie byloby potrzeby robienia protez. Bo na chwile obecna, to ci co orali, oraja nadal, a ci co korzystali od czasu do czasu, zostali mocno ograniczeni.

 

Dokładnie, przydałaby się jakaś akcja Stowarzyszenia - pismo do NASK o zwiększenie limitów dostepu do whois, najlepiej do poprzedniego poziomu. Mi osobiście to niepotrzebne, bo prywatnie nie odpytuję dziennie tylu domen żeby się załapać na limit, ale przez limity musieliśmy znacznie ograniczyć dostęp do whois dla klientów w premium.pl, co już takie fajne nie jest. Ale nie tylko o to chodzi. Ostatnio bawiłem się trochę z listami domen globalnych i "szokujące" jest to, że na whois com i net nie ma żadnych limitów, można sobie rzeźbić ile się chce i najwyżej ucieknie czasem jakieś zapytanie, ale o realnych limitach czy banie nie ma mowy. Napisałem szokujące, bo przecież jest to whois globalny, na pewno orzą go w każdej sekundzie dziesiątki tysięcy skryptów, nie wspominając o zwykłych sprawdzaczach. Jakim więc cudem to działa? Zarówno w Verisign jak i w NASK patrzą na *kasę*, tylko w NASK patrzą od złej strony... w NASK ograniczyli dostep do whois, żeby nie musieć rozbudowywać serwerów obsługujących zapytania. Sposób znany i lubiany przez drogowców - jeśli droga jest dziurawa, stawiamy ograniczenie prędkości do 30 km/h. Z kolei w Verisign robią wszystko by whois działał sprawnie i szybko dla wszystkich, bo wiedzą, że wszycy ci sprawdzacze i skrypciarze nie robią tego im na złość, tylko szukają domen do zarejestrowania, ew. przechwycenia (ok, jakaś część to spamboty - ale to "zło konieczne"), a skoro szukają domen do zarejestrowania, to oznacza jedno: $$$. Przydałoby się, żeby NASK to zrozumiał i przestał traktować domainerów jako zło konieczne (nieraz słyszałem, że domeny kupowane przez inwestorów stanowią margines wszystkich rejestracji, więc dedykowane rozwiązania dla nich nie mają uzasadnienia)...

Share this post


Link to post
Share on other sites

Dodalbym, ze ten caly wynalazek NASK bardziej obciaza ich serwer, nizby nie bylo tego ograniczenia. O ile taka blokada ma sens na WWW, gdzie mozna posilkowac sie loginami, captcha, cookies itd, o tyle na porcie udp, gdzie jest tylko wymiana malych paczek danych, nie widze zadnego sensu. Przeciez rejestracja kazdej operacji (zapis IP, daty, sprawdzenie poprzedniej daty zapytania etc) zajmuje wiecej czasu procesora, niz kilka normalnych zapytan bez tej czynnosci.

 

Mi to wyglada albo na nadgorliwosc, albo na jakas debilna prace doktorska (magisterska?!), albo totalna inwigilacje, albo olera wie co jeszcze. W kazdym badz razie, tak jak powyzej napisal pb, odpytujac globalne serwery, nie dosc, ze limitow nie ma, to na dodatek dziala to na oko szybciej, pomimo DWOCH zapytan!

 

Ci co maja zmienne IP, badz duza podklase adresow, jakos sobie poradza (najwyzej modem od Neo zresetuja). Jednakze ci, co sa na stalym IP i to jeszcze dzielonym, dostali mocno po dupie za nic...

 

Dziwne to tym bardziej, ze w dobie coraz szybszych komputerow i lączy, NASK funduje takie ograniczenia, jakby mial tam 386 i 2MB RAM oraz archaiczne SDI (ograniczone PPS)

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now

×