Jump to content
BartX

Masowe odpytywanie whois - pytanie "troche" teoretyczne

Recommended Posts

Witam,

 

Mam do Was takie pytanie.

 

Zalozmy, ze istnieje mozliwosc masowego odpytywania whois:

 

1. Sa jakies dane, ktore Was szczegolnie interesuja, data utworzenia, wygasania, opcja czy najlepiej caly wpis z whois?

2. W jakiej postaci chcielibyscie dostac takie informacje - przykladowo odpytujemy whois o 10 000 domen. Kazdy wpis zapisany do bazy i manualne przegladanie kazdego wpisu na stronie, czy moze w formie ogolnego raportu: domena, status, data utworzenia, wygasanie, opcja itp? Raport na stronie czy raczej excel.

3. Ile domen dziennie chcielibyscie odpytywac: kilkaset, kilka tysiecy, kilkanascie tysiecy?

 

Dzieki i pozdrawiam,

Bartek

 

 

 

 

Share this post


Link to post
Share on other sites

- baza sql, jedna informacja = jedna kolumna, abym mogl ja przeszukac po dacie utworzenia, mod, , rejestratorze opcjach

- ostatecznie moze byc format csv

- 10 tys dziennie....lub do przeszukania calej mojej bazy ;)

Share this post


Link to post
Share on other sites

1. Data utworzenia, data wygasania, data założenia opcji, data wygasania opcji i ew. informacja o abonencie, ale bez pełnych danych - czy osoba fizyczna, czy osoba prawna wystarczy.

2. Zdecydowanie Excel.

3. Kilkaset... miesięcznie :D

 

Fajnie byłoby, gdyby dane były zachowywane gdzieś na stronie, na koncie użytkownika - ot, chociażby aby uniknąć powtórzeń.

 

Na pytanie, które jeszcze nie padło - byłbym w stanie płacić za takie narzędzie do kilkunastu złotych miesięcznie, ale tylko dlatego, że obecnie nie posiadam zbyt rozbudowanej bazy domen - nie oznacza to, że tak je wyceniam. Gdybym takową posiadał, to oczywiście wartość narzędzia dla mnie wzrasta. Tu dobrym rozwiązaniem (jeżeli rozważasz monetyzację) byłby wachlarz pakietów abonamentowych.

Edited by Geekboy68k

Share this post


Link to post
Share on other sites

Edit!

Po przeczytaniu dokumentu poleconego przez pb - cofam pytanie :D

 

Dzieki pb!

Edited by BartX

Share this post


Link to post
Share on other sites

Ale bełkot, ta ustawa.

Jednak w jaki sposób pomysł przedstawiony przez BartX z nią koliduje? Użytkownik/klient przesyła bazę, zgadzając się na jej przetworzenie, tak samo w drugą stronę.

Share this post


Link to post
Share on other sites

Autorem i właścicielem bazy whois domen .pl jest nask.

Edited by pb

Share this post


Link to post
Share on other sites

Opierając się na opracowaniu Piotra Waglowskiego: http://www.web.gov.pl/g2/big/2009_12/299987d1e4230131db6ab8f763332f64.pdf

 

>> Aby spełnić definicję ustawową, baza danych, obok wskazanych w poprzedniej części cech,

musi być również zbiorem wymagającym „istotnego, co do jakości lub ilości, nakładu inwestycyjnego

w celu sporządzenia, weryfikacji lub prezentacji jego zawartości”. Dyrektywa posługuje się, dla oddania

tego sensu, słowami „jakościowej i/lub ilościowej, istotnej inwestycji dla uzyskania weryfikacji lub prezentacji

jej zawartości”. <<

 

>> Pojęcie inwestycji związanej z uzyskaniem zawartości bazy danych (...) należy rozumieć jako określające

środki poświęcone na poszukiwanie już istniejących materiałów i ich gromadzenie w tej bazie danych. <<

 

>> (...) inwestycja związana

z weryfikacją zawartości bazy danych, którą należy rozumieć jako „nakład środków na kontrolę ścisło-

ści poszukiwanych materiałów podczas tworzenia tej bazy danych i w okresie jej funkcjonowania w celu

zapewnienia dokładności informacji zawartych w tej bazie”. Tu Trybunał uznał, że nie są objęte tym poję-

ciem „środki poświęcone w fazie tworzenia na weryfikację materiałów, które następnie gromadzone są

w bazie”. Dał też przykład związany z rozstrzyganym sporem: „środki poświęcone na sporządzenie listy

koni uczestniczących w gonitwie i na dokonaną w tych ramach weryfikację nie stanowią inwestycji zwią-

zanej z uzyskaniem i weryfikacją zawartości bazy danych, w której znajduje się ta lista”. <<

 

Myślę, że abonenci domen są właśnie takimi końmi zgłoszonymi do gonitwy. :)

Share this post


Link to post
Share on other sites

 

Myślę, że abonenci domen są właśnie takimi końmi zgłoszonymi do gonitwy. :)

 

Powiem tak: jeśli BartX chce sprawdzić co nask i/lub sąd rozumie przez "istotną co do jakości lub ilości część bazy danych", to ja nie mam z tym problemu. Ja bym się nie odważył sprzedawać fragmentów cudzej bazy danych bez zezwolenia, ale do odważnych świat należy. ;-)

Share this post


Link to post
Share on other sites

Powiem tak: jeśli BartX chce sprawdzić co nask i/lub sąd rozumie przez "istotną co do jakości lub ilości część bazy danych", to ja nie mam z tym problemu. Ja bym się nie odważył sprzedawać fragmentów cudzej bazy danych bez zezwolenia, ale do odważnych świat należy. ;-)

 

To na jakiej zasadzie działa domaintools.com z hisorią whoisa (mozliwe ze pomylilem narzędzie ale wiem ze takie jest)?

Share this post


Link to post
Share on other sites

"To na jakiej zasadzie działa domaintools.com z hisorią whoisa (mozliwe ze pomylilem narzędzie ale wiem ze takie jest)?"

 

Z tego co wiem, Polska ustawa o ochronie baz danych nie obowiązuje w USA.

Share this post


Link to post
Share on other sites

Powiem tak: jeśli BartX chce sprawdzić co nask i/lub sąd rozumie przez "istotną co do jakości lub ilości część bazy danych", to ja nie mam z tym problemu. Ja bym się nie odważył sprzedawać fragmentów cudzej bazy danych bez zezwolenia, ale do odważnych świat należy. ;-)

 

W 100% zgadzam sie z tym co napisal pb. Nie mam zamiaru dzialac ani niezgodnie ani nawet na pograniczu prawa. Skrypt laduje w koszu a ja prosze o zamkniecie tematu.

Share this post


Link to post
Share on other sites

"To na jakiej zasadzie działa domaintools.com z hisorią whoisa (mozliwe ze pomylilem narzędzie ale wiem ze takie jest)?"

 

Z tego co wiem, Polska ustawa o ochronie baz danych nie obowiązuje w USA.

A polski podmiot nie może pozwać do sądu podmiotu zagranicznego? (w sensie że baza jest wytworzona w Polsce i chroniona wg polskiego prawa)

 

W 100% zgadzam sie z tym co napisal pb. Nie mam zamiaru dzialac ani niezgodnie ani nawet na pograniczu prawa. Skrypt laduje w koszu a ja prosze o zamkniecie tematu.

Możemy przecież podyskutować teoretycznie. ;) Edited by damien

Share this post


Link to post
Share on other sites

W 100% zgadzam sie z tym co napisal pb. Nie mam zamiaru dzialac ani niezgodnie ani nawet na pograniczu prawa. Skrypt laduje w koszu a ja prosze o zamkniecie tematu.

 

Możesz też po prostu napisać do NASK i napisać czy / w jakich ramach możesz działać. To nic nie kosztuje, a mielibyśmy jasną odpowiedź.

Share this post


Link to post
Share on other sites

 

Możemy przecież podyskutować teoretycznie. ;)

 

Teoretycznie to mozesz u mnie wykupic 10h pracy skryptu a liste z domenami dostaniesz gratis ;)

Lub jeszcze bardziej teoretycznie moge Ci wypozyczyc skrypt na 10h a co z nim zrobisz to Twoja sprawa.

 

Pamietam, ze kiedys bylo glosno o czlowieku, ktory wypozyczal na kilka minut maszyne do skrecania papierosow. Wychodzilo taniej bo bez akcyzy - tu jakis link.

Share this post


Link to post
Share on other sites

Możesz też po prostu napisać do NASK i napisać czy / w jakich ramach możesz działać. To nic nie kosztuje, a mielibyśmy jasną odpowiedź.

 

Juz widze zachwycona mine pracownikow NASKu. Jak ktos bez partnerstwa chce odpytywac kilka-kilkanascie tys domen dziennie. Raczej sobie daruje ta konwersacje.

Share this post


Link to post
Share on other sites

Teoretycznie to mozesz u mnie wykupic 10h pracy skryptu a liste z domenami dostaniesz gratis ;)

Lub jeszcze bardziej teoretycznie moge Ci wypozyczyc skrypt na 10h a co z nim zrobisz to Twoja sprawa.

 

Pamietam, ze kiedys bylo glosno o czlowieku, ktory wypozyczal na kilka minut maszyne do skrecania papierosow. Wychodzilo taniej bo bez akcyzy - tu jakis link.

Jeszcze bardzo niedawno w ten sposób sprzedawano kryptomonety na allegro - "sprzedam moc potrzebną do wykopania X monet". ;)
Jasiu pyta tatę jaka jest różnica między praktycznie, a teoretycznie. Tata mówi:
- Idź zapytaj siostrę, czy się puści za 1mln złotych.
Jasiu poszedł się zapytać, siostra powiedziała, że tak.
- Teraz idź zapytaj o to samo mamę. Mama też potwierdziła.
Jasiu wraca do taty i pyta, po co to wszystko.
Tata na to:
- Widzisz synku, teoretycznie mamy 2 mln, a praktycznie dwie ku**y w domu.
  • Like 3

Share this post


Link to post
Share on other sites

Odświeżam

Chciałbym zrobić skrypt sprawdzający daną domenę .pl czy jest wolna. Jeśli okaże się zajęta to istnieje możliwość podejrzenia who is. Taki who is jak na www.who.is gdzie będzie można sprawdzać zarówno .pl jak i inne końcówki. Rozwiązanie było by darmowe. Skrypt nie kopiowałby danych do pliku, czy jakiejś bazy, tylko wyświetlałby dane na bieżąco. Rzecz jasna byłby to pojedyncze odpytania who is nie hurtowe (aczkolwiek zliczając wszystkie na raz..) Technicznie nie ma problemu coś takiego zrobić.

 

Pytanie jak takie rozwiązanie możliwe jest od strony prawnej. Nie jestem partnerem NASK. Nie przeczytałem całej ustawy powyżej, wiem tylko tyle że ma to związek z bazami danych.

Share this post


Link to post
Share on other sites

Technicznie nie ma problemu coś takiego zrobić.

 

 

Technicznie, masz rację i nie masz racji.

Whois ma limit 100 odpytań dla jednego ip na dzień.

Jeżeli 100 zapytań to dla Ciebie hurt - to fakt nie ma problemu i nie musisz się martwić o prawną stronę takiego rozwiązania.

Share this post


Link to post
Share on other sites

Technicznie, masz rację i nie masz racji.

Whois ma limit 100 odpytań dla jednego ip na dzień.

Jeżeli 100 zapytań to dla Ciebie hurt - to fakt nie ma problemu i nie musisz się martwić o prawną stronę takiego rozwiązania.

 

Z tym hurtowym odpytywaniem chodzi o to, że odpytania będą pochodzić od różnych użytkowników. Także nie wiem czy traktować to jako osobne odpytania pochodzące z różnych IP, czy traktować to jako całość (a razem może się tego nazbierać)

 

Jakie są zastrzeżenia prawne ? Na co zwracać uwagę ? Czy chodzi tylko o sprawdzanie .pl czy również o who is dla innych domen ?

Share this post


Link to post
Share on other sites

Technicznie, masz rację i nie masz racji.

Whois ma limit 100 odpytań dla jednego ip na dzień.

Jeżeli 100 zapytań to dla Ciebie hurt - to fakt nie ma problemu i nie musisz się martwić o prawną stronę takiego rozwiązania.

Powiedział co wiedział i zamilkł,

Share this post


Link to post
Share on other sites

Te limity dotycza tylko .pl

 

Z tym hurtowym odpytywaniem chodzi o to, że odpytania będą pochodzić od różnych użytkowników. Także nie wiem czy traktować to jako osobne odpytania pochodzące z różnych IP, czy traktować to jako całość (a razem może się tego nazbierać)

 

Jakie są zastrzeżenia prawne ? Na co zwracać uwagę ? Czy chodzi tylko o sprawdzanie .pl czy również o who is dla innych domen ?

 

co to znaczy, że pochodzić będą od różnych użytkowników?

 

Jeżeli NASK się zorientuje, że odpytuje jakaś klasa IP tez może przyciąć ruch do WHOISa:)

  • Like 1

Share this post


Link to post
Share on other sites

Te limity dotycza tylko .pl

 

 

co to znaczy, że pochodzić będą od różnych użytkowników?

 

Jeżeli NASK się zorientuje, że odpytuje jakaś klasa IP tez może przyciąć ruch do WHOISa:)

Chodzi o to że jak użytkownik będzie sprawdzał who is dla domeny to nie wiem, czy NASK będzie miał jego IP,, czy IP mojego serwera, na którym wgrany jest skrypt.

 

Czy istnieje jakiś alternatywny serwer who is dla .pl oprócz whois.dns.pl ?

Chodzi o proste sprawdzenie czy domena jest wolna, czy zajęta. Przy serwerze whois.dns.pl każdą domenę .pl pokazuje mi jako zajętą. Połączenie przez port 43.

Share this post


Link to post
Share on other sites

Chodzi o to że jak użytkownik będzie sprawdzał who is dla domeny to nie wiem, czy NASK będzie miał jego IP,, czy IP mojego serwera, na którym wgrany jest skrypt.

 

Czy istnieje jakiś alternatywny serwer who is dla .pl oprócz whois.dns.pl ?

Chodzi o proste sprawdzenie czy domena jest wolna, czy zajęta. Przy serwerze whois.dns.pl każdą domenę .pl pokazuje mi jako zajętą. Połączenie przez port 43.

 

NASK będzie miało IP maszyny, na której jest uruchamiany skrypt.

Zawsze pokazuje zajętą? Nie może to być. Może szukasz samych rarytasów a te są od dawna zajęte. Wpisz jakąś bezsensowną nazwę i się przekonasz.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now

×