Testy A/B giełdy domen

[Dropped.pl 209]

Zachęcony następującym tematem:

 

http://di.pl/topic/94528-nowa-wersja-gieldy-aftermarketpl-promocje-od-lipca-2013/page-10?do=findComment&comment=554495

 

postanowiłem sprawdzić przedstawione sugestie i przetestować dwie wersje strony z ofertą sprzedaży domeny:

 

1. Dotychczasowa strona.

2. Prosta strona z usuniętymi wszystkimi elementami, które mogłyby "rozproszyć" kupującego, czyli menu, linkami do obserwacji domeny itp.

 

W ramach testów, dwie wersje ofert były pokazywane przez tydzień użytkownikom którzy wchodzili bezpośrednio na ofertę sprzedaży po wpisaniu nazwy domeny.

 

W teorii, usunięcie zbędnych odnośników miało zwiększyć liczbę składanych ofert. Wyniki okazały się następujące:

 

1. Liczba kliknięć na przycisk "Złóż ofertę" była o 25% większa w przypadku prostej oferty

...ale...

2. Liczba faktycznie złożonych ofert okazała się w tym przypadku o 10% niższa.

 

Co to w praktyce znaczy? Mniejsza liczba "rozpraszających" elementów faktycznie powoduje więcej klknięć w istotne dla na przyciski, co jednak nie przekłada się wcale na większą liczbę złożonych ofert. Na gorąco, patrząc na te wyniki mam wrażenie, iż po prostu użytkownicy "klikacze", mając mniej elementów do kliknięcia, kilkają jedynie w to co mają do dyspozycji, ale dla poważnych nabywców liczba różnych dodatkowych elementów nie ma większego znaczenia...

 

Dzisiaj do testów wprowadzimy dodatkowy element - możliwość składania ofert przez niezalogowanych użytkowników, i zobaczymy jak to wpłynie na liczbę składanych ofert.

[apze 1,062]

Ostatni akapit mnie zainteresował. Nie mogę doczekać się wyników. Mam nadzieję jednak, że będą zaprezentowane w tym temacie, nie nowym

[Pan_Grzegorz 921]

Nie znam szczegółów w jaki sposób ten test został przeprowadzony żeby ocenić na ile odzwierciedla on rzeczywistość, ale tak czy inaczej dziękuję że zainteresowałeś się moją sugestią i że postanowiłeś to sprawdzić.

 

Jeżeli posiadacie dane na temat wyboru opcji skontaktuj się ze sprzedającym to również proszę coś o tym napisać.

 

Generalnie takie dane są ciekawe i jeżeli przeprowadzacie podobne testy to warto zamieszczać o tym informacje na forum.

Edited July 15, 2013 by Pan_Grzegorz

[Owner 115]

Witam,

 

Wydaje mi się że aby wyciągnąć jakiekolwiek wnioski należałoby przeprowadzić test na co najmniej kilku podobnej klasy domenach i wynik (zależność) powinna być powtarzalna. Imo przy jednym teście (domenie) otrzymane obserwacje są zbyt bardzo obciążone czynnikiem losowym lub mogą być skorelowane z całkiem czymś innym niż wygląd strony.

 

Pozdrawiam,

[Dropped.pl 209]

Nie znam szczegółów w jaki sposób ten test został przeprowadzony żeby ocenić na ile odzwierciedla on rzeczywistość, ale tak czy inaczej dziękuję że zainteresowałeś się moją sugestią i postanowiłeś to sprawdzić.

 

Jeżeli posiadacie dane na temat wyboru opcji skontaktuj się ze sprzedającym to również proszę coś o tym napisać.

 

Został on przeprowadzony dokładnie tak, jak opisałem powyżej. Ponieważ napisałeś, że duża część klientów końcowych nabywa domeny po wejściu bezpośrednio na ofertę sprzedaży, postanowiłem skupić się na tego typu użykownikach. Test dotyczył zatem osób, które wchodzą bezpośrednio na ofertę sprzedaży, natomiast nie dotyczył osób docierających tam w inny sposób (przez wyszukiwarkę itp).

 

Użytkownikom tym była prezentowana oferta sprzedaży z menu lub bez. Mierzona była liczba kliknięć na każdy odnośnik na stronie. Dodatkowo przy każdym kliknięciu, skrypt sprawdzał też czy użytkonik dokonał faktycznego złożenia oferty, poprzez sprawdzenie listy złożonych ofert w systemie.

 

Jeśli idzie o odnaśnik "Skontaktuj się ze sprzedającym", to liczba kliknięć w niego była taka sama przy obu wersjach oferty. Aczkolwiek ogólnie liczba kliknięć w niego w tym teście była znikoma w stosunku do innych przycisków.

 

 

 

Witam,

 

Wydaje mi się że aby wyciągnąć jakiekolwiek wnioski należałoby przeprowadzić test na co najmniej kilku podobnej klasy domenach i wynik (zależność) powinna być powtarzalna. Imo przy jednym teście (domenie) otrzymane obserwacje są zbyt bardzo obciążone czynnikiem losowym lub mogą być skorelowane z całkiem czymś innym niż wygląd strony.

 

Pozdrawiam,

 

Może nie do końca to wyraziłem, ale test był wykonany na wszystkich domenach wystawionych na sprzedaż, nie na jednej. Przedstawione wyniki są uśrednione po danych z 40000 wejść na stronę.

Edited July 15, 2013 by Dropped.pl

[zabaco 1,339]

dziś otrzymałem ofertę od niezalogowanego klienta, z ciekawości ją zaakceptowałem, żeby zobaczyć jak będzie z finalizacją...

według mnie AM powinno wprowadzić taką opcje - gdy sprzedający akceptuje ofertę od niezalogowanego użytkownika to domena nie będzie usunięta z giełdy do czasu jej opłacenia.

[Dropped.pl 209]

dziś otrzymałem ofertę od niezalogowanego klienta, z ciekawości ją zaakceptowałem, żeby zobaczyć jak będzie z finalizacją...

według mnie AM powinno wprowadzić taką opcje - gdy sprzedający akceptuje ofertę od niezalogowanego użytkownika to domena nie będzie usunięta z giełdy do czasu jej opłacenia.

 

To może byc nietrywialne - co jeśli np. domena ma cenę Kup Teraz, i kupi ją ktoś inny?

 

BTW, w tej chwili, patrząc na listę ofert od niezalogowanych użytkowników, widzę że większości oscylują one w granicach 10-100 zł, ofertą którą zaakceptoewałeś jest najwyższą jak do tej pory ofertą od takiego użytkownika. Z racji charakteru tej oferty (treść komentarza , jest spora szansa że będzie opłacona, co może niekoniecznie być miarodajne w stosunku do całości Testy trwają, musimy trochę pocekać aż uzbiera się dostatecznie dużo takich ofert aby na ich podstawie coś wnioskowac.

[tomon 134]

To może byc nietrywialne - co jeśli np. domena ma cenę Kup Teraz, i kupi ją ktoś inny?

 

... wtedy ten ktos ( ten drugi kupujący ) może dostać informajcje że domena jest w postępowaniu i jeśli nie zostanie opłacona w terminie x dni wtedy nasepny klient dostanie info o możliwosci kupna - tak głośno myśle , plus takiego podejścia jest taki ze w przypaku takim drugi klient moze kupić domene nie tylko ze względów bo potrzebuje / podoba mu sie ale również ze względu że ktos inny tez na nią czycha. Druga strona medalu ejst taka ze moze sobie pomyśleć ze ktos jej nie opłacił bo cena jest nie adekwatna do wartości.... itd itd

[zabaco 1,339]

To może byc nietrywialne - co jeśli np. domena ma cenę Kup Teraz, i kupi ją ktoś inny?

 

BTW, w tej chwili, patrząc na listę ofert od niezalogowanych użytkowników, widzę że większości oscylują one w granicach 10-100 zł, ofertą którą zaakceptoewałeś jest najwyższą jak do tej pory ofertą od takiego użytkownika. Z racji charakteru tej oferty (treść komentarza , jest spora szansa że będzie opłacona, co może niekoniecznie być miarodajne w stosunku do całości Testy trwają, musimy trochę pocekać aż uzbiera się dostatecznie dużo takich ofert aby na ich podstawie coś wnioskowac.

 

Niestety dostałem dziś wiadomość, że oferta nie będzie opłacona bo prezes się rozmyślił. Dobrze, że chociaż dziś a nie za 5dni.

 

Edit:

I jak mogę Cię prosić to anuluj tą transakcję, bo jak w panelu tego zrobić nie mogę. A nie będę pisał ticketów, bo ostatnio ciężko się jest dogadać z obsługą.

Edited July 18, 2013 by zabaco

[Dropped.pl 209]

Testy trwają już 20 dni, pora na odświeżenie wyników

 

Liczba kliknięć w przycisk "Złóż ofertę" jest nadal o 25% większa w przypadku prostych prezentacji ofert (bez menu).

Liczba faktycznie złożonych ofert jest aż o 20% mniejsza w przypadku prostych prezentacji ofert.

 

Potwierdzają się zatem wyniki ze wstępnego testu - usunięcie menu i innych dodatkowych odnośników z oferty wcale nie wpływa pozytywnie na liczbę ofert otrzymywanych przez sprzedawcę. Zachęca jedynie "klikaczy" do klikania w przycisk na stronie oferty, jako że mają w sumie mniej elementów do klikania.

 

Postanowiłem także sprawdzić statystyki ofert składanych przez użytkowników niezarejestrowanych. Funkcja składania takich ofert została włączona dla jednej czwartej domen. W statystykach brane są pod uwagę tylko oferty składane przez nowych użytkowników (aby odsiać użytkowników którzy już wcześniej rejestrowali się na giełdzie - byliby zawsze liczeni jako zarejestrowani, co znacząco zaburzałoby statystykę):

 

Liczba ofert złożonych przez niezarejestrowanych użytkowników w przeliczeniu na jedną ofertę sprzedaży jest o 65% wyższa niż przez użytkowników rejestrujących się.

ale...

Liczba ofert faktycznie zaakceptowanych przez sprzedawców jest aż trzykrotnie niższa w przypadku ofert składanych przez użytkowników niezarejestrowanych.

 

Co oznacza ta ostatnia metryka? Można przyjąć (z pewnym marginesem błędu, oczywiście) że liczba ofert faktycznie zaakceptowanych wskazuje na to, na ile sprzedawcy są zadowoleni z cen oferowanych przez nabywców. Oczywiście statystykę tę może zaburzyć fakt, że sprzedawcy mogą bardziej niechętnie akceptować oferty od użytkowników niezarejestrowanych; niemniej jednak trzykrotna różnica jest bardzo znacząca (akceptowanych jest 54% ofert składanych przez użytkowników rejestrujących się, zaś tylko 16% od użytkowników niezarejestrowanych).

 

Aby to dodatkowo sprawdzić, porównałem kwoty ofert składanych przez te dwie grupy użytkowników. Wartość środkowa (mediana) kwoty ofert składanych przez użytkowników rejestrujących to 300 zł, zaś użytkowników niezarejestrowanych to jedynie 50 zł. Nic dziwnego, że sprzedawcy nie są skłonni akceptować tych ofert - są one zdecydowanie niższe.

 

Oba te przypadki pokazują niestety podobny trend - usunięcie różnych elementów strony (menu, dodatkowych odnośników, procesu rejestracji, itp) sprzyja składaniu ofert, ale nie przez poważnych nabywców. W rezultacie, wbrew pozorom, wcale nie wpływa pozytywnie na sprzedaż domen na giełdzie...

[sebastian0000 177]

Oba te przypadki pokazują niestety podobny trend - usunięcie różnych elementów strony (menu, dodatkowych odnośników, procesu rejestracji, itp) sprzyja składaniu ofert, ale nie przez poważnych nabywców. W rezultacie, wbrew pozorom, wcale nie wpływa pozytywnie na sprzedaż domen na giełdzie...

Powyższy wniosek może tyczyć się jedynie usunięcia różnych elementów strony oferty. Natomist drugi test pokazuje ewidentnie że warto udostępnić możliwość skadania ofert użytkownikom niezalogowanym. Po pierwsze 16% zaakceptowanych ofert takich użytkowników to sporo, pewnie gdyby musieli się rejestrować to większość by i tak to zrobiła ale pewnie część zrezygnowałą by i żadnej oferty by nie złożyli. Po drugie, te ofery na średnio 50 zł zostały złożone przez użytkownków pewnie w celu zorientowania się jaka jest cena, być może w przyszłości zakupią domenę lub podejmą negocjacje (jeśli by musieli się zarejestrować, część pewnie nie złożyłaby nawet oferty żeby dowiedzieć się jaka jest cena).

 

Mnie interesuje jeszcze taka kwestia, ile z tych 16% zaakceptowanych ofert użytkowników niezalogowanych została opłacona ? Wydaje mi się że to jest najbardziej istotne bo jeśli jest to np. kilka procent to to co napisałem powyżej nie ma sensu.

[Andro 152]

Kiedy użytkownik wystawia domenę na giełdzie, to przyjmuje warunki gry serwisu. Wówczas to, że są linki na górze, aż tak nie przeszkadza, po prostu jest wymiana ruchu. Jeżeli byłaby opcja wyboru, to każdy by sam wybrał optymalne rozwiązanie, jaki formularz oferty umieszcza na domenie.

 

To co jest istotne, to by użytkownik miał wybór, pierwszy - może umieścić domenę na giełdzie, i wtedy godzi się na rozwiązania przyjęte dla giełdy, także linki kierujące do serwisu. Jednak kiedy nie decyduje się wystawić domeny na giełdzie, np. ze względu na charakter domeny i klienta, to wtedy powinna być możliwość ustawienia takiego formularza kontaktowego, który będzie pozbawiony wszelkich linków kierujących do serwisu. Dlatego potrzebny jest formularz, gdzie będzie tylko możliwość kontaktu z właścicielem, najlepiej od razu z widocznymi polami do kontaktu. Kto uważa, że jest to niezbędne dla jego domen, ten będzie mógł włączyć taki alternatywny formularz. W przypadku droższych domen, zdarza się, że klient słabiej znający temat domen, widząc tanie oferty na giełdzie, używa ich jako argumentu. Dlatego formularz kontaktowy oraz formularz rejestracyjny pozbawione wszelkich linków są niezbędne. Aktualnie traci na tym sam serwis, bo są klienci, których nic innego nie interesuje poza wybraną domeną, ale nie zapłacą zbyt wiele, kiedy zobaczą tanie oferty na giełdzie.

 

Kolejną rzeczą, która byłaby przydatna, to informacja, w jaki sposób klient, który kupił domenę lub złożył ofertę, trafił na domenę, czy bezpośrednio, czy poprzez wyszukiwanie ofert na giełdzie. Inna sprawa, kiedy klient klika Kup Teraz pojawia się informacja o obserwacji domeny i użytkownika, dobrze jakby sprzedawca mógł to wyłączyć. Umieszczenie w tym miejscu zachęty do obserwacji zaskakuje, także powinien być przynajmniej wybór. W trakcie aukcji ta informacja też nieraz przeszkadza, kiedy chcemy złożyć szybko ofertę, powinna być jak najprostsza droga, a pojawia się zbyt wiele informacji, pozycje raz są zaznaczone, innym razem nie. Także warto pomyśleć nad tym rozwiązaniem.

[speluna 2]

No dobra, miesiąc ponad minął, co z tymi testami dalej?