CloudHarmony na potrzeby testów stworzyła trzy benchmarki:

1. Wydajnościowe – uwzględniono łącznie ok. 100 parametrów, m.in. wydajność CPU, liczbę operacji I/O na dyskach, operacje na pamięci.

2. Sieciowe – ta kategoria obejmuje ruch zarówno wewnątrz chmur, jak i czas dostępu z zewnątrz. W odniesieniu do ruchu wewnętrznego pomiar dokonywany jest przy wykorzystaniu sieci 50 serwerów rozmieszczonych na całym świecie, które okresowo badają i rejestrują ruch. Komunikacja na linii chmura – użytkownik sprawdzana jest za pomocą aplikacji dostępnej w przeglądarce internetowej, mierzącej czas dostępu z zewnątrz.

3. Monitorowanie dostępności, tj. przerw w działaniu usługi. Nie uwzględniono zaplanowanych wcześniej prac konserwacyjnych, które wiążą się z wyłączeniem infrastruktury.

Chmurę Oktawave sprawdzano od lipca 2013 r. do stycznia 2014 r. Biorąc pod uwagę kryterium szybkości dostępu do danych, wyrażone w operacjach wejścia-wyjścia na sekundę (IOPS), instancja Oktawave Mega (16 GB RAM, 16 VCPU) zajęła pierwsze miejsce, za nią uplasował się Windows Azure, z instancją A2 (3,5 GB RAM), a następnie Amazon z m3.xlarge (15 GB RAM). Pomiędzy dwoma skrajnymi rezultatami różnica jest prawie dziewięciokrotna.

Pod względem ogólnej wydajności dysku polska platforma także uzyskała ponad dwukrotną przewagę w porównaniu do konkurentów. Tym razem drugi był Amazon, a trzeci Azure.

Pomiarom poddano także wydajność serwera. Tutaj również numerem 1 okazał się Oktawave (instancja Mega), chociaż różnice nie były już tak znaczące. Na drugim miejscu uplasował się Amazon (instancja m3.2xlarge), a najsłabiej wypadł Azure (instancja A4).

W testach wydajności wirtualnych CPU Oktawave uzyskał 25,98 punktów (instancja Large), Amazon Web Services – 25,79 punktów (m1.xlarge), a Windows Azure – 17,28 punktów (A3).

Usługi Amazon Web Services okazały się natomiast wydajniejsze w zakresie RAM-u – 129,03 pkt (m3.xlarge), drugi był Oktawave – 64,25 pkt (Mega), a za nim Microsoft Azure – 56,48 pkt (A4).

Biorąc pod uwagę instancje wyspecjalizowane, na czele jest Oktawave, ale konkurenci nie pozostają daleko w tyle.

Pod względem szybkości dostępu do danych instancja Mega platformy Oktawave wypadła o około 37 proc. lepiej niż hi1.4xlarge Amazona. Biorąc pod uwagę wydajność dysku przewaga wyniosła prawie 20 proc.