Startup porządkuje wielkie zbiory danych
Wydobywanie danych z repozytoriów często przypomina szukanie igły w stogu siana. Fivetran, startup z Oakland, opracował rozwiązania, które pozwala przyspieszyć i ułatwić żmudny proces.

Systemy ETL (Extract Transform Load) wspomagające procesy pozyskiwania danych z różnych źródeł istnieją niemal od pół wieku. Jednak z roku na rok stają przed coraz trudniejszymi zadaniami. Trzeba obsłużyć wiele standardów, formatów, a także przyrastających urządzeń
– Wokół ETL dzieje się wiele ciekawych rzeczy. Bardzo szybko rośnie popularność hurtowni danych oferowanych w modelu usługowym. Spadają też ceny nośników – o ile w 2000 roku GB pamięci masowej kosztował 7,70 USD, o tyle w bieżącym roku jest to zaledwie 0.02 USD. Niestety, problem polega na tym, że rozwój samych systemów ETL zatrzymał się gdzieś pod koniec lat 90. – przyznaje George Fraser, dyrektor generalny firmy Fivetran.
Nienadążające za tempem zmian systemy w ślamazarnym tempie wykonują czynności związane z czyszczeniem, integracją czy odwzorowaniem danych. Z kolei inżynierowie zamiast pracować nad złożonymi projektami, tracą czas na obrabianie cyfrowych zasobów. Fivetran obiecuje zmienić istniejący stan rzeczy. Startup opracował rozwiązania pozwalające szybko przenosić dane z repozytoriów do hurtowni danych działających w modelu chmurowym oraz systemów analitycznych. Fivetran jest kompatybilny z ponad setką systemów w tym Salesforce, Zendesk, Marketo, Oracle, Snowlake, Amazon Aurora, Azure SQL czy NetSuite. George Fraser przyznaje, że oprócz uniwersalności, atutem systemu rozwiązania jest automatyzacja, która wyróżnia produkt na tle największych konkurentów: Informatica i SnapLogic.
– Dane automatycznie są przesyłane z repozytorium do hurtowni danych. Konfiguracja systemu trwa około 90 sekund. Za kulisami tej operacji kryją się złożone mechanizmy, ale nie chcemy ich odsłaniać przed klientami. – tłumaczy George Fraser.
Fivetran powstał w 2012 roku, ma ponad 600 klientów oraz 110 pracowników. Główna siedziba firmy znajduje się w Oakland, zaś biuro EMEA w Dublinie. Jak do tej pory startup otrzymał od funduszy venture capital 15 mln dolarów. Ale wiele wskazuje na to, że zainteresowaniem tą szerzej nieznaną firmą może wzrosnąć, dzięki umowie podpisanej na początku kwietnia z Google. System Fivetran ułatwi firmom korzystanie z Google BigQuery, działającej w chmurze hurtowni danych, zoptymalizowanej pod kątem analizy dużych zbiorów danych. Użytkownicy zamiast tworzyć złożone rozwiązania umożliwiające BigQuery dostęp do zewnętrznych źródeł danych, dzięki wtyczkom Fivetran uzyskują automatyczny dostęp.
– W obecnych czasach przechowywanie danych nawet dla średniej wielkości firmy nie stanowi żadnego problemu. Cała trudność polega na tym, aby dotrzeć do potrzebnych informacji. – podsumowuje George Fraser.
Podobne artykuły
Deprecated: Creation of dynamic property Timber\Image::$image_meta is deprecated in /home/sarotaq/crn/wp-content/plugins/timber-library/lib/Core.php on line 71
Deprecated: Creation of dynamic property Timber\Image::$_wp_attachment_metadata is deprecated in /home/sarotaq/crn/wp-content/plugins/timber-library/lib/Core.php on line 71
Deprecated: Creation of dynamic property Timber\Image::$post_date_gmt is deprecated in /home/sarotaq/crn/wp-content/plugins/timber-library/lib/Core.php on line 71
Deprecated: Creation of dynamic property Timber\Image::$comment_status is deprecated in /home/sarotaq/crn/wp-content/plugins/timber-library/lib/Core.php on line 71
Deprecated: Creation of dynamic property Timber\Image::$ping_status is deprecated in /home/sarotaq/crn/wp-content/plugins/timber-library/lib/Core.php on line 71
Deprecated: Creation of dynamic property Timber\Image::$post_password is deprecated in /home/sarotaq/crn/wp-content/plugins/timber-library/lib/Core.php on line 71
Deprecated: Creation of dynamic property Timber\Image::$post_name is deprecated in /home/sarotaq/crn/wp-content/plugins/timber-library/lib/Core.php on line 71
Deprecated: Creation of dynamic property Timber\Image::$to_ping is deprecated in /home/sarotaq/crn/wp-content/plugins/timber-library/lib/Core.php on line 71
Deprecated: Creation of dynamic property Timber\Image::$pinged is deprecated in /home/sarotaq/crn/wp-content/plugins/timber-library/lib/Core.php on line 71
Deprecated: Creation of dynamic property Timber\Image::$post_modified is deprecated in /home/sarotaq/crn/wp-content/plugins/timber-library/lib/Core.php on line 71
Deprecated: Creation of dynamic property Timber\Image::$post_modified_gmt is deprecated in /home/sarotaq/crn/wp-content/plugins/timber-library/lib/Core.php on line 71
Deprecated: Creation of dynamic property Timber\Image::$post_content_filtered is deprecated in /home/sarotaq/crn/wp-content/plugins/timber-library/lib/Core.php on line 71
Deprecated: Creation of dynamic property Timber\Image::$guid is deprecated in /home/sarotaq/crn/wp-content/plugins/timber-library/lib/Core.php on line 71
Deprecated: Creation of dynamic property Timber\Image::$menu_order is deprecated in /home/sarotaq/crn/wp-content/plugins/timber-library/lib/Core.php on line 71
Deprecated: Creation of dynamic property Timber\Image::$post_mime_type is deprecated in /home/sarotaq/crn/wp-content/plugins/timber-library/lib/Core.php on line 71
Deprecated: Creation of dynamic property Timber\Image::$comment_count is deprecated in /home/sarotaq/crn/wp-content/plugins/timber-library/lib/Core.php on line 71
Deprecated: Creation of dynamic property Timber\Image::$filter is deprecated in /home/sarotaq/crn/wp-content/plugins/timber-library/lib/Core.php on line 71
Deprecated: Creation of dynamic property Timber\Image::$image_meta is deprecated in /home/sarotaq/crn/wp-content/plugins/timber-library/lib/Core.php on line 71
Deprecated: Creation of dynamic property Timber\Image::$_wp_attachment_metadata is deprecated in /home/sarotaq/crn/wp-content/plugins/timber-library/lib/Core.php on line 71
Deprecated: Creation of dynamic property Timber\Image::$post_date_gmt is deprecated in /home/sarotaq/crn/wp-content/plugins/timber-library/lib/Core.php on line 71
Deprecated: Creation of dynamic property Timber\Image::$comment_status is deprecated in /home/sarotaq/crn/wp-content/plugins/timber-library/lib/Core.php on line 71
Deprecated: Creation of dynamic property Timber\Image::$ping_status is deprecated in /home/sarotaq/crn/wp-content/plugins/timber-library/lib/Core.php on line 71
Deprecated: Creation of dynamic property Timber\Image::$post_password is deprecated in /home/sarotaq/crn/wp-content/plugins/timber-library/lib/Core.php on line 71
Deprecated: Creation of dynamic property Timber\Image::$post_name is deprecated in /home/sarotaq/crn/wp-content/plugins/timber-library/lib/Core.php on line 71
Deprecated: Creation of dynamic property Timber\Image::$to_ping is deprecated in /home/sarotaq/crn/wp-content/plugins/timber-library/lib/Core.php on line 71
Deprecated: Creation of dynamic property Timber\Image::$pinged is deprecated in /home/sarotaq/crn/wp-content/plugins/timber-library/lib/Core.php on line 71
Deprecated: Creation of dynamic property Timber\Image::$post_modified is deprecated in /home/sarotaq/crn/wp-content/plugins/timber-library/lib/Core.php on line 71
Deprecated: Creation of dynamic property Timber\Image::$post_modified_gmt is deprecated in /home/sarotaq/crn/wp-content/plugins/timber-library/lib/Core.php on line 71
Deprecated: Creation of dynamic property Timber\Image::$post_content_filtered is deprecated in /home/sarotaq/crn/wp-content/plugins/timber-library/lib/Core.php on line 71
Deprecated: Creation of dynamic property Timber\Image::$guid is deprecated in /home/sarotaq/crn/wp-content/plugins/timber-library/lib/Core.php on line 71
Deprecated: Creation of dynamic property Timber\Image::$menu_order is deprecated in /home/sarotaq/crn/wp-content/plugins/timber-library/lib/Core.php on line 71
Deprecated: Creation of dynamic property Timber\Image::$post_mime_type is deprecated in /home/sarotaq/crn/wp-content/plugins/timber-library/lib/Core.php on line 71
Deprecated: Creation of dynamic property Timber\Image::$comment_count is deprecated in /home/sarotaq/crn/wp-content/plugins/timber-library/lib/Core.php on line 71
Deprecated: Creation of dynamic property Timber\Image::$filter is deprecated in /home/sarotaq/crn/wp-content/plugins/timber-library/lib/Core.php on line 71
Zatopieni w jeziorze danych
Branża IT nie ma problemu z pamięcią masową, ale ma kłopot z zarządzaniem danymi – twierdzą analitycy Gartnera. Na rynku pojawia się coraz więcej rozwiązań umożliwiających uporanie się z tym zadaniem.