5.6 Big Data, adatbázisok és adatbányászat

A Big Data napjaink egyik leginkább felkapott technológiai trendje, félelmetes sebességgel fejlődik és egyre megbízhatóbb és hatékonyabb megoldásokat kínál eddig megoldhatatlannak tűnő problémákra. Mindezek mellett az adatmegjelenítő és adatelemző eszközökök próbálják felvenni az ütemetet az adattárházak fejlődési ütemével. Az előadás során röviden áttekintjük a fellelhető open-source megoldásokat, valamint támpontot adunk hogyan érdemes őket összehasonlítani. Bemutatjuk, hogy egy valós rendszer kiépítése során milyen kihívásokkal találkoztunk. Külön figyelmet fordítunk az ETL (Extract, Transform, Load) folyamatok fontosságára, valamint a skálázhatóságra és megbízhatóságra. Részletesen foglalkozunk két lényegében különböző eszközel, az Elasticsearch és az Impala világával. Az elődást két megjelenítő eszköz bemutatásával zárjuk, az Elasticsearch-höz köthető Kibanával, valamint az Impalát már támogató Power BI-al.

Building a Big Data system using open-source technologies

Big data is one of the most trending technology nowdays. It evolves rapidly and provides more and more reliable and efficient solutions for very difficult problems. Besides this the data visualization technologies also tries to keep up with the very fast evolution of the data warehouse technologies. During the presentation we will shortly introduce the trending open-souce Big Data technologies and we will provide some ideas how these technologies should be compared. We will share our experiences about building a real-life Big Data cluster, we will show the the main challenges and solutions. We will highlight the importance of the ETL (Extract, Transform, Load) processes, the scalability and relaibility. In more details we will present two very different tool, the Elasticsearch and the Cloudera Impala. Finally we will close the presentation with two data visualization tools. In connection with the Elasticsearch we will show the Kibana, and for the Impala we will show the Power BI.