Get fresh updates from Hortonworks by email

Once a month, receive latest insights, trends, analytics, offering information and knowledge of the Big Data.

cta

Erste Schritte

Cloud

Sind Sie bereit?

Sandbox herunterladen

Wie können wir Ihnen helfen?

SchließenSchaltfläche „Schließen“
cta

Schnelle, einfache und sichere Big-Data-Aufnahme

Revolutionieren Sie die Datenaufnahme – aus Monaten werden Minuten

Cloud So gelingt die Datenaufnahme schnell, einfach und sicher

Whitepaper herunterladen

Was ist Datenaufnahme?

Bei der Aufnahme von Big Data dreht sich alles um das Verschieben von Daten – vor allem von unstrukturierten Daten. Diese werden von ihrem ursprünglichen Ort in ein System transportiert, in dem sie gespeichert und analysiert werden können. Genau solch ein System ist Hadoop.

Die Datenaufnahme kann kontinuierlich oder asynchron erfolgen, in Echtzeit oder in Form von Batches (oder beides wie bei der Lambda-Architektur), je nach Quelle und Destination. In vielen Fällen unterscheiden sich Datenquelle und -destination in Zeitpunkt, Format oder Protokoll. Dann müssen Änderungen oder Konvertierungen vorgenommen werden, damit die Daten im Zielsystem überhaupt verwendet werden können.

Mit zunehmender Verbreitung von IoT-Geräten nehmen auch Volumen und Varianten von Datenquellen zu. Es gibt immer unterschiedlichere aufzunehmende Quellen und oft muss die Aufnahme in Echtzeit erfolgen. Doch die Extraktion der Daten, damit sie vom Zielsystem verwendet werden können, kann in puncto Zeit- und Ressourcenaufwand zur echten Herausforderung werden. Gestaltet man die Datenaufnahme so effizient wie möglich, lassen sich Ressourcen für die Big-Data-Analyse bündeln, denn sie müssen sich schließlich nicht mehr um die Datenvorbereitung und -umwandlung kümmern.

Mit HDF zur einfachen Aufnahme von Big Data

Vorher

Kompliziert, unstrukturiert und langwierig (es dauerte Wochen bis Monate, bis die richtigen Daten in Hadoop verschoben waren)

Nachher

Zügig, effizient, einfach

Typische Probleme bei der Datenaufnahme

Komplex, langsam, teuer

*

Eigens entwickelte, viel zu spezielle Tools machen die Datenaufnahme komplex, zeitaufwändig und teuer

*

Das Schreiben eigener Skripte und die Kombination von mehreren Produkten, um auf diese Weise Daten zu erfassen und aufzunehmen, die mit aktuellen Lösungen zur Big-Data-Aufnahme verbunden sind, dauert viel zu lange und verhindert, dass rechtzeitig Entscheidungen getroffen werden können – was in modernen Unternehmen unabdingbar ist

*

Kommandozeilenschnittstellen für vorhandene Tools führen zu Abhängigkeiten von Entwicklern und schränken den Zugriff auf Daten sowie die Entscheidungsfindung ein

Datensicherheit

*

Die Übertragung einzelner Datenbits ist nicht mit den derzeit gängigen Datensicherheitsfunktionalitäten in der Transportschicht vereinbar, was den Zugriff auf Gruppen- oder Rollenebene einschränkt

*

Die Einhaltung von Compliance-Richtlinien und Datensicherheitsvorschriften ist schwierig, komplex und kostenintensiv

*

Die Verifizierung von Datenzugriff und -nutzung ist schwer und zeitaufwändig. Außerdem ist oft zusätzliche manuelle Arbeit notwendig, um verschiedene Systeme und Berichte miteinander zu verbinden und so herauszufinden, welche Daten aus welcher Quelle stammen, wie diese Daten verwendet werden und wer sie wie oft verwendet hat

Probleme der Datenaufnahme für das IoT

*

Es ist schwer, das richtige Gleichgewicht zwischen eingeschränkten Energiequellen, Computing und Bandbreite mit dem von Datenquellen generierten Volumen aus Datensignalen zu finden

*

Unzuverlässige Konnektivität führt zu Kommunikationsausfällen und sorgt für Datenverluste

*

Sicherheitslücken in den meisten der weltweit implementierten Sensoren stellen ein Risiko für Unternehmen und Sicherheit dar

Optimierte Datenaufnahme mit Hortonworks DataFlow

Einfach, schnell und sicher

*

Die schnellste Methode, um Probleme bei der Aufnahme von Big Data zu beheben

*

Interaktive Point-and-Klick-Kontrolle von Datenströmen in Echtzeit

*

Beschleunigen Sie die Erfassung und Verschiebung von Daten für mehr Big-Data-Rendite

*

Einblick in den Betrieb, Feedback und Kontrolle in Echtzeit

*

Flexibilität und Reaktionsfähigkeit auf Unternehmensseite

*

Echtzeit-Entscheidungen anhand von Datenstromquellen

*

Noch nie dagewesene operative Effektivität wird durch Beseitigung der Abhängigkeiten und Verzögerungen erreicht, die mit einem Ansatz mit Programmierung und eigenen Skripts einhergehen

*

Standardmäßige, strombasierte Programmierung für die Big-Data-Infrastruktur

*

Sichere, zuverlässige und priorisierte Datenerfassung aus geographisch verteilten Umgebungen mit unterschiedlichsten Bandbreiten

*

Durchgängiger Einblick in die Datenherkunft ermöglicht eine Prüfkette für Daten-Compliance und Daten-„Bewertung“ sowie die Optimierung und Fehlerbehebung von Datenströmen

Single, Flexible, Adaptive Bi-Directional Real-Time System

*

Integrierte, datenquellenunabhängige Erfassung aus dynamischen, verteilten und unstrukturierten Quellen

*

Passt sich an schwankende Bedingungen verteilter Remote-Datenquellen aus geographisch unterschiedlichen Kommunikationsverbindungen in Umgebungen mit schwankender Bandbreite und Latenzen an

*

Dynamische Datenpriorisierung in Echtzeit am Edge, um Daten zu senden, abzulegen oder lokal zu speichern

*

Bi-direktionales Verschieben von Daten, Befehlen und Kontextdaten

*

Vom Design her darauf ausgelegt, genauso gut mit klein angelegten Datenquellen zu funktionieren, die das Internet of Things bilden, wie auch mit großen Clustern in den Rechenzentren der Unternehmen.

*

Die visuelle Datenprüfkette (Herkunft) liefert Echtzeit-Daten-Verknüpfungen auf Event-Ebene für die Verifizierung und die Sicherheit von Daten aus dem IoT

 
So beschleunigen Datenströme in Echtzeit den ROI von Big Data
Sichere Datenströme aus IoT
Visuelle Datenverknüpfung in Echtzeit
Sicherer Zugriff auf und Kontrolle von Daten
Dynamische Priorisierung von Data in Motion

Anwendungsfälle für Datenaufnahme mit Hortonworks-Datenstrom

ANWENDUNGSFALL 1

Sofort in Hadoop

Verkürzen Sie die Zeit, die normalerweise dafür benötigt wird, um Daten in Hadoop zu verschieben – aus Monaten werden dank einer Echtzeit-Drag-and-Drop-Oberfläche Minuten. Lesen Sie mehr über praktische Anwendungsfälle und erfahren Sie, wie man Daten in 30 Sekunden in HDFS verschieben kann.

 

Prescient Video | Blog
30-sekündige Live-Demo jetzt ansehen

ANWENDUNGSFALL 2
media img

Log-Erfassung/Spunk-Optimierung

Es kann ziemlich kompliziert sein, Log-Daten zu erfassen, die in der Regel in begrenzter Anzahl hinterlegt werden und nur schwer in großem Umfang einsetzbar sind. HDF hilft dabei, zunehmende Mengen an Log-Daten effizient zu erfassen, weiterzuleiten und darauf zuzugreifen, und vereinfacht die Integration in Log-Analysesysteme wie Splunk, SumoLogic, Graylog, LogStash etc. für die einfache, sichere und umfassende Datenaufnahme aus Logfiles.

 

Whitepaper zur Optimierung von Log-Analytics JETZT HERUNTERLADEN

ANWENDUNGSFALL 3
media img

Datenaufnahme im IoT

Es ist eine echte Herausforderung, in Echtzeit Entscheidungen anhand von IoT-Daten zu treffen, die selbst in Echtzeit bereitgestellt werden, da IoT-Daten in der Regel verteilt und unstrukturiert sind. HDF vereinfacht die Datenerfassung und hilft dabei, Informationen aus hochgradig verteilten Netzwerken herauszuziehen, und zwar auch ganz am Rand.

 

A. Edge Intelligence für IoT MEHR ERFAHREN
B. Einzelhandel und IoT MEHR ERFAHREN
C. IoT bei Open Energi MEHR ERFAHREN

ANWENDUNGSFALL 4
media img

Bereitstellung von Daten in Engines zur Verarbeitung von Datenströmen

Blog, Folien und Webinar über NiFi, Kafka und Storm MEHR ERFAHREN
Comcast NiFi in Spark aus der Keynote vom Hadoop Summit VIDEO