25.05.2020 | Data Engineering

Datentransfer mit SFTP-Servern in Alteryx

In vielen unserer Projekte tauschen wir Daten mit SFTP-Servern aus – eine sichere und einfache Möglichkeit, Daten mit unseren Kunden oder externen Dienstleistern zu teilen. Dafür setzen wir häufig auf Alteryx, eine grafische ETL-Software für Data-Science-Projekte. Um uns das Leben zu erleichtern, haben wir hierfür zwei kleine Tools entwickelt, die wir heute mit Ihnen teilen möchten.

Zusammenfassung:

Alteryx-Tools für den Download und Upload von Dateien auf SFTP-Servern
Einfach zu installieren: Herunterladen, YXI in Alteryx öffnen, fertig.
Open Source und kostenlos für Sie zur Verwendung.

Sie kennen Alteryx schon und wollen die Tools direkt herunterladen?

Direkt zum Download

Was ist eigentlich Alteryx?

Falls Sie bisher noch keine Erfahrungen mit Alteryx gemacht haben, vielleicht ein paar erklärende Worte: Alteryx ist eine Data-Science-Plattform, in der wir Workflows entwickeln, die insbesondere bei ETL-Prozessen unterstützen können. Das heißt, wenn es um das Auslesen (Extract), Aufbereiten (Transform) und anschließende Verwenden für Analysen oder Reportings (Load) geht, greifen wir häufig zu Workflows, die wir in Alteryx entwickelt haben. Vor allem wenn Data Scientists mit unterschiedlichen Schwerpunkten in einem Projekt zusammenarbeiten, bietet Alteryx mit einer grafischen Oberfläche und Schnittstellen zu gängigen Programmiersprachen wie R und Python einige Vorteile.

Während wir Analytics-Lösungen primär in R und Python entwickeln, haben wir mit Alteryx eine Plattform insbesondere für die beschriebenen ETL-Prozesse, um Daten für Machine-Learning-Modelle oder Reportings immer aktuell zu haben. Insbesondere, wenn die Daten aus unterschiedlichen Quellen kommen und noch aufbereitet werden müssen.

Und SFTP?

In solchen Fällen integrieren wir Daten aus externen Systemen: Manchmal direkt aus APIs von Web-Diensten oder aus Datenbanken, manchmal sind es aber auch Dateien oder Exporte aus Kundensystemen, die wir als CSV- oder Excel-Datei zur Verfügung gestellt bekommen. Als sichere Plattform für den Datenaustausch bieten SFTP-Server die beste Lösung. Hier können unsere Kunden geschützt und mittels verschlüsseltem Datentransfer beliebige Dateien ablegen – und wir können sie anschließend weiterverarbeiten.

Alteryx trifft SFTP-Server

Wie beschrieben ist Alteryx unser Helferlein, wenn es um ETL-Prozesse geht. Und natürlich wollen wir dafür auch direkt auf den SFTP-Server zugreifen. Das kann Alteryx mit Hilfe des Download-Tools bereits von Haus aus – allerdings gibt es dabei zwei wesentliche Einschränkungen:

Das Download-Tool kann nicht auf Server zugreifen, die mittels Public-Private-Key gesichert sind, für die Nutzer also eine Schlüssel-Datei benötigen. Das stellt die sicherste Variante dar, um auf einen SFTP-Server zuzugreifen. Das SFTP-Tool unterstützt jedoch nur Benutzernamen und Passwort – für die meisten unserer Zwecke reicht das aber nicht aus.
Beim Upload von Dateien über das Download-Tool von Alteryx können Dateien nur überschrieben werden. Es ist mit dem Tool nicht möglich, verlässlich darauf zu reagieren, wenn eine Datei bereits existiert und vielleicht nicht überschrieben werden soll. Das kann die Arbeit mit dem Tool etwas gefährlich machen.

Aus diesem Grund haben wir angefangen, eigene Tools für Alteryx zu schreiben. Mit dem Python SDK für Alteryx kann man relativ einfach neue Tools entwickeln. Und genau das haben wir gemacht. Das Ergebnis möchten wir heute gerne mit Dir teilen – denn wir sind dankbar für die ganzen Tools, die wir bereits über die Alteryx-Community bekommen haben, und möchten den Alteryx-Nutzern etwas zurückgeben.

Die SFTP-Tools für Alteryx herunterladen

Wenn Sie Alteryx nutzen und das beschriebene Szenario kennen, sind die SFTP-Tools genau das Richtige für Sie! Wir haben den Source Code unserer Tools auf GitHub veröffentlicht – dort finden Sie ab sofort auch immer die aktuellste Version:

Unser GitHub-Repository mit Source Code und Anleitung:

GitHub-Repository

Den Download zur aktuellen Version finden Sie hier:

Aktuelle Version

Bei Fragen und Problemen, kannst Du auch über GitHub direkt ein Ticket eröffnen:

Ticket erstellen

Fragen? Ideen?

Wir hoffen, Ihnen das Leben mit unseren SFTP-Tools für Alteryx ein bisschen leichter gemacht zu haben. Wenn wir Sie dabei unterstützen können, mit den Tools effektiv zu arbeiten, sprechen Sie uns doch gerne an! Wir freuen uns auf den Austausch mit Ihnen.