Data Science beschleunigt die Welt.
Wir synchronisieren Ihr Unternehmen.
25.05.2020 | Data Engineering
Datentransfer mit SFTP-Servern in Alteryx
In vielen unserer Projekte tauschen wir Daten mit SFTP-Servern aus – eine sichere und einfache Möglichkeit, Daten mit unseren Kunden oder externen Dienstleistern zu teilen. Dafür setzen wir häufig auf Alteryx, eine grafische ETL-Software für Data-Science-Projekte. Um uns das Leben zu erleichtern, haben wir hierfür zwei kleine Tools entwickelt, die wir heute mit Ihnen teilen möchten.
Zusammenfassung:
- Alteryx-Tools für den Download und Upload von Dateien auf SFTP-Servern
- Einfach zu installieren: Herunterladen, YXI in Alteryx öffnen, fertig.
- Open Source und kostenlos für Sie zur Verwendung.
Sie kennen Alteryx schon und wollen die Tools direkt herunterladen?
Was ist eigentlich Alteryx?
Falls Sie bisher noch keine Erfahrungen mit Alteryx gemacht haben, vielleicht ein paar erklärende Worte: Alteryx ist eine Data-Science-Plattform, in der wir Workflows entwickeln, die insbesondere bei ETL-Prozessen unterstützen können. Das heißt, wenn es um das Auslesen (Extract), Aufbereiten (Transform) und anschließende Verwenden für Analysen oder Reportings (Load) geht, greifen wir häufig zu Workflows, die wir in Alteryx entwickelt haben. Vor allem wenn Data Scientists mit unterschiedlichen Schwerpunkten in einem Projekt zusammenarbeiten, bietet Alteryx mit einer grafischen Oberfläche und Schnittstellen zu gängigen Programmiersprachen wie R und Python einige Vorteile.
Während wir Analytics-Lösungen primär in R und Python entwickeln, haben wir mit Alteryx eine Plattform insbesondere für die beschriebenen ETL-Prozesse, um Daten für Machine-Learning-Modelle oder Reportings immer aktuell zu haben. Insbesondere, wenn die Daten aus unterschiedlichen Quellen kommen und noch aufbereitet werden müssen.
Und SFTP?
In solchen Fällen integrieren wir Daten aus externen Systemen: Manchmal direkt aus APIs von Web-Diensten oder aus Datenbanken, manchmal sind es aber auch Dateien oder Exporte aus Kundensystemen, die wir als CSV- oder Excel-Datei zur Verfügung gestellt bekommen. Als sichere Plattform für den Datenaustausch bieten SFTP-Server die beste Lösung. Hier können unsere Kunden geschützt und mittels verschlüsseltem Datentransfer beliebige Dateien ablegen – und wir können sie anschließend weiterverarbeiten.
Alteryx trifft SFTP-Server
Wie beschrieben ist Alteryx unser Helferlein, wenn es um ETL-Prozesse geht. Und natürlich wollen wir dafür auch direkt auf den SFTP-Server zugreifen. Das kann Alteryx mit Hilfe des Download-Tools bereits von Haus aus – allerdings gibt es dabei zwei wesentliche Einschränkungen:
- Das Download-Tool kann nicht auf Server zugreifen, die mittels Public-Private-Key gesichert sind, für die Nutzer also eine Schlüssel-Datei benötigen. Das stellt die sicherste Variante dar, um auf einen SFTP-Server zuzugreifen. Das SFTP-Tool unterstützt jedoch nur Benutzernamen und Passwort – für die meisten unserer Zwecke reicht das aber nicht aus.
- Beim Upload von Dateien über das Download-Tool von Alteryx können Dateien nur überschrieben werden. Es ist mit dem Tool nicht möglich, verlässlich darauf zu reagieren, wenn eine Datei bereits existiert und vielleicht nicht überschrieben werden soll. Das kann die Arbeit mit dem Tool etwas gefährlich machen.
Aus diesem Grund haben wir angefangen, eigene Tools für Alteryx zu schreiben. Mit dem Python SDK für Alteryx kann man relativ einfach neue Tools entwickeln. Und genau das haben wir gemacht. Das Ergebnis möchten wir heute gerne mit Dir teilen – denn wir sind dankbar für die ganzen Tools, die wir bereits über die Alteryx-Community bekommen haben, und möchten den Alteryx-Nutzern etwas zurückgeben.
Die SFTP-Tools für Alteryx herunterladen
Wenn Sie Alteryx nutzen und das beschriebene Szenario kennen, sind die SFTP-Tools genau das Richtige für Sie! Wir haben den Source Code unserer Tools auf GitHub veröffentlicht – dort finden Sie ab sofort auch immer die aktuellste Version:
Unser GitHub-Repository mit Source Code und Anleitung:
Den Download zur aktuellen Version finden Sie hier:
Bei Fragen und Problemen, kannst Du auch über GitHub direkt ein Ticket eröffnen:
Fragen? Ideen?
Wir hoffen, Ihnen das Leben mit unseren SFTP-Tools für Alteryx ein bisschen leichter gemacht zu haben. Wenn wir Sie dabei unterstützen können, mit den Tools effektiv zu arbeiten, sprechen Sie uns doch gerne an! Wir freuen uns auf den Austausch mit Ihnen.
Ihre Ansprechpartnerin:
Sina Daba
Marketing Managerin
Data-Science-News direkt in Ihr Postfach
Sobald wir einen Beitrag in unserem Blog veröffentlichen, schicken wir Ihnen gerne eine E-Mail. Und keine Sorge – wir mögen auch keinen Spam!
„*“ zeigt erforderliche Felder an
Auf der Datenwelle
Hier finden Sie unsere Events und Webinare für Data-Science-Enthusiasten.
Link zu: Webinare
AM 26. März 2025, 14:00 Uhr
Webinar: Chatbot mit Fakten
Wie innovative Markenforschung erlebbar gemacht wird. Jetzt anmelden!
Folge einem manuell hinzugefügten Link
VERGANGENE WEBINARE
Vom Datensammeln zum Consulting
Ein Webinar darüber, wie Hassia mit Dashboards abteilungsübergreifend den Umgang mit Daten verändert
