Datentransfer mit SFTP-Servern in Alteryx

Was ist eigentlich Alteryx?

Falls Du bisher noch keine Erfahrungen mit Alteryx gemacht hast, vielleicht ein paar erklärende Worte: Alteryx ist eine Data-Science-Plattform, in der wir Workflows entwickeln, die insbesondere bei ETL-Prozessen unterstützen können. Das heißt, wenn es um das Auslesen (Extract), Aufbereiten (Transform) und anschließende Verwenden für Analysen oder Reportings (Load) geht, greifen wir häufig zu Workflows, die wir in Alteryx entwickelt haben. Vor allem wenn Data Scientists mit unterschiedlichen Schwerpunkten in einem Projekt zusammenarbeiten, bietet Alteryx mit einer grafischen Oberfläche und Schnittstellen zu gängigen Programmiersprachen wie R und Python einige Vorteile.

Während wir Analytics-Lösungen primär in R und Python entwickeln, haben wir mit Alteryx eine Plattform insbesondere für die beschriebenen ETL-Prozesse, um Daten für Machine-Learning-Modelle oder Reportings immer aktuell zu haben. Insbesondere, wenn die Daten aus unterschiedlichen Quellen kommen und noch aufbereitet werden müssen.

Und SFTP?

In solchen Fällen integrieren wir Daten aus externen Systemen: Manchmal direkt aus APIs von Web-Diensten oder aus Datenbanken, manchmal sind es aber auch Dateien oder Exporte aus Kundensystemen, die wir als CSV- oder Excel-Datei zur Verfügung gestellt bekommen. Als sichere Plattform für den Datenaustausch bieten SFTP-Server die beste Lösung. Hier können unsere Kunden geschützt und mittels verschlüsseltem Datentransfer beliebige Dateien ablegen – und wir können sie anschließend weiterverarbeiten.

Alteryx trifft SFTP-Server

Wie beschrieben ist Alteryx unser Helferlein, wenn es um ETL-Prozesse geht. Und natürlich wollen wir dafür auch direkt auf den SFTP-Server zugreifen. Das kann Alteryx mit Hilfe des Download-Tools bereits von Haus aus – allerdings gibt es dabei zwei wesentliche Einschränkungen:

• Das Download-Tool kann nicht auf Server zugreifen, die mittels Public-Private-Key gesichert sind, für die Nutzer also eine Schlüssel-Datei benötigen. Das stellt die sicherste Variante dar, um auf einen SFTP-Server zuzugreifen. Das SFTP-Tool unterstützt jedoch nur Benutzernamen und Passwort – für die meisten unserer Zwecke reicht das aber nicht aus.
• Beim Upload von Dateien über das Download-Tool von Alteryx können Dateien nur überschrieben werden. Es ist mit dem Tool nicht möglich, verlässlich darauf zu reagieren, wenn eine Datei bereits existiert und vielleicht nicht überschrieben werden soll. Das kann die Arbeit mit dem Tool etwas gefährlich machen.

Aus diesem Grund haben wir angefangen, eigene Tools für Alteryx zu schreiben. Mit dem Python SDK für Alteryx kann man relativ einfach neue Tools entwickeln. Und genau das haben wir gemacht. Das Ergebnis möchten wir heute gerne mit Dir teilen – denn wir sind dankbar für die ganzen Tools, die wir bereits über die Alteryx-Community bekommen haben, und möchten den Alteryx-Nutzern etwas zurückgeben.

Die SFTP-Tools für Alteryx herunterladen

Wenn du Alteryx nutzt und das beschriebene Szenario kennst, sind die SFTP-Tools genau das Richtige für Dich! Wir haben den Source Code unserer Tools auf GitHub veröffentlicht – dort findest Du ab sofort auch immer die aktuellste Version:

Fragen? Ideen?

Wir hoffen, Dir das Leben mit unseren SFTP-Tools für Alteryx ein bisschen leichter gemacht zu haben. Wenn wir Dich dabei unterstützen können, mit den Tools effektiv zu arbeiten, sprich uns doch gerne an! Wir freuen uns auf den Austausch mit Dir.