Konfigurieren von Azure Blob Storage in der Kopieraktivität - Microsoft Fabric (2023)

  • Artikel

In diesem Artikel wird beschrieben, wie Sie die Kopieraktivität in der Datenpipeline verwenden, um Daten aus und in Azure Blob Storage zu kopieren.

Wichtig

Microsoft Fabric befindet sich derzeit in der Vorschauversion.Diese Informationen beziehen sich auf eine Vorabversion des Produkts, an der vor der Veröffentlichung noch wesentliche Änderungen vorgenommen werden können. Microsoft übernimmt keine Garantie, weder ausdrücklich noch stillschweigend, für die hier bereitgestellten Informationen. Weitere Informationen finden Sie in Azure Data Factory Dokumentation für den Dienst in Azure.

Unterstütztes Format:

Azure Blob Storage unterstützt die folgenden Dateiformate. Informationen zu formatbasierten Einstellungen finden Sie in den jeweiligen Artikeln.

  • Avro-Format
  • Binärformat
  • Textformat mit Trennzeichen
  • Excel-Format
  • JSON-Format
  • ORC-Format
  • Parquet-Format
  • XML-Format

Unterstützte Konfiguration

Für die Konfiguration der einzelnen Registerkarten unter kopieraktivität wechseln Sie zu den folgenden Abschnitten.

  • Allgemein
  • Quelle
  • Ziel
  • Zuordnung
  • Einstellungen

Allgemein

Informationen zum Konfigurieren der Registerkarte Allgemeine Einstellungen finden Sie unter Allgemeine Einstellungen.

Quelle

Die folgenden Eigenschaften werden für Azure Blob Storage auf der Registerkarte Quelle einer Kopieraktivität unterstützt.

Die folgenden Eigenschaften sind erforderlich:

  • Datenspeichertyp: Wählen Sie Extern aus.
  • Verbindung: Wählen Sie eine Azure Blob Storage Verbindung aus der Verbindungsliste aus. Wenn keine Verbindung vorhanden ist, erstellen Sie eine neue Azure Blob Storage Verbindung, indem Sie Neu auswählen.
  • Dateipfad: Wählen Sie Durchsuchen aus, um die Datei auszuwählen, die Sie kopieren möchten, oder geben Sie den Pfad manuell ein.
  • Dateieinstellungen: Wählen Sie Dateieinstellungen aus, um das Dateiformat zu konfigurieren. Ausführliche Informationen zu Einstellungen verschiedener Dateiformate finden Sie in den Artikeln unter Unterstütztes Format .

Unter Erweitert können Sie die folgenden Felder angeben:

  • Dateipfadtyp: Sie können Dateipfad, Präfix, Feldhalterdateipfad, Liste der Dateien als Dateipfadtyp auswählen. Die Konfiguration jeder Einstellung lautet:

    • Dateipfad: Wenn Sie diesen Typ auswählen, können die Daten aus dem zuvor angegebenen Container- oder Ordner-/Dateipfad kopiert werden.

    • Präfix: Präfix für den Blobnamen unter dem angegebenen Container, der zum Filtern von Quellblobs konfiguriert ist. Es werden die Blobs ausgewählt, deren Namen mit container/this_prefix beginnen. Es verwendet den dienstseitigen Filter für Blobspeicher.

      Wenn Sie Präfix verwenden und in ein dateibasiertes Ziel mit beibehaltener Hierarchie kopieren möchten, wird der Unterpfad nach dem letzten "/" im Präfix beibehalten. Beispielsweise verfügen Sie über eine Quelle container/folder/subfolder/file.txtund konfigurieren das Präfix als folder/sub. Der Dateipfad ist subfolder/file.txtbeibehalten.

      Konfigurieren von Azure Blob Storage in der Kopieraktivität - Microsoft Fabric (2)

    • Pfad der Feldhalterdatei: Geben Sie den Ordner oder Dateipfad mit Denkzeichen unter Dem angegebenen Blobcontainer an, um Ihre Quellordner oder -dateien zu filtern.

      Folgende Platzhalter sind zulässig: * (entspricht null [0] oder mehr Zeichen) und ? (entspricht null [0] oder einem einzelnen Zeichen). Verwenden Sie ^ als Escapezeichen, wenn Ihr Ordnername einen Platzhalter oder dieses Escapezeichen enthält. Weitere Beispiele findest du unter Beispiele für Ordner- und Dateifilter.

      Konfigurieren von Azure Blob Storage in der Kopieraktivität - Microsoft Fabric (3)

      Pfad des Feldhalterordners: Geben Sie den Ordnerpfad mit Feldhalterzeichen unter dem angegebenen Container an, um Quellordner zu filtern.

      Name der Feldhalterdatei: Geben Sie den Dateinamen mit Feldhalterzeichen unter Dem angegebenen Container- und Ordnerpfad (oder Den Ordnerpfad) an, um Quelldateien zu filtern.

    • Liste der Dateien: Gibt einen bestimmten Dateisatz an, in den kopiert werden soll. Geben Sie unter Pfad zur Dateiliste eine Textdatei ein, oder navigieren Sie zu einer Textdatei, die eine Liste der dateien enthält, die Sie kopieren möchten, eine Datei pro Zeile. Dies ist der relative Pfad zu jeder Datei.

      Wenn Sie diese Option verwenden, geben Sie keinen Dateinamen an. Weitere Beispiele findest du unter Beispiele für Dateilisten.

      Konfigurieren von Azure Blob Storage in der Kopieraktivität - Microsoft Fabric (4)

  • Rekursiv: Wenn dieses Kontrollkästchen aktiviert ist, werden alle Dateien im Eingabeordner und seinen Unterordnern rekursiv verarbeitet. Wenn Sie das Kontrollkästchen deaktivieren, werden nur die Im ausgewählten Ordner verarbeitet. Diese Einstellung ist deaktiviert, wenn eine einzelne Datei ausgewählt wird.

  • Dateien nach Abschluss löschen: Wenn dieses Kontrollkästchen aktiviert ist, werden die Binärdateien nach dem erfolgreichen Wechsel in den Zielspeicher aus dem Quellspeicher gelöscht. Das Löschen der Datei erfolgt pro Datei. Wenn also die Kopieraktivität fehlschlägt, werden Sie feststellen, dass einige Dateien bereits an das Ziel kopiert und aus der Quelle gelöscht wurden, während andere weiterhin im Quellspeicher verbleiben.

    Hinweis

    Diese Eigenschaft ist nur in einem Szenario zum Kopieren von Binärdateien gültig.

  • Max. gleichzeitige Verbindungen: Diese Eigenschaft gibt die Obergrenze der gleichzeitigen Verbindungen an, die während der Aktivitätsausführung mit dem Datenspeicher eingerichtet wurden. Geben Sie diesen Wert nur an, wenn Sie die Anzahl der gleichzeitigen Verbindungen begrenzen möchten.

Destination

Die folgenden Eigenschaften werden für Azure Blob Storage auf der Registerkarte Ziel einer Kopieraktivität unterstützt.

Die folgenden Eigenschaften sind erforderlich:

  • Datenspeichertyp: Wählen Sie Extern aus.
  • Verbindung: Wählen Sie eine Azure Blob Storage Verbindung aus der Verbindungsliste aus. Wenn die Verbindung nicht vorhanden ist, erstellen Sie eine neue Azure Blob Storage Verbindung, indem Sie Neu auswählen.
  • Dateipfad: Wählen Sie Durchsuchen aus, um die Datei auszuwählen, die Sie kopieren oder den Pfad manuell ausfüllen möchten.
  • Dateieinstellungen: Wählen Sie Dateieinstellungen aus, um das Dateiformat zu konfigurieren. Ausführliche Informationen zu Einstellungen verschiedener Dateiformate finden Sie in den Artikeln unter Unterstütztes Format .

Unter Erweitert können Sie die folgenden Felder angeben:

  • Kopierverhalten: Definiert das Kopierverhalten, wenn die Quelle Dateien aus einem dateibasierten Datenspeicher ist. Sie können dynamischen Inhalt hinzufügen, Keine, FlattenHierarchy oder Hierarchie beibehalten in der Dropdownliste auswählen.

    • Dynamischen Inhalt hinzufügen: Um einen Ausdruck für einen Eigenschaftswert anzugeben, wählen Sie Dynamischen Inhalt hinzufügen aus. Diese Auswahl öffnet den Ausdrucks-Generator, in dem Sie Ausdrücke aus unterstützten Systemvariablen, Aktivitätsausgaben, Funktionen und benutzerdefinierten Variablen oder Parametern erstellen können. Informationen zur Ausdruckssprache findest du unter Ausdrücke und Funktionen.

    • Keine: Wählen Sie diese Auswahl aus, um kein Kopierverhalten zu verwenden.

    • Flache Hierarchie: Alle Dateien aus dem Quellordner befinden sich in der ersten Ebene des Zielordners. Die Zieldateien verfügen über automatisch generierte Namen.

    • Hierarchie beibehalten: Behält die Dateihierarchie im Zielordner bei. Der relative Pfad der Quelldatei zum Quellordner entspricht dem relativen Pfad der Zieldatei zum Zielordner.

      Konfigurieren von Azure Blob Storage in der Kopieraktivität - Microsoft Fabric (6)

  • Maximale Anzahl gleichzeitiger Verbindungen: Die Obergrenze für gleichzeitige Verbindungen, die während der Aktivitätsausführung mit dem Datenspeicher eingerichtet wurden. Geben Sie diesen Wert nur an, wenn Sie die Anzahl der gleichzeitigen Verbindungen begrenzen möchten.

  • Blockgröße (MB): Geben Sie die Blockgröße in Megabyte an, die zum Schreiben von Daten in Blockblobs verwendet wird. Weitere Informationen findest du unter Informationen zu Blockblobs.

  • Metadaten: Legen Sie benutzerdefinierte Metadaten beim Kopieren in ein Ziel fest. Jedes Objekt unter dem Array metadata stellt eine zusätzliche Spalte dar. name definiert den Namen des Metadatenschlüssels, und value gibt den Datenwert dieses Schlüssels an. Wenn dasFeature "Attribute beibehalten" verwendet wird, werden die angegebenen Metadaten mit den Metadaten der Quelldatei zusammen-/überschrieben.

    Zulässige Datenwerte sind:

    • $$LASTMODIFIED: Eine reservierte Variable gibt an, dass der Zeitpunkt der letzten Änderung der Quelldateien gespeichert werden soll. Gilt nur für dateibasierte Quellen im Binärformat.

    • Ausdruck

    • Statischer Wert

      Konfigurieren von Azure Blob Storage in der Kopieraktivität - Microsoft Fabric (7)

Zuordnung

Wechseln Sie unter Konfiguration der Registerkarte Zuordnung auf der Registerkarte Zuordnung zu Konfigurieren Ihrer Zuordnungen. Wenn Sie Binär als Dateiformat auswählen, wird die Zuordnung nicht unterstützt.

Einstellungen

Informationen zur Konfiguration der Registerkarte "Einstellungen " finden Sie unter Konfigurieren ihrer anderen Einstellungen auf der Registerkarte "Einstellungen".

Tabellenzusammenfassung

Die folgenden Tabellen enthalten weitere Informationen zur Kopieraktivität in Azure Blob Storage.

Quellinformationen

NameBESCHREIBUNGWertErforderlichJSON-Skripteigenschaft
DatenspeichertypIhr Datenspeichertyp.ExternYes/
ConnectionIhre Verbindung mit dem Quelldatenspeicher.<Ihre Verbindung>Yesconnection
DateipfadDer Dateipfad Ihrer Quelldaten.<Dateipfad Ihrer Quelle>JaContainer
fileName
DateipfadtypDer Dateipfadtyp, den Sie verwenden möchten.• Dateipfad
•Präfix
• Pfad des Wildcard-Ordners, Name der Wildcard-Datei
• Liste der Dateien
No
•Präfix
• wildcardFolderPath, wildcardFileName
• fileListPath
RekursivVerarbeiten Sie alle Dateien im Eingabeordner und seinen Unterordnern rekursiv oder nur die Dateien im ausgewählten Ordner. Diese Einstellung wird deaktiviert, wenn eine einzelne Datei ausgewählt wird.Auswahl oder Aufheben der AuswahlNorecursive
Löschen von Dateien nach AbschlussDie Dateien im Quelldatenspeicher werden direkt nach dem Verschieben in den Zielspeicher gelöscht. Die Datei wird pro Datei gelöscht. Wenn also eine Kopieraktivität fehlschlägt, werden Sie feststellen, dass einige Dateien bereits in das Ziel kopiert und aus der Quelle gelöscht wurden, während sich andere noch im Quellspeicher befinden.Auswahl oder Aufheben der AuswahlNeindeleteFilesAfterCompletion
Maximale Anzahl gleichzeitiger VerbindungenDie Obergrenze gleichzeitiger Verbindungen mit dem Datenspeicher während der Aktivitätsausführung. Geben Sie diesen Wert nur an, wenn Sie die Anzahl der gleichzeitigen Verbindungen begrenzen möchten.<Max. gleichzeitige Verbindungen>NeinmaxConcurrentConnections

Zielinformationen

NameBESCHREIBUNGWertErforderlichJSON-Skripteigenschaft
DatenspeichertypIhr Datenspeichertyp.ExternYes/
ConnectionIhre Verbindung mit dem Zieldatenspeicher.<Ihre Verbindung>Yesconnection
DateipfadDer Dateipfad Ihrer Zieldaten.Dateipfad der QuelleJaContainer
fileName
KopierverhaltenDefiniert das Verhalten beim Kopieren von Dateien aus einem Dateisystem, z. B. Speicher, in das andere (z. B. von einem Blobspeicher in ein anderes).•Nichts
• Hinzufügen dynamischer Inhalte
• Vereinfachen der Hierarchie
• Hierarchie beibehalten
NocopyBehavior
Maximale Anzahl gleichzeitiger VerbindungenDie Obergrenze gleichzeitiger Verbindungen mit dem Datenspeicher während der Aktivitätsausführung. Geben Sie diesen Wert nur an, wenn Sie die Anzahl der gleichzeitigen Verbindungen begrenzen möchten.<Max. gleichzeitige Verbindungen>NeinmaxConcurrentConnections
Blockgröße (MB)Geben Sie beim Schreiben von Daten in Azure Blob Storage die Blockgröße in MB an. Der zulässige Wert liegt zwischen 4 und 100MB.<Blockgröße>NeinblockSizeInMB
MetadatenLegen Sie die benutzerdefinierten Metadaten beim Kopieren in das Ziel fest.$$LASTMODIFIED
•Ausdruck
• Statischer Wert
Neinmetadata

Nächste Schritte

  • Erstellen einer Azure Blob-Verbindung
  • Herstellen einer Verbindung mit Azure Blob Storage in Dataflows]

References

Top Articles
Latest Posts
Article information

Author: Aracelis Kilback

Last Updated: 07/21/2023

Views: 6243

Rating: 4.3 / 5 (44 voted)

Reviews: 91% of readers found this page helpful

Author information

Name: Aracelis Kilback

Birthday: 1994-11-22

Address: Apt. 895 30151 Green Plain, Lake Mariela, RI 98141

Phone: +5992291857476

Job: Legal Officer

Hobby: LARPing, role-playing games, Slacklining, Reading, Inline skating, Brazilian jiu-jitsu, Dance

Introduction: My name is Aracelis Kilback, I am a nice, gentle, agreeable, joyous, attractive, combative, gifted person who loves writing and wants to share my knowledge and understanding with you.