Data Engineering & Tools Archives

Doppelte Schlüssel bei der Erstellung einer Json aus einem Python Dict

Kommentar verfassen / Data Engineering & Tools, Troubleshooting / Von Hung Manh

TLDR: Ein dictionary in json behandelt alle Schlüssel als String, während ein Python Dictionay nicht nur zwischen dem Inhalt, sondern auch dem Datentyp unterscheidet (siehe Stackoverflow). Wenn man ein Dictionary in einem json speichert und das Dictionary daraus wieder lädt, muss man aufpassen, dass man nicht implizit den ursprünglichen numerischen Schlüssel in einen Schlüssel vom …

Doppelte Schlüssel bei der Erstellung einer Json aus einem Python Dict Weiterlesen »

Migration von Kubernetes in ein VCN Natives Cluster in der OCI

Kommentar verfassen / Data Engineering & Tools, How to / Von Hung Manh

Euer managed Kubernetes Cluster in der OCI könnte eine kleine Anzeige besitzen, die besagt, dass eine “Migration erforderlich” ist. Das liegt daran, dass in früheren Releases (vor dem 16. März die der Kubernetes API-Endpunkt von der Container Engine zwar bereitgestellt, aber nicht in das eigene VCN integriert wurde (oracle doc). Die Ausgangssituation Bei der Bereitstellung …

Migration von Kubernetes in ein VCN Natives Cluster in der OCI Weiterlesen »

Statistiken, Statistiken, Statistiken!

Kommentar verfassen / Data Engineering & Tools, Learnings / Von Hung Manh

Wir hatten eine moderat komplexe Query, die ca. 270000 Zeilen umfasste, allerdings über eine Stunde lief. Nachdem Statistiken zu der darunterliegenden Tabelle aktualisiert wurden, lief die Query in nur 4 Sekunden durch.

Kubernetes pod steckt im pending Status fest. Nodes had no available volume.

Kommentar verfassen / Data Engineering & Tools, Troubleshooting / Von Hung Manh

Ein deployter pod steckt im pending Status fest. Ein kurzer Blick auf den pod gibt eine Warnung aus: 0/3 nodes are available: 3 node(s) had no available volume zone.

Airflow Tasks werden nicht zur spezifizierten Zeit ausgeführt

Kommentar verfassen / Data Engineering & Tools, Troubleshooting / Von Hung Manh

Wir haben ein Problem beobachtet, bei denen unsere Dags nicht zur spezifizierten Zeit, sondern konsistent zu einer scheinbar zufälligen Zeit ausgeführt wurden.

Anbinden von Block volume an eine VM Instanz in der OCI

Kommentar verfassen / Data Engineering & Tools, How to / Von Hung Manh

Objekte im OCI bucket verschieben

Kommentar verfassen / Data Engineering & Tools, How to, Learnings / Von Hung Manh

Gerade bin ich wohl über einer meiner Meisterstreiche in Sachen Dokumentation gestolpert. In der oracle cloud lassen sich Objekte nicht einfach verschieben, stattdessen geschieht dies über einen Umweg von Kopier- und Löschvorgängen.

pgadmin in Kubernetes – mount Permission denied

Kommentar verfassen / Data Engineering & Tools, Troubleshooting / Von Hung Manh

Wenn ein PVC im k8 Cluster angebunden wurde, um die Daten von pgadmin zu persistieren, wird möglicherweise ein mount permission denied Fehler auftreten

NULL Werte und ihre Tücken

Kommentar verfassen / Data Engineering & Tools, Learnings / Von Hung Manh

Merke: Am besten keine NULL Werte in kritischen Spalten zulassen, die für Vergleichsoperationen genutzt werden Wenn NULL Werte mit anderen Zeichenketten verglichen werden, so ist das Ergebnis stets falsch. Dies kann zu hoher Frustration und Verwirrung führen, da es nicht das zu erwartende Verhalten wiederspiegelt. SELECT CASE WHEN NULL = ‘test’ THEN 1 ELSE 0 …

NULL Werte und ihre Tücken Weiterlesen »

Komma separierten String in Funktion /stored procedure übergeben

Kommentar verfassen / Data Engineering & Tools, How to / Von Hung Manh

In postgres ist die Übergabe einer Komma separierten Variable an eine Funktion nicht das Gleiche, wie diese direkt in der IN Bedingung reinzuschreiben.