Data Engineering & Tools

TLDR: Ein dictionary in json behandelt alle Schlüssel als String, während ein Python Dictionay nicht nur zwischen dem Inhalt, sondern auch dem Datentyp unterscheidet (siehe Stackoverflow). Wenn man ein Dictionary in einem json speichert und das Dictionary daraus wieder lädt, muss man aufpassen, dass man nicht implizit den ursprünglichen numerischen Schlüssel in einen Schlüssel vom …

Doppelte Schlüssel bei der Erstellung einer Json aus einem Python Dict Weiterlesen »

TLDR: Es ist möglich, DAGs mit nur einem Skript dynamisch zu erstellen. Bei der Ausführung der Tasks wird jedoch das ursprüngliche DAG-Skript noch einmal geparset. Dies führt zu unnötigen Parsing-Iterationen von DAGs, die nicht zum aktuellen Task zugehörig sind. Beobachtung: Wir haben ein Skript, welches dynamisch DAGs und enthaltene Tasks erstellt: Um DAGs dynamisch zu …

Airflow – “Fill Dagbag” dauert zu lange Weiterlesen »

Wir haben ein Problem beobachtet, bei denen unsere Dags nicht zur spezifizierten Zeit, sondern konsistent zu einer scheinbar zufälligen Zeit ausgeführt wurden.

Wenn ein PVC im k8 Cluster angebunden wurde, um die Daten von pgadmin zu persistieren, wird möglicherweise ein mount permission denied Fehler auftreten