Data Engineering & Tools

Doppelte Schlüssel bei der Erstellung einer Json aus einem Python Dict

TLDR: Ein dictionary in json behandelt alle Schlüssel als String, während ein Python Dictionay nicht nur zwischen dem Inhalt, sondern auch dem Datentyp unterscheidet (siehe Stackoverflow). Wenn man ein Dictionary in einem json speichert und das Dictionary daraus wieder lädt, muss man aufpassen, dass man nicht implizit den ursprünglichen numerischen Schlüssel in einen Schlüssel vom …

Doppelte Schlüssel bei der Erstellung einer Json aus einem Python Dict Weiterlesen »

Superset Guest Token mit Python erstellen, um Superset Dashboard zu embedden

Das große Ziel ist es, ein Superset Dashboard in einer Webanwendung z.B. in REACT einzubetten. Um das zu erreichen, muss unter anderem ein Guest Token (Service Account) erstellt werden. Da dieser Prozess (meiner Meinung nach) nicht ganz ausreichend gut dokumentiert ist, versuche ich diese Lücke mit diesem Blogbeitrag zu schließen :). Übersicht Um ein Superset …

Superset Guest Token mit Python erstellen, um Superset Dashboard zu embedden Weiterlesen »

Airflow – “Fill Dagbag” dauert zu lange

TLDR: Es ist möglich, DAGs mit nur einem Skript dynamisch zu erstellen. Bei der Ausführung der Tasks wird jedoch das ursprüngliche DAG-Skript noch einmal geparset. Dies führt zu unnötigen Parsing-Iterationen von DAGs, die nicht zum aktuellen Task zugehörig sind. Beobachtung: Wir haben ein Skript, welches dynamisch DAGs und enthaltene Tasks erstellt: Um DAGs dynamisch zu …

Airflow – “Fill Dagbag” dauert zu lange Weiterlesen »

Migration von Kubernetes in ein VCN Natives Cluster in der OCI

Euer managed Kubernetes Cluster in der OCI könnte eine kleine Anzeige besitzen, die besagt, dass eine “Migration erforderlich” ist. Das liegt daran, dass in früheren Releases (vor dem 16. März die der Kubernetes API-Endpunkt von der Container Engine zwar bereitgestellt, aber nicht in das eigene VCN integriert wurde (oracle doc). Die Ausgangssituation Bei der Bereitstellung …

Migration von Kubernetes in ein VCN Natives Cluster in der OCI Weiterlesen »

hungsblog | Nguyen Hung Manh | Dresden
Nach oben scrollen