From c3414d2b4b893020733c3aa7251560668959f432 Mon Sep 17 00:00:00 2001 From: Federico Justus Denkena Date: Thu, 5 Jun 2025 00:06:42 +0200 Subject: [PATCH] fix 0 being detected as empty --- cleanup_script.py | 62 +++++++++++++++++++++++++---------------------- 1 file changed, 33 insertions(+), 29 deletions(-) diff --git a/cleanup_script.py b/cleanup_script.py index 3ec9f4f..8509718 100755 --- a/cleanup_script.py +++ b/cleanup_script.py @@ -23,90 +23,90 @@ class Company: self.bvdid = data["BvD ID Nummer"] self.name = data["Unternehmensname"] try: - if "Gewinn/(Verlust) vor Steuern EUR 2020" in data.keys() and data["Gewinn/(Verlust) vor Steuern EUR 2020"]: + if "Gewinn/(Verlust) vor Steuern EUR 2020" in data.keys() and data["Gewinn/(Verlust) vor Steuern EUR 2020"]!= '': self.gv2020 = int(data["Gewinn/(Verlust) vor Steuern EUR 2020"]) - elif "Gewinn/Verlust vor Steuern EUR 2020" in data.keys() and data["Gewinn/Verlust vor Steuern EUR 2020"]: + elif "Gewinn/Verlust vor Steuern EUR 2020" in data.keys() and data["Gewinn/Verlust vor Steuern EUR 2020"] != '': self.gv2020 = int(data["Gewinn/Verlust vor Steuern EUR 2020"]) else: self.gv2020 = None except ValueError: self.gv2020 = None try: - if "Gewinn/(Verlust) vor Steuern EUR 2021" in data.keys() and data["Gewinn/(Verlust) vor Steuern EUR 2021"]: + if "Gewinn/(Verlust) vor Steuern EUR 2021" in data.keys() and data["Gewinn/(Verlust) vor Steuern EUR 2021"] != '': self.gv2021 = int(data["Gewinn/(Verlust) vor Steuern EUR 2021"]) - elif "Gewinn/Verlust vor Steuern EUR 2021" in data.keys() and data["Gewinn/Verlust vor Steuern EUR 2021"]: + elif "Gewinn/Verlust vor Steuern EUR 2021" in data.keys() and data["Gewinn/Verlust vor Steuern EUR 2021"] != '': self.gv2021 = int(data["Gewinn/Verlust vor Steuern EUR 2021"]) else: self.gv2021 = None except ValueError: self.gv2021 = None try: - if "Gewinn/(Verlust) vor Steuern EUR 2022" in data.keys() and data["Gewinn/(Verlust) vor Steuern EUR 2022"]: + if "Gewinn/(Verlust) vor Steuern EUR 2022" in data.keys() and data["Gewinn/(Verlust) vor Steuern EUR 2022"] != '': self.gv2022 = int(data["Gewinn/(Verlust) vor Steuern EUR 2022"]) - elif "Gewinn/Verlust vor Steuern EUR 2022" in data.keys() and data["Gewinn/Verlust vor Steuern EUR 2022"]: + elif "Gewinn/Verlust vor Steuern EUR 2022" in data.keys() and data["Gewinn/Verlust vor Steuern EUR 2022"] != '': self.gv2022 = int(data["Gewinn/Verlust vor Steuern EUR 2022"]) else: self.gv2022 = None except ValueError: self.gv2022 = None try: - if "Gewinn/(Verlust) vor Steuern EUR 2023" in data.keys() and data["Gewinn/(Verlust) vor Steuern EUR 2023"]: + if "Gewinn/(Verlust) vor Steuern EUR 2023" in data.keys() and data["Gewinn/(Verlust) vor Steuern EUR 2023"] != '': self.gv2023 = int(data["Gewinn/(Verlust) vor Steuern EUR 2023"]) - elif "Gewinn/Verlust vor Steuern EUR 2023" in data.keys() and data["Gewinn/Verlust vor Steuern EUR 2023"]: + elif "Gewinn/Verlust vor Steuern EUR 2023" in data.keys() and data["Gewinn/Verlust vor Steuern EUR 2023"] != '': self.gv2023 = int(data["Gewinn/Verlust vor Steuern EUR 2023"]) else: self.gv2023 = None except ValueError: self.gv2023 = None try: - if "Gewinn/(Verlust) vor Steuern EUR 2024" in data.keys() and data["Gewinn/(Verlust) vor Steuern EUR 2024"]: + if "Gewinn/(Verlust) vor Steuern EUR 2024" in data.keys() and data["Gewinn/(Verlust) vor Steuern EUR 2024"] != '': self.gv2024 = int(data["Gewinn/(Verlust) vor Steuern EUR 2024"]) - elif "Gewinn/Verlust vor Steuern EUR 2024" in data.keys() and data["Gewinn/Verlust vor Steuern EUR 2024"]: + elif "Gewinn/Verlust vor Steuern EUR 2024" in data.keys() and data["Gewinn/Verlust vor Steuern EUR 2024"] != '': self.gv2024 = int(data["Gewinn/Verlust vor Steuern EUR 2024"]) else: self.gv2024 = None except ValueError: self.gv2024 = None try: - if "Gewinn/(Verlust) nach Steuern EUR 2020" in data.keys() and data["Gewinn/(Verlust) nach Steuern EUR 2020"]: + if "Gewinn/(Verlust) nach Steuern EUR 2020" in data.keys() and data["Gewinn/(Verlust) nach Steuern EUR 2020"] != '': self.gn2020 = int(data["Gewinn/(Verlust) nach Steuern EUR 2020"]) - elif "Gewinn/Verlust nach Steuern EUR 2020" in data.keys() and data["Gewinn/Verlust nach Steuern EUR 2020"]: + elif "Gewinn/Verlust nach Steuern EUR 2020" in data.keys() and data["Gewinn/Verlust nach Steuern EUR 2020"] != '': self.gn2020 = int(data["Gewinn/Verlust nach Steuern EUR 2020"]) else: self.gn2020 = None except ValueError: self.gn2020 = None try: - if "Gewinn/(Verlust) nach Steuern EUR 2021" in data.keys() and data["Gewinn/(Verlust) nach Steuern EUR 2021"]: + if "Gewinn/(Verlust) nach Steuern EUR 2021" in data.keys() and data["Gewinn/(Verlust) nach Steuern EUR 2021"] != '': self.gn2021 = int(data["Gewinn/(Verlust) nach Steuern EUR 2021"]) - elif "Gewinn/Verlust nach Steuern EUR 2021" in data.keys() and data["Gewinn/Verlust nach Steuern EUR 2021"]: + elif "Gewinn/Verlust nach Steuern EUR 2021" in data.keys() and data["Gewinn/Verlust nach Steuern EUR 2021"] != '': self.gn2021 = int(data["Gewinn/Verlust nach Steuern EUR 2021"]) else: self.gn2021 = None except ValueError: self.gn2021 = None try: - if "Gewinn/(Verlust) nach Steuern EUR 2022" in data.keys() and data["Gewinn/(Verlust) nach Steuern EUR 2022"]: + if "Gewinn/(Verlust) nach Steuern EUR 2022" in data.keys() and data["Gewinn/(Verlust) nach Steuern EUR 2022"] != '': self.gn2022 = int(data["Gewinn/(Verlust) nach Steuern EUR 2022"]) - elif "Gewinn/Verlust nach Steuern EUR 2022" in data.keys() and data["Gewinn/Verlust nach Steuern EUR 2022"]: + elif "Gewinn/Verlust nach Steuern EUR 2022" in data.keys() and data["Gewinn/Verlust nach Steuern EUR 2022"] != '': self.gn2022 = int(data["Gewinn/Verlust nach Steuern EUR 2022"]) else: self.gn2022 = None except ValueError: self.gn2022 = None try: - if "Gewinn/(Verlust) nach Steuern EUR 2023" in data.keys() and data["Gewinn/(Verlust) nach Steuern EUR 2023"]: + if "Gewinn/(Verlust) nach Steuern EUR 2023" in data.keys() and data["Gewinn/(Verlust) nach Steuern EUR 2023"] != '': self.gn2023 = int(data["Gewinn/(Verlust) nach Steuern EUR 2023"]) - elif "Gewinn/Verlust nach Steuern EUR 2023" in data.keys() and data["Gewinn/Verlust nach Steuern EUR 2023"]: + elif "Gewinn/Verlust nach Steuern EUR 2023" in data.keys() and data["Gewinn/Verlust nach Steuern EUR 2023"] != '': self.gn2023 = int(data["Gewinn/Verlust nach Steuern EUR 2023"]) else: self.gn2023 = None except ValueError: self.gn2023 = None try: - if "Gewinn/(Verlust) nach Steuern EUR 2024" in data.keys() and data["Gewinn/(Verlust) nach Steuern EUR 2024"]: + if "Gewinn/(Verlust) nach Steuern EUR 2024" in data.keys() and data["Gewinn/(Verlust) nach Steuern EUR 2024"] != '': self.gn2024 = int(data["Gewinn/(Verlust) nach Steuern EUR 2024"]) - elif "Gewinn/Verlust nach Steuern EUR 2024" in data.keys() and data["Gewinn/Verlust nach Steuern EUR 2024"]: + elif "Gewinn/Verlust nach Steuern EUR 2024" in data.keys() and data["Gewinn/Verlust nach Steuern EUR 2024"] != '': self.gn2024 = int(data["Gewinn/Verlust nach Steuern EUR 2024"]) else: self.gn2024 = None @@ -169,18 +169,22 @@ class Company: def validate(self): #fallback, in case tax wasn't already calculated self.calculate_tax() - if self.gv2020 and self.gn2020 and self.st2020 and self.ek2020: + #if self.gv2020 and self.gn2020 and self.st2020 and self.ek2020: + if self.st2020 and self.ek2020: self.report.valid_data += 1 return True self.report.invalid_data +=1 - if self.gv2021 and self.gn2021 and self.st2021 and self.ek2021: + #if self.gv2021 and self.gn2021 and self.st2021 and self.ek2021: + if self.st2021 and self.ek2021: self.report.valid_data += 1 return True self.report.invalid_data +=1 - if self.gv2022 and self.gn2022 and self.st2022 and self.ek2022: + #if self.gv2022 and self.gn2022 and self.st2022 and self.ek2022: + if self.st2022 and self.ek2022: self.report.valid_data += 1 return True - if self.gv2024 and self.gn2024 and self.st2024 and self.ek2024: + #if self.gv2024 and self.gn2024 and self.st2024 and self.ek2024: + if self.st2024 and self.ek2024: self.report.valid_data += 1 return True self.report.invalid_data +=1 @@ -225,10 +229,10 @@ class dataimport: AUTHTOKEN = None self.valid_data = 0 self.invalid_data = 0 - with ps_pool.ConnectionPool(conninfo="postgresql:///bachelorarbeit?sslmode=require&port=5432&host=denkena-consulting.com&passfile=/home/user/bachelorarbeit_importer/pgpass&user=bachelorarbeit_w&hostaddr=94.16.116.86", min_size=4, max_size=10, open=True, ) as pool: - with pool.connection() as conn: - self.db_setup(conn) - self.importer(conn) + #with ps_pool.ConnectionPool(conninfo="postgresql:///bachelorarbeit?sslmode=require&port=5432&host=denkena-consulting.com&passfile=/home/user/bachelorarbeit_importer/pgpass&user=bachelorarbeit_w&hostaddr=94.16.116.86", min_size=4, max_size=10, open=True, ) as pool: + # with pool.connection() as conn: + #self.db_setup() + self.importer() #AUTHTOKEN = self.authtoken #self.log.info('AUTHTOKEN SET!') @@ -238,7 +242,7 @@ class dataimport: pass - def importer(self, conn): + def importer(self): with self.progress: if AUTHTOKEN is not None: self.authtoken = AUTHTOKEN