#!/usr/bin/env python3 # ----------------------------------------------------------------------------- # anonymisieren.py – Übungswerkzeug aus dem KI-Universum (Welt 12, Log-Detektiv) # # Was es tut (fachlich: Pseudonymisierung, keine echte Anonymisierung): # Liest Logdateien und schreibt NEUE, geschwärzte Kopien daneben. # - IPv4-Adressen -> IP-001, IP-002 ... (gleiche Adresse = gleiches Kürzel) # - Benutzernamen -> USER-01, USER-02 ... (aus typischen sshd-, sudo- und # nginx-Mustern) # Die Originaldatei wird nur gelesen, nie verändert. Neu geschrieben werden # die Kopien *.anonym.* und eine lokale Zuordnungstabelle. Existiert die Zieldatei # schon, bricht das Skript ab (nichts wird überschrieben). # # Aufruf (Python 3, keine Zusatzpakete nötig): # python3 anonymisieren.py uebungslog-auth.log # -> erzeugt uebungslog-auth.anonym.log # -> und uebungslog-auth.zuordnung.txt (die Zuordnungstabelle: bleibt bei # Ihnen, NIE mit in die KI geben – sonst ist die Schwärzung wertlos) # # Grenzen (ehrlich): # - IPv6-Adressen, Mailadressen, Namen in freiem Text, Rechnernamen und # Pfade wie /home/ werden NICHT erkannt. Vor dem Hochladen immer # selbst stichprobenartig prüfen (z. B. nach dem eigenen Namen suchen). # - Pseudonymisierte Daten bleiben in der Regel Personendaten: Über die # Zuordnungstabelle, Zeitstempel und Zusammenhänge sind sie wieder auf # Personen zurückführbar. Echte Logs darum auch geschwärzt nur mit Freigabe # der Schule in einer zugelassenen Umgebung (oder lokal) auswerten. # - Kürzel werden pro Aufruf neu vergeben: zwei Dateien einzeln anonymisiert # haben verschiedene Zuordnungen. Für mehrere Dateien mit gleicher # Zuordnung alle Dateien in einem Aufruf angeben: # python3 anonymisieren.py access.log error.log auth.log # ----------------------------------------------------------------------------- import os import re import sys IPV4 = re.compile(r'\b(?:25[0-5]|2[0-4]\d|1?\d?\d)(?:\.(?:25[0-5]|2[0-4]\d|1?\d?\d)){3}\b') # Muster, in denen ein Benutzername steht (Gruppe "u" ist der Name) USER_MUSTER = [ re.compile(r'(?:Failed|Accepted) \S+ for (?:invalid user )?(?P\S+) from'), re.compile(r'Invalid user (?P\S+) from'), re.compile(r'session (?:opened|closed) for user (?P[^\s(]+)'), re.compile(r'sudo: +(?P\S+) :'), re.compile(r'PWD=/home/(?P[^\s;/]+)'), re.compile(r'^\S+ - (?P[^-\s]\S*) \['), # nginx: $remote_user ] ips, users = {}, {} def kuerzel_ip(m): ip = m.group(0) if ip not in ips: ips[ip] = f'IP-{len(ips) + 1:03d}' return ips[ip] def ersetze_user(zeile): # Ersetzt nur genau die Stelle, an der der Name steht (nicht jedes gleiche Wort in der Zeile) for muster in USER_MUSTER: def tausch(m): name = m.group('u') if name.startswith('USER-'): return m.group(0) if name not in users: users[name] = f'USER-{len(users) + 1:02d}' a, e = m.start('u') - m.start(0), m.end('u') - m.start(0) return m.group(0)[:a] + users[name] + m.group(0)[e:] zeile = muster.sub(tausch, zeile) return zeile def main(pfade): if not pfade: print('Aufruf: python3 anonymisieren.py [weitere Logdateien]') sys.exit(1) ziele = [] for pfad in pfade: stamm, endung = os.path.splitext(pfad) ziel = f'{stamm}.anonym{endung or ".txt"}' if os.path.exists(ziel): print(f'Abbruch: {ziel} gibt es schon. Ich überschreibe nichts.') sys.exit(1) ziele.append((pfad, ziel)) for pfad, ziel in ziele: with open(pfad, encoding='utf-8', errors='replace') as ein, open(ziel, 'x', encoding='utf-8') as aus: for zeile in ein: zeile = ersetze_user(zeile) # zuerst Namen (die Muster brauchen das Wort "from" usw.) zeile = IPV4.sub(kuerzel_ip, zeile) aus.write(zeile) print(f'geschrieben: {ziel}') tabelle = os.path.splitext(pfade[0])[0] + '.zuordnung.txt' if not os.path.exists(tabelle): with open(tabelle, 'x', encoding='utf-8') as t: t.write('# Zuordnungstabelle - bleibt lokal, nie in die KI geben\n') for k, v in ips.items(): t.write(f'{v}\t{k}\n') for k, v in users.items(): t.write(f'{v}\t{k}\n') print(f'Zuordnung (lokal behalten!): {tabelle}') print(f'{len(ips)} IP-Adressen und {len(users)} Benutzernamen ersetzt. Bitte Stichprobe machen.') if __name__ == '__main__': main(sys.argv[1:])