Danke für den Tipp. Das hat die Lösung gebracht!
Für alle die Ihr Node über den Versionsmanager "n" installieren:
Ihr könnt euch die Änderung der config.txt auch sparen und "n" anweisen die 32bit Variante eurer gewünschten Node Version zu installieren.
mit:
bekommt ihr die aktuelle LTS Version von Node für den Pi 4. Ihr könnt in dem Befehl "18.16.0" mit der von euch gewünschten Version ersetzen.