Ich hatte das mit meiner Watch 4. Seit der Watch 5 gar nicht mehr.
Natürlich auch wohl durch das aktuelle Watch OS 6.2.1 und iOS 13.4.1 besser geworden.
Dir bleibt aber tatsächlich wenig.
1) Neustart der Apple Watch erzwingen und besser auch mal zusätzlich vom iPhone
2) Testen ob es einen Unterschied macht, wenn Du WLAN ausschaltest
3) iCloud abmelden, Neustart erzwingen der Watch und iPhone, Geräte ausschalten, min. 1 Stunde warten, iCloud anmelden
4) Watch entkoppeln, Neustart der Watch und iPhone, Watch koppeln
Wenn 1 keine Abhilfe schafft zum nächsten, usw.
Alles natürlich Verzweiflungstaten und kein Garant.
Viel Erfolg dennoch.