Die Schaltregeln beziehen sich nicht nur auf alle vier Jahre.
Da geht es teilweise um Sekunden. Durch die ganzen Korrekturen verschiebt sich der Tag immer um ein paar Tage. Schau dir das nicht nur kurzfristig an, wenn du das über ein paar 100 Jahre verfolgst, siehst du den Unterschied.
... wobei das immer noch nicht die unterschiedliche Länge der Jahreszeiten erklärt, siehe Beitrag von Erian.