Ich nehme an, Sie meinen, dass die Drehzahl über 2.000 liegt. Wenn sie über 20.000 läge, würde ich denken, dass Sie eine andere Art von Geräusch aus dem Motorraum hören würden.
Von der Beschreibung her hört es sich an, als hätten Sie einen beschädigten Syncro, vor allem wenn es beim Herunterschalten in den 3. passiert. Beim Hochschalten sollte das Geräusch nicht ganz so schlimm sein, aber wenn der Syncro wirklich kaputt ist (was Ihre Beschreibung nahelegt, da es mit der Zeit immer schlimmer wurde), werden Sie das Geräusch auch beim Hochschalten hören.
Die einzige Möglichkeit, es zu beheben, ist, das Getriebe auszubauen und entweder durch ein überholtes zu ersetzen oder es auszubauen und die Syncro zu ersetzen. Sie können auch hoffen, dass Sie keine Zahnräder selbst beschädigt/verschlissen haben, das würde die Reparatur noch teurer machen. Wie Sie sich wahrscheinlich schon denken können, wird das keine billige Reparatur werden.
In der Zwischenzeit würde ich vorschlagen, dass Sie doppelt auskuppeln und beim Herunterschalten die Drehzahl anpassen (d.h. kuppeln -> Box in den Leerlauf -> Gas geben -> kuppeln und in den niedrigeren Gang schalten) und langsamer hochschalten, um die Lebensdauer des Getriebes zu verlängern, bis Sie es reparieren lassen können. Es macht keinen Sinn zu versuchen, die Gänge so schnell wie möglich zu wechseln (selbst auf einer Rennstrecke ist der Gewinn minimal), aber es ist sehr hart für das Getriebe.