Hallo Thomas,
eigentlich sollte die COM-Schnittstelle ja genormt sein.
Der erste Verdacht wäre natürlich, daß der Booster einfach die Versorgungsspannung statt der Digitalspannung ans Gleis gibt.
Wenn Du eine alternative Möglichkeit zum Programmieren der Dekoder hast, schalte mal bitte den Analogmodus aus.
Natürlich wirst Du dann die Loks noch immer nicht steuern können, aber zumindest rasen sie dann nicht unkontrolliert los.
Solltest Du noch ein altes Hardware-Setup haben, bei dem es funktioniert hatte, nimm dieses nochmal zum Gegentest.
Kontrolliere nochmals Dein Setup, ob Du wirklich nur Pin 3 (TxD) und Pin 5 (GND) benutzt.
Mehr fällt mir im Moment auch nicht ein.
Gruß
Andreas