Das von Manuel Carrara hier bzw. hier empfohlene Programm PortableFirefox von John Haller funktioniert einwandfrei.

Hier auf dem Schulrechner mit Windows 98SE keine Probleme mit dem Start vom USB-Stick. Bravo!