Para usar Software Livre você não precisa necessariamente recorrer ao GNU/Linux. Apesar de um ambiente idealmente livre incluir um Sistema Operacional livre, você pode muito bem começar seu contato com Software Livre usando a plataforma da Microsoft.
Existem vários softwares livres de ótima qualidade com opção de instalação e funcionamento em Windows. A novidade é que você pode utilizar alguns deles mesmo que não tenha permissão para instalar programas nos computadores. Isso porque o PortableApps permite executá-los diretamente a partir do pendrive.
Saiba mais sobre os aplicativos livres portáveis para Windows neste artigo.