Hallo,
wenn du nur Virtualbox auf dem Server betreiben möchtest, kannst du auf eine GUI auf dem System verzichten. Es gibt eine tolle PHP-Weboberfläche für Virtualbox. Hatte ich mal kurz testweise installiert und funktioniert einwandfrei. Du benötigt nur einen Webserver (z.B. apache, nginx) und die entsprechenden PHP-Module. Funktioniert quasi outofthebox wie "phpMyAdmin" (bzw. sind gesonderte Konfiguration verständlich dokumentiert).
phpVirtualBox | Free Development software downloads at SourceForge.net
Dazu ein z.B. bereits genanntes minimales Linuxsystem. Für kleinere Testsysteme ist VirtualBox meiner Meinung nach vollkommen ausreichend.
Grüße
WauWau