Despues de mucho buscar y de horas de dolor de cabeza reinstalando e instando y modificando archivos, todo se resumio en una completa perdida de tiempo ya que la solucion la encontre en una simple linea:
sudo adduser $(whoami) vboxusers
Aclaro que para que esto funcione lo mejor es tener instalada la version de VirtualBox de SUN que descargamos desde la pagina "http://www.virtualbox.org/wiki/Linux_Downloads"
Esto esta probado y funcionando en Ubuntu 9.04