Ein Mailserver behandelt nur Emails wobei der Begriff Mailserver viel zu allgemein ist. Es gibt beispielsweise Mail Transfer Agents (MTA) aber auch Mail Delivery Agents (MDA). Außerdem mußt Du dir überlegen wie die Clients ihre Emails abholen sollen, einige bekannte Protokolle wären: POP3, POP3S, SMTP, IMAP und IMAPS.
Eine Groupware beinhaltet zusätzliche Funktionen wie beispielsweise: Termine, Aufgaben, Kontaktverwaltung, Dokumentenmanagment...
Die populärste und ausgereifteste Groupware im Open Source Bereich ist meines Wissens der OpenXchange Server: http://mirror.open-xchange.org/
Diesen kannst Du auch online testen...
mfg
cane