Mit 'Mailserver' ist meist ein MTA (Mail Transfer Agent) mit angeschlossenen MDA (Mail Delivery Agent) gemeint. Der Eine ist für den Versand und Empfang von Emails, der Andere für die lokale Filterung, Sortierung und Zustellung in die Mailboxen zuständig. Die Nachfolgend aufgezählten Mailserver sind überwiegend MTA's, die aber meist auch ein eigenes MDA-Modul mitliefern.
Die Antwort nach dem besten MTA ist recht schwer und würde wahrscheinlich von Guru zu Guru anders ausfallen. Alle SMTP-Server haben ihre Vor- und Nachteile genauso wie Vorurteile. Aber macht Euch selbest ein Bild...
sendmail
Sendmail ist der Älteste in der Runde (diente als 'delivermail' bereits im Arpanet). Allein dadurch ergeben sich die durchaus wahren Vorurteile der Unsicherheit und Unflexibilität. Ersteres ist inzwischen ausgemergelt, letzteres hat man versucht durch API's (z.B. 'Milter') auszumerzen. Das Problem der Konfiguration über einen m4-Compiler besteht aber weiterhin und macht die Config-Dateien entsprechend unleserlich.
Sendmail benötigt einen MDA (z.B. procmail) für die lokale Zustellung.
(wikipedia)
Postfix
Meines erachtens nach ist Postfix der beste und flexibelste Mail-Server. Leichte und schnell zu erlernende Konfiguration, Einbau von Mailfiltern an fast jeder beliebigen Station der Email-Verarbeitung, klares Konzept und gutes Logging. Dazu kommen ausführliche Dokumentationen in allen möglichen Sprachen. Ein weiterer Vorteil, der vorallem für die starke Verbreitung/Ablösung von Sendmail ausschlaggebend war, ist, daß Postfix alle nötigen Tools mitbringt um volle Sendmail-Kompatibilität zu bieten.
Es existieren bereits viele 'Plugins', für die Anbindung an verschiedene Datenbanken, Spam- und Virus-Software. (Z.B. Amavisd-new)
Postfix hat zwar einen eigenen MDA im Paket-Umfang, kann aber auch Andere (z.B. Procmail oder Maildrop) bedienen.
(wikipedia)
qmail
Der Entwickler von qmail wollte alles besser, neuer und sicherer machen als Sendmail. Ist aber ähnlich stur wenn es um Erweiterungen und Neuerungen geht. Dies liegt in der Entstehungsphase, die bereits 1998 abgeschlossen war.
qmail (ja, es wird klein geschrieben), zeichnet sich vor allem durch seine Modularität und Robustheit aus. Speziell gesagt: für jede Aufgabe ist ein anderes Programm zuständig. Dadurch soll u.a die Wartung als auch die Fehleranfälligkeit verbessert werden. Ein wesentlicher Nachteil ist, daß es keine API für Erweiterungen zur Verfügung stellt. Man muß statt dessen immer direkt im Code Änderungen einpflegen (Patches) um z.B. Spam-&Antiviren-Filter einzubetten.
(wikipedia)
Exim
Exim ist in erster Linie deshalb bekannt, weil er der standard Mailserver in Debian-Sarge geworden ist. Er verwirrt aber leicht durch seine vielen Dateien zur Konfiguration.
Der wesentliche Vorteil ist die hohe Flexibilität von Exim4 durch eine eigene Scriptsprache und Integration der Scriptsprache Perl. So können eine Vielzahl von Filtern und Plugins an verschiedenen Stellen der Mailzustellung oder -versand eingebunden werden.
Zusätzlich unterstützt es schon von Hause aus verschiedene Schnittstellen zu Datenbanken und mehrere Mailbox-Formate.
(wikipedia)
Natürlich gibt es noch weitere Mailserver. Vorallem, weil hier nur die häufigsten Unix/Linux-Server aufgezählt sind.