Weiler im Allgäu, der Hauptort der Gemeinde, befindet sich auf 632 Metern, eingebettet in Wiesen, Weiden und Wälder, mitten im weiten, beschaulichen Tal der Rothach. Auf einem der beiden Höhenrücken liegen in 700 bis 800 Metern Höhe die beiden Orte Simmerberg und Ellhofen. Von hier hat man eine herrliche Aussicht in die Allgäuer und Vorarlberger Berge bis hin zum Schweizer Säntis-Massiv.

Über Jahrhunderte hinweg hatten die drei ehemals selbständigen Orte Weiler, Simmerberg und Ellhofen eine bedeutende Funktion im Westallgäu. Weiler im Allgäu als Verwaltungssitz mit Gerichtsbarkeit und späteres Zentrum der Allgäuer Emmentaler Käseproduktion, Simmerberg als logistisches Zentrum des Salzhandels und Ellhofen als Enklave des Deutschritterordens und Zentrum der Weichkäseproduktion im Westallgäu.