Wie die meisten Gemeinden des Lechtales entstand Elmen als Rodungssiedlung. Erstmals urkundlich erwähnt im Jahre 1312, als Elmenoe, Ellmo, Elbnau (Au mit Ulmen). 

1632 im Dreißigjährigen Krieg wollten die Schweden über die Ehrenberger Klause ins Gurgeltal ziehen. Da die wehrfähigen Männer auf den Bergen Wache standen, taten sich die Frauen zusammen und stellten auf dem "Hohen Rain" südwestlich des Dorfes Hainzen (= Heumandln) auf, die sie bekleideten, mit Sensen, Äxten und Dreschflegeln ausstatteten und dazwischen Feuer entzündeten. Die Soldaten glaubten auf eine Übermacht zu stoßen und zogen sich zurück. Damit gingen diese listigen Frauen als "Schlauen Weiber von Elmen" in die Chronik ein. Seither haben die Frauen von Elmen das Recht vor den Männern zur Kommunion zu gehen.

Im Jahr 1664 verschüttete einer riesigen Lawine 40 Männer beim Heuziehen im "Oberen Berg" (oberhalb der Stablalpe). Die Chronik meldet, daß "22 Weiber Witwen wurden". Einige bis dahin in Elmen ansässige Namen sind durch diese Katastrophe ausgestorben. 

In der Christnacht 1880 vernichtete ein Großbrand dreizehn Häuser im Elmen. Noch schlimmer erging es dem Weiler Martinau, der im März 1903 mitsamt der St. Josephskapelle durch eine Feuerbrunst bis auf ein einziges Haus eingeäschert wurde. 

Für die erstmals 1861 durchs Lechtal fahrende Postkutsche (ein Einspanner für zwei Personen) befand sich die Pferdewechselstation in Elmen. 

Elmen hat eine harte und lange Geschichte hinter sich, die über große Teile von der Unbeugsamkeit und dem Stolz der Bewohner geprägt ist. Der Blick in die Chronik erzählt uns in bunten Geschichten von diesen rechtschaffenen aber unnachgiebigen Vorfahren. All dies macht Elmen zu dem was es ist, ein über Generationen gewachsenes Dorf, das in seinem Wesen seine geographische Lage widerzuspiegeln scheint: Eng beisammen, behütet von den umgebenden Bergen und doch nach allen Seiten offen.