Drevený kostol sa vyznačuje neskorogotickými stavebnými prvkami. Odborníci ho na základe výskumov zaraďujú do druhej polovice 15. storočia, aj keď prvé písomné zmienky o farnosti v Tvrdošíne pochádzajú z roku 1395. Priestor kostola spája niekoľko druhov umenia. Dochádza tu ku komplexnému spojeniu rôznych foriem umeleckých prejavov z rôznych storočí.

Kostol Všetkých svätých bol ešte v polovici 17. storočia farským kostolom, i keď v tom čase bol postavený aj nový drevený kostol v centre mesta. Ten niekoľkokrát počas svojej existencie vyhorel tak, že vždy z neho ostala len kamenná veža – stala sa základom kostola Sv. Trojice na tvrdošínskom námestí v takej podobe, ako ho poznáme teraz. 

Práve v 17. storočí prešiel kostol rozsiahlymi stavebnými úpravami. Okrem iného, v presbytériu pribudlo združené archivoltové okno, ktoré úplne zmenilo vtedajšiu tmavú gotickú mystiku objektu. Na klenbe pribudla maľba oblohy s hviezdami; chýba na nej však slnko a mesiac. V spodnej časti zaklenutia – pod oblohou, môžete vidieť namaľovaných štyroch sediacich evanjelistov. Na bočných stenách svätyne sú vedľa seba namaľované obrazy svätcov, pričom každý je pomenovaný v latinčine.

Zaujímavý je aj rovný kazetový strop, ktorý sa nachádza v lodi kostola. Jeho súčasťou je 49 ornamentálnych ružíc a každá z nich je iná. V starších odborných materiáloch sa spomína, že pôvodne bol celý strop zložený z ornamentálnych ružíc, o zničenie tých pri obvodových stenách sa postarali drevokazné huby a červotoč. 

Počas rekatolizácie bol do kostola nainštalovaný obrovský barokový oltár, ktorý nahradil jeho staršieho a menšieho gotického predchodcu. Fragmenty gotického oltára sa nachádzajú v Oravskej galérii v Dolnom Kubíne a v Múzeu krásnych umení v Budapešti. Súčasťou súčasného, barokového oltára, je oltárny obraz. Je na ňom namaľované veľké množstvo osôb, čo symbolizuje titul kostola. Na obraze je napísaná veta v latinčine, v preklade však znamená: Táto sláva patrí všetkým jeho svätým, Ž 149. Nad obrazom sa nachádza súsošie korunovania Panny Márie s adorujúcimi anjelmi a svätcami.

Zaujímavými je aj dvoje dverí – pôvodne boli pomaľované ornamentami. Sú ťažké a vybavené železnými madlami v tvare šesť lupeňových kvetov.