Původní románská stavba kostela měla polookrouhlou apsidu, která zůstala i po rozšíření a přestavbě kostela v roce 1749. Tenkrát byla prolomena do lodi nová okna (románská byla zazděna), přestavěno průčelí a přistavěny jiné části. Kolem kostela byl situován i hřbitov s kostnicí oddělený zdí. Ten však byl zrušen v roce 1791 a fakticky zlikvidován v roce 1833 a to včetně kostnice.Pohřbívalo se na něm téměř 600 let. Do kostela se sestupovalo po několika schodech. Díky své nižší poloze byl kostelík vlhký a občas sem při dešti zatékalo Ve štítu kostela byl umístěn žehnající Ježíš Kristus s jablkem světovlády v ruce po bocích s oběma světci. Za autora soch je považován F. M. Brokof. Byl zde i staroměstský znak.. Ve věži se nacházely zvony Filip (poč. 14. století) a Jakub (pol. 15. století). Jeden z nich údajně pocházel z kartuziánského chrámu Panny Marie. Sakristie byla umístěna v přízemí věže. V interiéru se nacházelo 5 oltářů zasvěcených sv. Filipovi a Jakubovi, Panně Marii, Barboře, Prokopovi a Janu Nepomuckému. U hlavního oltáře se nacházely kroucené sloupy. Vojtěch Sedláček ve svých Dějinách Smíchova z roku 1935 vzpomíná na staré varhany, které se při mši často rozbily, ke zpěvu pak musel hrát malý orchestr nebo se zpívalo bez hudby.
K vybavení kostela náležely dva pozlacené stříbrné kalichy, stříbrné ciborium z roku 1549 a stříbrnou monstranci, pacifical měděný darovaný farářem Kreysou, cínová křtitelnice z roku 1550, 3 pluvialy a 12 kasulí. Kostel byl roku 1786 vykraden, mimo jiné bylo odcizeno ciborium, zlatý melchisedech a stříbrný kalich.
Mše se zde konaly střídavě v českém a německém jazyce. Německý jazyk však pozvolna ustupoval, až se v něm sloužilo jen o pouti sv. Filipa a Jakuba a to jen do roku 1870, kdy bylo po odchodu farníků na začátku německého kázání představeného pražského alumnátu Dr. Tersche zrušeno úplně. Když to dr. Tersch uviděl, údajně zvolal: „Počkejte, lidičky, já umím také česky!“ a zbytek kázání přednesl v češtině. Němčina se pak používala jen při zádušních mších za farníky německé národnosti. Od roku 1875 farní osada nezahrnuje Zlíchov a Hlubočepy, které získali nového faráře. Ani po této změně však kapacita kostelíka nevyhovovala vzrůstajícímu počtu obyvatel Smíchova. Proto byl vystavěn kostel sv. Václava, kde se od roku 1885 bohoslužby konaly.
Sedláček ve svých Dějinách dále vzpomíná na rok 1878, kdy nastal na Smíchově velký rozruch – několik dětí vidělo, jak farář Švehla vede na provaze do kostelíčka čerta, který měl sloužit mši svatou. Lidé se sbíhali na filipojakubské náměstí, někteří vylezli na stromy, nahlíželi okny dovnitř a potvrzovali, že skutečně vidí čerta, jak slouží mši. Jak se však ukázalo později, navštívil Smíchov jen kapucín – misionář, opálený ze svých cest. O týden později došlo u schodů kostela k tragické události. U nedalekého Vejvodova obchodu vybuchl sud s lihem, vymrštil se do vzduchu, spadl na sedmiletého chlapce a i s ním se kutálel po náměstí dolů, až ke schodům kostela.Chlapec, syn majitele obchodu, pro nějž byl líh určen, zahynul. Pohřben je v rodinné hrobce Vejvodů na Malvazinském hřbitově, kde je na porcelánové míse i jeho portrét. Obětí výbuchu mohl být i chlapcův kamarád vedle stojící Václav Sedláček nebýt učitelky Terezie Duchacké, která jej na poslední chvíli strhla stranou.
Od postavení nového kostela se v kostelíku konaly jen některé obřady, např. křty a služby při svátku sv. Filipa a Jakuba. Poslední kázání sloužil v roce 1891 o pouti kaplan Fr. Tauš a poslední mši svatou smíchovský farář Vincenc Švehla dne 12. října. Shromáždilo se velké množství lidí i Smíchovská městská rada. Mezi jinými farář pravil k přítomným zástupcům obce: „Dnes naposled mám Vám hlásati slovo Boží s tohoto posvátného místa, dnes naposledy má býti v tomto kostele oběť mše sv. .... Když vyrostlo město naše a malý tento kostelík pro značný počet přifařených duší nestačil, Vy, postarali jste se nám o nový, nádherný chrám sv. Václava, do něhož nyní úplně přesídliti se máme. Opustíme toto svaté místo, kde pod ochranou patronů našich, sv. Filipa a Jakuba, často jsme se shromažďovali. Bylo by od nás všech nevděčným, kdybychom s tímto místem měli opustiti patrony, ty světce, kteří nám tolik milostí u Boha zjednali. Nad naším městem, městem to živých, povstalo v krátku město nové na Malvazinkách, město, v němž již dnes v tisících příbytcích zbudovaných v chladném lůnu země odpočívají ti, již s námi zde na zemi úzce spojeni byli, a toto město našich drahých zesnulých posud nemá kostela. A proto jménem svým a jménem svých milých osadníků vznáším k Vám prosbu, abyste nám za tento zbořený kostel dali nový kostel na Malvazinkách, který by byl posvěcen patronům tohoto kostela: sv. Filipu a Jakubu.“ Když farář odevzdával klíče starostovi Aloisu Elhenickému, pravil: „Před 15 lety odevzdali jste mi klíče tohoto chrámu jakožto nově zvolenému faráři, abych v něm konal duchovní správu, a nyní Vám vracím klíče tyto s bolestným podotknutím, že kostelík ten naplnil svou úlohu, a že má býti zbořen. Kostelík tento měl patrony Filipa a Jakuba, svaté apoštoly Páně, které kdysi zvolila si zdejší osada za své prostředníky u Boha. Mnoho milostní nám u Boha tito světcové vyprosili. Nevděčným tudíž bylo by od nás, kdybychom na ně chtěli zapomenouti, a proto Vás žádám, aby jejich památka byla zachována. Na Malvazinkách vzrostlo nové, veliké město, které mnohými svazky jest s námi spojeno: město mrtvých, nuže, tam postavte chrám na počest těchto světců, prosím Vás o to jménem všech osadníků.“ Purkmistr toto přislíbil. Bourání kostelíka bylo doprovázeno emotivními projevy zdejších osadníků. Málem došlo k inzultacím členů rady města, Peluňka, stavitele Cuřína, obchodníka Krupky a starosty Elhenického, kteří byli neprávem označeni jako strůjci zničení kostelíka. Rozzuřený dav dokonce stál i před jejich domy. Farář Švehla situaci uklidňoval sdělením, že nařízení ke zboření přišlo z konzistoře a nikoli z radnice. Václav Sedláček ve svých Dějinách Smíchova však uvádí i možnost, že za demolicí kostelíka může stát i sám farář Švehla. Smíchovská farnost tenkrát prý patřila k těm nejvýnosnějším v celé Praze. S výstavbou kostela nového a zachování starého by mohlo hrozit její rozdělení a tudíž i snížení beneficia, které by poškodilo faráře.Švehla měl údajně, jako jedna z nejvlivnějších osob na radnici, prohlásit starý kostel za zbytečný a bránící rozvoji. Nakonec přišla na místo komise, která zjistila, že nemá historickou hodnotu, hrozí sesutí stavby a doručila ho zbourat s tím, že v něm umístěná umělecká budou přenesena na Malvazinky. Demolice tak mohla začít.
Když byla rozebrána střecha, měly být z průčelí sneseny sochy světců Filipa a Jakuba i socha žehnajícího Krista. První byly na provazech do valníku pokrytého slámou spuštěny sochy světců. Socha Krista ale ze svého podstavce uvolnit nešla a to ani po odsekání zdiva. Stohlavý dav, který snímání s pláčem přihlížel, si to vykládal jako znamení proti nesmyslnému zboření kostela. Nakonec, když musela být vybourána celá římsa, bylo zjištěno, že socha byla upevněna železnou tyčí. Když se Krista podařilo zvednout do vzduchu, otočil se čelem ke kostelu, což vyvolalo v přítomných věřících údiv a volali:“Kristus se loučí! Obrátil se od nás!Chce zpět!“. Při pokládání na valník se socha obrátila čelem k lidu a na rozdíl od předchozích světců zůstala ve vertikální podobě. Lidé se vrhli k vozu a sochu líbali. Pak všichni poklekli na kolena a modlili se. Poté se dal vůz následován procesím do pohybu. Kam pak byly sochy složeny není známo. Bourání kostela pak pokračovalo již velmi rychle. Rozdrobený stavební materiál si pak lidé odnášeli jako památku na tento téměř 700 let sloužící svatostánek.,Kříž stojící před kostelem byl umístěn na zahradě městského chudobince. Se zánikem kostela skončily i slavné filipojakubské poutě, které byly na čas přeneseny na Dětský ostrov, ale své obliby už nikdy nedosáhly. Na místě, kde kostelík stával, je v dlažbě vyznačen kříž
Pod kostelíkem se údajně nacházely rozlehlé podzemní prostory.
1749 – 1766 Antonín Tadeáš Kreysa – rozený v Jirchářích, do té doby týnský kaplan
1766 – 1789 Matěj Václav Konrád – pocházející z Horažďovicka, kaplan u sv. Jindřicha v Praze, byl doktorem teologie, měl vysoké papežské vyznamenání – byl apoštolským pronotářem, dle farních knih byl velmi činorodý, zasloužil se o povolení od arcibiskupa nosit expositorium canonicale i pro další smíchovské faráře, na jeho prosbu byla roku 1786 zřízena na Smíchově škola, v roce 1789 se stává vikaristou u sv. Víta
1789 – 1799 Antonín Haftner – kaplan u sv. Jindřicha, roku 1799 byl pražským magistrátem zvolen za faráře u sv. Jindřicha
1799 – 1800 František Krabath – týnský kaplan, doktor filosofie, licenciat teologie, od roku 1800 farář u sv. Jindřicha
1800 – 1815 Josef Ploner – kaplan u sv. Vojtěcha v Jirchářích, na Smíchově působil do své smrti
1816 – 1819 Bohuslav Reichl – expozita v Podskalí, v roce 1819 zvolen farářem u Nejsvětější Trojice na Novém Městě
1820 – 1832 Antonín Langler – původně od roku 1809 kaplan u bývalého smíchovského faráře Krabatha u sv. Jindřicha, dvakrát tam byl dvakrát administrátorem, roku 1928 byl jmenován jedním z pražských vikářů pro obecné školy a o 4 roky později byl investován na faru sv. Štěpána v Praze
1832 – 1840 Josef Svoboda – 15 let byl kaplanem v Týně, v roce 1840 byl suspendován pro svatokupectví, umírá v klášteře ve Vožici v roce 1850
1840 – 1875 Josef Raab – kaplan senior u sv. Jindřicha, 10 let na Smíchově administroval, v roce 1850 byl zvolen za faráře, vysvětil roku 1846 parní mlýn u Smíchovského nádraží (stal se součástí Ringhofferových závodů), základní kámen mlýna byl položen arcivévodou Štěpánem
1875 – min. 1898 Vincenc Švehla – od roku 1871 je košířský expozita administrátorem, jako první farář nebyl zvolen magistrátním zastupitelstvem ale smíchovským, pocházel z Počátek, studoval v Jindřichově Hradci a Českých Budějovicích, vysvěcen byl roku 1853 v Praze, do roku 1857 působil v Mníšku, poté jako kaplan na Smíchově, inicioval výstavbu nového kostela sv. Václava, od roku 1871 byl smíchovským zastupitelem a členem okresní školní rady, později byl školním inspektorem pro náboženství, za zásluhy byl jmenován ordinariátem kníž, arc. notářem a konsistorním radou, Vyšehradská kapitula jej zvolila nesídelním kanovníkem, císař jej jmenoval rytířem řádu císaře Františka Josefa.
Literatura: Mudrová, Ivana. Prahou s otevřenýma očima. Praha: Nakladatelství Lidových novin, 2005.Štraub, Miloš. Jenková, Jitka. Tajemné podzemí. Praha. Praha: Regia, 2005. Sedláček, Vojtěch. Dějiny Smíchova. 1935.