Teollistumisen myötä Tampere kasvoi vauhdilla ja tehtaiden työväelle tarvittiin asuntoja. Vapaata rakennustilaa löytyi Pispalan rinteiltä.

Asukkaat olivat köyhiä ja asunnot pieniä, eikä yhteisiä kokoontumistiloja hengellisille tilaisuuksille ollut. Pieni aktiivinen joukko perusti Pispalan rukoushuoneyhdistyksen vuonna 1898 tavoitteenaan rukoushuoneen rakentaminen alueelle.

Rukoushuoneen suunnitteli arkkitehti Wivi Lönn, ja se vihittiin käyttöön vuonna 1908. Kun Harjun seurakunta perustettiin 1937, yhdistys ensin vuokrasi rukoushuoneen kirkoksi ja 1950 lahjoitti sen tontteineen seurakunnalle. Samalla rakennukseen tehtiin suuria muutoksia Bertel Strömmerin suunnitelmien pohjalta.

Rukoushuone tuhoutui tulipalossa 1968, ja nykyinen Pispalan kirkko rakennettiin seurakuntatalon yhteyteen Pispalan valtatien varrelle. Kun suuri tavoite oli saavutettu, Pispalan rukoushuoneyhdistys jatkoi seurakunnallisen toiminnan tukemista. Samaa työtä ihmisten hyväksi yhdistys tekee edelleen.