Nachdem immer mehr Juden zugezogen waren und der Gebetsraum am Marktplatz nicht mehr ausreichte, bauten sie 1720 die erste hölzerne Synagoge. Schon nach wenigen Jahren wurde das Holzgebäude durch ein Hochwasser zerstört und 1754 durch ein neues, massives Gebetshaus ersetzt. Es ist noch in der ursprünglichen Form erhalten und wurde bis 1936 genutzt. Schon 1 Jahr vor Auflösung der jüdischen Gemeinde waren Thorarolle, die heiligen Gegenstände sowie Gemeindearchiv und Totengedenkbuch den zuständigen Verbänden übergeben. Während des Krieges wurde die Inneneinrichtung entfernt, der Gebetsraum diente als Sanitätsraum und Lager. 1952 wurde das Gebäude den Juden zurückübereignet, seit 1953 ist die Synagoge in Privatbesitz und dient als Geschäftshaus, Arztpraxis und Wohnung.
Im Jahre 1800 waren von den 1630 Einwohnern 340 jüdischen Glaubens, von 274 Häusern hatten sie 67 in Besitz
Zur Belebung von Handel und Gewerbe haben die Juden durch ihre Handelsgeschäfte, insbesondere den Vieh-, Waren- und Güterhandel (d.i. Immobilienhandel) entscheidend beigetragen.
Das Verhältnis Christen – Juden war durch die herrschenden Vorurteile immer wieder belastet. Die üblichen Vorwürfe der christlichen Einwohner, den Juden könne nicht getraut werden, sie seien Wucherer und Müßiggänger, konnte nie belegt werden. Zu Streit kam es jedoch immer wieder mal, wenn es um die Einhaltung des Sabbats und des christlichen Sonntags ging. Vielfach waren Christen und Juden aufeinander angewiesen und halfen sich auch gegenseitig.
Ab 1821 gab es eine jüdische Schule mit einem eigenen Lehrer. Ein reicher Jude stiftete hierzu das Gebäude schräg gegenüber der Synagoge. Die Unterrichtsdauer betrug im Sommer 8 und im Winter 7 Stunden täglich, davon allein 4 Stunden Habräisch. Die Schule wurde 1888 wegen zu geringer Schülerzahl aufgelöst, die Kinder besuchten fortan die öffentlichen Schulen.
Ab Mitte des 19. Jahrhunderts, als die Juden rechtlich gleichgestellt und das Berufsverbot aufgehoben worden war, verbesserte sich auch das Verhältnis zwischen Christen und Juden deutlich: Juden traten in Vereine ein, übernahmen Funktionen, wurden in den Stadtrat gewählt und kämpften im 1. Weltkrieg teilweise für „ihr“ deutsches Vaterland und erhielten Auszeichnungen. Es entstanden sogar Freundschaften, die teilweise noch nach dem Krieg wiederbelebt wurden.
Zur Zeit der Machtübernahme durch die Nazis waren fast nur noch Angehörige einer verzweigten jüdischen Familie, die Viehhandel betrieb, in Harburg wohnhaft. 1938 wurde der letzte Jude auf dem hiesigen 1671 angelegten Judenfriedhof begraben. Alle Juden verkauften rechtzeitig ihre Häuser und Grundstücke, bevor sie Harburg verließen. Im Juli 1939 kehrte die letzte Jüdin der Stadt den Rücken und der Bürgermeister konnte dem Landrat noch am gleichen Tag melden: „Harburg ist von jetzt ab judenfrei“. Nachdem alle Juden rechtzeitig nach England, Amerika oder Palästina geflohen waren, wurde ab Harburg kein Jude in ein KZ deportiert.
Neben der Synagoge als religiöses Zentrum entstanden im Egelsee auch weitere imposante Gebäude.
Z.B. Gegenüber der ehem. Synagoge in einem Innenhof das von einem reichen jüdischen Viehhändler gebaute mehrstöckige Gebäude, das erst kürzlich im ursprünglichen Stil saniert wurde. Im Dachgeschoß des Hauses befand sich früher ein Raum zur Feier des sog. „Laubhüttenfestes“. Der Eigentümer war erster Autobesitzer in Harburg.
Gleich am Anfang der Egelseestraße sticht ein Fachwerkbau, das sog. „Hertlehaus“ ins Auge. Es wurde 1639 von einem sog. „Hofjuden“ gebaut und in den letzten Jahren als denkmal-geschütztes Gebäude originalgetreu renoviert. Beim Umbau konnte eine „Mikwe“, also ein rituelles Bad, freigelegt werden. Als Hofjuden oder Hoffaktoren wurden übrigens solche Juden bezeichnet, die auf dem Gebiet des Heerwesens, der Finanz- und Wirtschaftspolitik ein besonderes Talent bewiesen hatten. Auch Die Grafen und später Fürsten des Hauses Oettingen wussten diese Fähigkeiten durchaus zu ihrem Vorteil zu nutzen.