当社の起源は古く、鎌倉時代初期に遡ると言われています。
治承四年（二八〇）、源頼朝は挙兵にあたり西伊豆土肥の杉山に鎮座していた弁財天に戦勝を祈願しました。
願いが成就した後、頼朝は茗荷島劔ヶ淵に神殿を造営し、伊豆より弁財天を勧請したと伝えられています。
この地は後に横濱村（現在の関内周辺）となり、清水の湧水があったところから清水弁天、
また洲干弁天と呼ばれるようになりました。その名は、今でも桜木町から関内へと渡る弁天橋に名残を留めています。
元禄年間（一六八〇～一七〇三）になって、増徳院（今の外国人墓地元町側、薬師堂のみ現存）境内に仮殿を作り、
上之宮杉山弁天と称しました。御神体は、平日は上之宮に、祭日には下之宮清水弁天にお祀りすることになりました。
幕末・開港期には、この弁天社は横濱湊惣鎮守として多くの方々の崇敬を集めるようになります。
万延元年（一八六〇）、横濱村の住民は、居留置確保のため幕府が出した命令により、
堀川東岸へ移転することになりましたが、移転先を横浜元村と名乗り、元町の礎を築きます。
この時、今の山下町にあった浅間神社も元町百段上（現百段公園）へ移り、明治四十二年には合祀されることになります。
明治元年（一八六八）、清水弁天は羽衣町へと遷座。
明治二年、杉山弁天は神仏分離令により増徳院から分離・独立し、嚴島神社として祀られることになりました。
大正十二年（一九二三年）、関東大震災により社殿は倒壊焼失。
現在の社地へ移転、復興することになり、昭和八年（一九三三）の竣工を待って、正式遷座となりました。
しかし、昭和二十年（一九四五）五月の横浜大空襲で再び焼失。
昭和二十六年に本殿を、三十六年になって拝殿を再建し、現在に至っています。
当社の主祭神である宗像三女神は、「古事記」神代巻に天照大御神と須佐之男命の間の
「うけい」（誓約）によって生まれたと記される神々で、古代より海上交通の神として崇められてきました。
従って、交通安全は元より、人生の長い航路において、安産、学業成就、良縁等々、
参拝される方々の幸せを、長く見守って下さる神々でもあります。