玉津島が初めて文献に登場するのは奈良時代、神亀（じんき）元年（724）の聖武天皇の玉津島行幸です。『続日本記（しょくにほんぎ）』には、この地の景観を末長く守り御霊を祀るよう聖武天皇が詔勅（しょうちょく）を発したと記されています。その後、称徳天皇と桓武天皇も玉津島行幸を行いました。
また、聖武天皇の行幸に随行した歌人・山部赤人らの歌が『万葉集』に収められ、「玉津島」は、「和歌の浦」と共に万葉の歌枕（うたまくら）として都人にとっての憧れの地になります。
さらに和歌三神（わかさんじん）の一柱（はしら）・衣通姫尊（そとおりひめのみこと）が祀られているため、平安時代から宮中貴族や歌人たちの参詣や和歌奉納が行われました。江戸時代には７人の天皇・上皇が、古今伝授（こきんでんじゅ）後に宮中で法楽歌会を催し、御宸筆（しんぴつ＝自筆）和歌短冊を奉納しました。ほか文人墨客（ぼっかく）も多数訪れ、和歌の神への崇敬は絶えることなく続いています。
古代・中世の社殿については明らかではありませんが、江戸時代初め紀州を統治した浅野幸長（よしなが）により社殿が再建され、1992年（平成4年）篠田博之・めぐみ御夫妻を中心とした多くの市民の御浄財により、本殿が全面修復されました。玉津島神社は2010年（平成22年）、国指定名勝「和歌の浦」に、2017年（平成29年）には日本遺産に指定されています。