根據希臘神話，雅典娜和海神波塞頓為誰來統治希臘南部的艾提卡而爭辯不休，於是眾神之父宙斯就在當中來仲裁。他提了個條件，要二人去人間尋找最有用，最有益處的東西，誰能找到就是贏家。雅典娜立刻要大地之母蓋婭變出一棵從沒見過又很有用的樹，橄欖樹就此誕生，宙斯十分驚訝於橄欖的各種妙用，於是宣布雅典娜贏得了勝利。
橄欖原產於帕米爾及土耳其斯坦一帶，在五千年前開始散布於整個地中海地區，成為地中海區最著名的古老作物，用途眾多的橄欖枝葉和橄欖油供應日常食用、點亮油燈和用於祭祀，成為地中海區最重要的生活圖騰，千年來受到居民們的崇敬，特別是在眾神之國希臘。荷馬史詩《奧德賽》中，奧德賽和妻子潘妮洛普的洞房花床就設在橄欖樹幹的中空處；希臘人用橄欖油擦拭從宙神到雅典娜各個希臘神衹的雕像，以保持雕像的神態鮮明；希臘的運動員也用橄欖油塗抹全身；而奧林匹克競賽的得勝者，如同我們熟知的，會戴上一頂由橄欖枝編成的頭冠象徵勝利；斯巴達人將死去的人放進墓穴時，墓穴的底部舖滿了橄欖葉；聖經創世紀中紀載《挪亞方舟》的故事，豪雨過後，水漫大地，挪亞放出鴿子三次，第一次鴿子沒有落腳之處又飛回船上，第二次鴿子擰了一枝橄欖枝回來，第三次鴿子就不再回來了，而後橄欖枝就成為和平的象徵；舊約中膏立君王之時使用的也是橄欖油；天主教的許多儀式也使用橄欖油，比如臨終時的傅油禮。
另外橄欖油還可以破除地中海地區的咒詛「邪眼」evil eye，什麼是「邪眼」？在地中海區有這樣的一種迷信的說法：如果你最近諸事不順、這裡痛那裡痠、愛情失利、國稅局盯得很緊，這可能是那個嫉妒或看你不順眼的人對你下了叫做「邪眼」的咒詛，你不會回頭一看就有一隻大大的眼睛瞪著你，你也不用躲，因為這咒詛會跟著你到天涯海角！那該怎麼辦呢？這時你要在一個大杯子裡裝水，然後滴幾滴橄欖油，請女巫幫你念咒語，如果橄欖油在水面上散開而不是保持油滴狀，表示咒語已解除。
橄欖油商業化的製造在羅馬帝國時期被建立起來，並有專屬的交易市場，根據老蒲林尼（古羅馬作家，百科全書作者）的說法，當時在羅馬帝國中交易的橄欖油種類至少在十五種以上。古希臘名醫希波克拉底在許多病症的治療上使用新鮮純淨的橄欖油。隨著古羅馬帝國的消亡，橄欖種植的普及，後續接下發展的棒子的是修道院的修士們，此時開始有以橄欖油製作的皮膚治療產品，用作蕁麻疹的止癢，幫助緩和頭痛、胃痛、耳朵感染等。橄欖葉可以嚼食當口香糖，並且可以美白牙齒。經過千年的發展，今天橄欖的各種用處和好處已被以科學方式證實，橄欖油易於精煉，成份對於胃和膽有益處，預防心臟及循環系統的疾病，和其他動物油及植物油相比最大的好處，是橄欖油在加熱時不容易分解出對人體有害的物質。