孔子行经芒砀山，避雨夫子崖下，最早见于夫子崖前文庙清康熙二十五年（1686年）碑文的记载：“云是自曹之宋当日所避风雨也”。清乾隆年间的《勒名碑记》沿袭此说：“圣祖先师自曹之宋时道出避雨于此”。清光绪二十九年（1903年）《永城县志·古迹志》记载：“世传孔子自宋返鲁，避雨其中”。孔子经过芒砀山究竟是“自曹之宋”，还是“自宋返鲁”呢？这两个行程都经过芒砀山，但一来一去，方向是相反的，时代背景也有所不同。
“去曹之宋”最早来源于《史记·孔子世家》的记载：孔子“去卫，过曹，是岁，鲁定公卒，孔子去曹适宋”。据史学家考证，孔子“去曹之宋”在鲁哀公二年，即公元前493年，距今已有2500余年了。“自宋返鲁”在《史记·孔子世家》中虽没有直接记载，但也可以查到行踪：“孔子自楚反（返）乎卫，是岁也，孔子年六十三，而鲁哀公六年也”。又过了两年，孔子从卫返回鲁。孔子自楚国返回鲁国的过程，经历了三年，其间孔子自楚经宋，又从宋到卫。鲁哀公六年即公元前489年，是孔子自楚经宋到卫的年代，孔子自宋返鲁就发生在这一年，距今已有2500余年，那时孔子已经63岁了。
孔子“自曹之宋”与“自宋返鲁”，对孔子来说是两个不同的时间段，前者是孔子胸怀抱负，周游列国已3年；后者是孔子经历种种困难和挫折，属于周游列国的后期。
秦汉典籍并无孔子行经芒砀山的确切记载，史家只能根据《史记》的记载，联系芒砀山孔子避雨处的遗迹和传说进行合理的考证和推测。孔子“去曹之宋”，曹国在宋国北部，是一个小国。孔子在曹国停留很短，然后去宋国。孔子曾说自己“而丘也，殷人也”，宋国为殷人后裔，孔子也为殷王室后裔，但孔子到宋国即碰壁——“（孔子与弟子）习礼大树下，宋司马桓魋欲杀孔子，拔其树，孔子去。弟子曰：‘可以速矣。’孔子曰：‘天生德于予，桓魋其如予何？’”。孔子不以为然，表现出一副坦荡自如、豁达大度、如无其事的样子。可以想象，坦然处之的孔子，从宋都睢阳（商丘）走出之后，率领弟子们去了宋国的其他地方，孔子先祖的故居地酂邑之龙岗和宋国神社太丘社以及芒砀山是必选之地，孔子在这些地方可能不仅仅是游览，很可能还讲学、传经布道，同时了解宋国的风土人情。后来孔子编纂《诗》《书》说：“殷礼吾能言之，宋不足征也”。如果孔子不在宋国停留进行调查，怎么能说得上“殷礼”？仅靠读书也可获得知识，但关键还是来自实践。孔子说“宋不足征也”，实际上是在宋国实践调查的结果。“宋不足征也”反映孔子对宋国是非常熟悉的。孔子在宋国授学、祭祖和调查期间，免不了留下历史踪迹。
我们设想孔子途径芒砀山的第二种情况，是在孔子周游列国后期，已经历了周游列国的种种艰难困苦。孔子自宋返鲁是从楚国开始的，此前曾困于陈蔡之间，遭受厄难。吴伐陈，孔子在陈蔡之间，“楚使人聘孔子，孔子将往拜礼”，孔子“使子贡至楚，楚昭王兴师迎孔子，孔子得免”。随后，“楚昭王将以书社地七百里封孔子”，眼看荣耀来临，但因楚国令尹子西从中作梗，一切便化为泡影。在楚国的行途中，楚狂人接舆以作歌的方式奉劝孔子认清形势，不要再继续周游列国，推行仁政了。但孔子坚定信念，矢志不移。孔子在周游列国期间曾拜见过大小封君70余人，可是均没得到理解和赏识，有时甚至十分狼狈，还十分危险。但是孔子并不灰心和气馁。孔子就是在这种历史背景下，从楚国或从陈国返回卫国，途经宋国，从芒砀山经过，避雨夫子山下，不排除当时孔子曾在芒砀山讲学、停留。从《史记·孔子世家》中，可以看到孔子至少两次行经宋国，宋国既然是孔子先祖故地，作为倡导仁孝的至圣先师，孔子不可能不到祖上的故居看望，还要举行祭祀活动，这是一定要表达的孝道之礼。春秋时代，尤为注重祭祀活动，《左传》言：“国之大事，在祀于戎”，祭祀比战争还重要，而祭祖是祭祀中最为重要的一个方面。史料记载，永城酂邑之龙岗有孔子先代五世祖的坟墓，永城还曾出土孔子先代故里碑，孔子先代故居很可能留下了孔子的足迹，夏邑的孔子还乡祠，很可能为孔子探望龙岗祖茔而立。还乡之“乡”是一个广义的概念，大者包括宋国，狭义来说，应指酂城、龙岗、栗邑（夏邑）到芒砀山一带。永城考古和文博专家李俊山先生认为，孔子先祖的封邑实际上就是今永城西部酂城、龙岗到夏邑一带，春秋时代为统一区域，后因行政区划分开。今芒砀山夫子避雨处、夏邑还乡祠实为孔子在先祖之乡的活动遗存。
史料表明，春秋战国时代，芒砀山就是天下名山，墨子曾隐居芒砀山之周狄山，据传老子也曾到过芒砀山，孔子在芒砀山留下踪迹应是历史的真实。
