داستان ضرب المثل نخوانده نمی توان به خانه خدا رفت در روایات آمده است که در زمان های دور یکی از تاجران معروف عراق برای زیارت و طواف خانه خدا به مکه رفت. در بین راه با خود گفت که بعد از زیارت خانه خدا به بازار می روم و اگر اجناس ارزان و مقرون به صرفه ای باشد می خرم. پس از چند روز به مکه رسید و پس از اندکی استراحت برای طواف به مسجد الحرام رفت. حج به جا آورد و به آرامگاه خود بازگشت. پس از چند ساعت از خواب بیدار شد و به بازار شهر رفت تا در آنجا گشت بزند و کالاهایی را که با خود به مکه آورده بود بفروشد. تاجر مقابل بازار شهر مکه، پارچه ای پهن کرد و اجناس خود را برای فروش به نمایش گذاشت. در همین حال پیرمرد فقیر و نیازمندی از دور سفره تاجر را دید و به او نزدیک شد و با صدایی آهسته گفت: ای من، رسم نامردی این روزگار است که از فقر و گرسنگی رنج می برم و رنج می برم. اما این مرد باید در تجمل زندگی کند.”این مرد چه فرقی با من دارد؟! چه گناهی کرده ام که اینقدر ضعیف و بی پول هستم! فقیر با خود صحبت می کرد که بازرگان صدای فقیر را شنید و به شدت عصبانی شد و به او گفت: ای گستاخ، فقیر به ثروت ثروتمندان حسادت نمی کند.معلوم است که شما به جای طواف خانه خدا از کشور دیگری برای گدایی و آزار حجاج به اینجا آمده اید. اگر میدانستم آمدنم به مکه باعث دیدار تو میشود، هرگز به این شهر سفر نمیکردم. بیچاره اشک در چشمانش حلقه زد و به بازرگان گفت: تو اشتباه فهمیدی و من به این شهر نیامدم. التماس کن!» آن مرد ثروتمند به او گفت که من اشتباه نمی کنم و من به او راست گفتم و خداوند به ابراهیم نیز دستور داد: مردم را برای طواف به شهر مکه دعوت کن و آنان را رهبری کن، و از کسانی که وضع مالی خوبی دارند. چشمانت را باز کن و من به مکه رفتم تا فرمان خدا را اطاعت کنم که اسرار خود را با خدا در میان بگذارم.سپس فرمود: بدون دعوت نمی توانی به خانه خدا بروی و از کشوری دور راه طولانی و سختی را طی کرده ای تا اینجا گدایی کنی و به مال مردم غبطه بخوری! من همیشه شکرگزار نعمت های خداوند بوده ام و همیشه زکات و خمس اموال خود را داده ام و همیشه با مردم مهربان و مهربان بوده ام و این لباس درویشی که بر تن دارید، لباس انبیا است. و مقدس است و نباید از آن سوء استفاده کنیدسپس مقداری پول به او داد و به او گفت که هر جا هست و هر لباسی که می پوشی همیشه خدا را شکر کن تا خدا دستش را بگیرد، فقیر وقتی سخنان تاجر را شنید شرمنده شد و از او طلب بخشش کرد. ترک کرد. جمعی که در آنجا جمع شده بودند تحت تأثیر سخنان بازرگان قرار گرفتند و با سلام و احوالپرسی بلند به پایان رسیدند، از آن زمان تا امروز اگر شخصی بدون دعوت به مهمانی کسی برود و به مال او حسادت کند، این ضرب المثل را می گویند: نمی توانی بروی. بدون دعوت به خانه خدا