وي در جواني سفري به عتبات عاليات و مشهد مقدس انجام داد و در همين سفر بود كه معنويت و صفاي روحاني حوزه علميه مشهد او را مجذوب ساخت و رَحل اقامت دائمي در آن شهر افكند. سيد جواد در مشهد از حوزه درسي آيت‏اللَّه آقازاده خراساني و حاج آقا حسين قمي كسب فيض نمود و به مدارج عالي رسيد. ايشان در سال 1305ش براي ادامه تحصيل به نجف اشرف عزيمت نمود و در درس حضرات آيات: ميرزاي ناييني و سيدابوالحسن اصفهاني شركت جست. آيت‏اللَّه سيد جواد خامنه‏اي در روزهاي سياه اختناق رژيم ستم‏شاهي، رنج و فشار روزافزون آن دستگاه جبار را بر خانواده و فرزندان خود تحمل كرد و در همه عمر، روي خوش به دشمنان اسلام نشان نداد. از دامان اين عالم بزرگوار، فخر عالم اسلام و تشيع، مقام معظم رهبري، حضرت آيت‏اللَّه سيد علي خامنه‏اي برخاسته است. اين فقيه فرزانه سرانجام پس از سال‏ها تدريس و زندگي فقيرانه و در كمال زهد و قناعت در پانزدهم تير 1365 ش برابر با 27 شوال 1406ق در 91 سالگي وفات يافت و در جوار مرقد مطهر امام رضا(ع) به خاك سپرده شد. در هنگام فوت اين عالم بزرگوار، فرزند برومند ايشان، حضرت آيت‏اللَّه "خامنه‏اي" مدظله، دوران رياست جمهوري خود را مي‏گذراندند.