容易ではないですが、「とても無理」というほど困難ではありません。
しかし、ちょっと気になるのは、質問文から透けて見える受け身な姿勢です。まず、「社内SE」の業務内容は本当に会社によってまちまちです。それは会社の人に聞くしかなく、「調整役のような仕事で、技術が身につく訳では無い」かどうかは分かりません。また、自分の人生は自分で切り開いていくものです。私の会社には、技術と無関係の業務からセキュリティエンジニアに転職した社員が何人もいます。彼らは自力で勉強して弊社に入社したのです。
まだ若いのだから、やりたいことがあれば、ガツガツ行きましょう。