git rm --cached file_name

上記のコマンドを実行後に add commit push でgit内からもファイルが削除される。

ディレクトリごと指定する場合は以下のように -r を指定する。

git rm -r --cached file_name