【仕事を終えて先に帰宅するときの同僚に対するアブナイ英語】→I'm going back to home.
【こんな風に聞こえるかも】→私は家に帰るよ。(文法も間違っています)
【ネイティブが使う英語】→I'm off.

この場合、「back to home」ではなく、homeは副詞なのでtoを取り「back home」となります。toを使用するのであれば「I'm going back to my home.」としましょう。しかしながら、仕事を終えて帰宅するときは、「I'm off now.」などを使ったほうがスマートです。

※更新は水曜、金曜、日曜で午前9:00と午後6:00の1日2回です。