まずは次の例文を見てください。

Party was just going great until he showed up. Well, I guess he is a party pooper.

ここで言っているのは「パーティーはやつが現れるまでは最高に盛り上がってたのに、来た途端…」といったようなこと。

つまり“party pooper”とは「場を壊す人」のことなんです。

だから「お楽しみのところ悪いんだけど…」なんてときも、“I hate to be a party pooper, but ……”と言ったりもできるんです。