大家さんのお悩み相談室【土地を購入した際からあった廃屋を解体撤去しようと思いますが、登記されたものではなく困っています。】

タイトル

土地を購入した際からあった廃屋を解体撤去しようと思いますが、登記されたものではなく困っています。

二年ほど前に、不動産業者から土地を購入いたしましたが、
その土地上に、前所有者との使用貸借中に住居（古い簡易な建物）が
建てられており、現在、旧居住者が死亡し廃屋となっています。
市役所で、子供の居所を調べたのですが、その住所にはいないようです。
その建物を解体撤去したいのですが、何か良い方法はないでしょうか？
建物は登記されておりません。
不動産業者から土地を購入した時点では、建物が現存していたことは
承知しています。