我複雜的感情問題 - 射手

我是射手座男生他是牡羊座女生
我跟他因為某項體育認識 不同校
他那個時候有男朋友 男朋友對他也很好
他們在一起2年半
我跟他卻對上了眼
我有初步展開一些小追求
後來沒多久他們因為一個因素分手
那個因素在女方家人眼中覺得沒嚴重到分手
但是知道因素的其他朋友卻覺得有那個嚴重性
分手後男生一直回來糾纏(男生是初戀)
男生的朋友跟女生的家人都認為我是客兄
但是我們之間還是不停的擦出火花
女方的朋友覺得我們認識時間太短(1個月多)
我個人是認為認識的時間不是重點(我們都有亞太所以聊的時間很多)
現在問題點在於女方的家人有些討厭我
前男友會回來糾纏
他又不想讓我繼續等
我該怎麼辦呢?
女生耳根子很軟
別人說甚麼幾乎都會接受