まず、養子縁組とは、血縁の上では親子でない者を法律上の親子とする制度です。
養子縁組には、普通養子と特別養子の2つがあります。
1　普通養子
まず、普通養子は、一般的な養子縁組による場合をいいます。
養子縁組を成立させようとする者がその旨を合意し、養子縁組届を市町村役場に提出し、
これが受理されれば成立します。
普通養子の場合、養子縁組がなされても、養子と実親及び実方の親族との関係は一切影響を受けません。
つまり、普通養子では、養子縁組がなされると、実親子関係と養親子関係が併存することになります。
そのため、ご質問の件も普通養子であると思いますので、あなたは、実方・養方と二重に相続することができることになります。
よって、お兄さんが言っていることは法的には間違っており、あなたは、お父様の財産について相続権があります。
2　特別養子
以上のような普通縁組に対して、特別養子とは、実親が経済的に困窮していたり、子どもを虐待しているような場合に、養親となる者が請求して家庭裁判所が「子の利益のために特に必要がある」と認めた場合に、審判により実父母及び実方の血族との親族関係を終了させて縁組を成立させる制度です。
特別養子の場合、実方との親族関係は終了しますので、実父母が亡くなっても、相続権は発生しません。