お父様の遺言がないため、相続人全員で遺産をどのように分けるかの話し合い（遺産分割協議）をすることになります。
遺産分割協議をするには、相続人が判断能力を備えていることが必要ですが、お母様にはこの判断能力が欠けていると思われますので、遺産分割の協議をすることはできません。
そこで、お母様の代わりに遺産分割協議をする代理人が必要となります。判断能力がない人の代理をするために法律が定めているのが成年後見人です。そこで、あなたが家庭裁判所に、お母様の成年後見開始の申立てを行うとよいでしょう。
お母様の成年後見人に、あなたがお兄様が選任された場合は、遺産分割協議にあたって、あなたやお兄様がお母様の後見人としてお母様の代理をすることはできません。なぜなら、遺産分割については、あなたやお兄様もお母様も同じ相続人として遺産を分割することになるため、後見人と被後見人の利益が相反するからです。
この場合には、家庭裁判所に特別代理人選任の申立てを行い、遺産分割に関しては、相続人と選ばれた特別代理人との間で協議を行うことになります。