ご質問のケースは、代襲相続（だいしゅうそうぞく）という制度に関係しています。
代襲相続とは、簡単にいえば、「代わりに相続する」ということです。
今回のケースでは、本来であれば、お父様の財産の相続人は、お母様とあなたと妹さんの3名でしたが、妹さんが、お父様よりも先に亡くなられているため、妹さん自身は、相続できません。
このような場合に、民法では、法律で定められた理由により相続することができない場合に、その者に代わって一定の関係にある者が相続することを認めています。
これを代襲相続といいます。
代襲して相続する者を「代襲相続人」と呼びます。
この代襲相続が認められるのは、本来相続人となるはずのものが、①相続が開始する前に死亡した場合、②遺言を破毀・偽造するなど相続欠格事由に該当する事実がある場合、③被相続人を虐待するなどして被相続人から廃除されてしまった場合の3つの場合に限られています。
次に、代襲相続人の範囲ですが、本来の相続人が被相続人の子である場合、代襲相続人は孫となります。また、孫についても、代襲原因がある場合には、ひ孫が代襲相続人となり（再代襲といいます。）、以下、順次、再代襲が認められます。
これに対し、本来の相続人が被相続人の兄弟姉妹である場合、代襲相続人は、甥や姪（兄弟姉妹の子）となります。しかし、甥や姪に代襲原因があっても、再代襲は認められていません。
以上を前提に、ご質問のケースを見ますと、代襲相続により、相続人は、お母様、あなた、妹さんの2人のお子さんの合計4名となります。
代襲相続人の相続分は、本来の相続人が受けるべきであった相続分と同じになりますので、妹さんの2人のお子さんは、妹さんの相続分を半分ずつ相続することになります。
したがって、お母様が2分の1、あなたが4分の1、妹さんのお子さんがそれぞれ8分の1ずつ相続することになります。