Последняя теория происхождения общественного образа жизни, которую нам предстоит рассмотреть, - это теория "группового отбора". Согласно этой теории, каждая популяция распадается на секции (демы), контактирующие между собой в генетическом смысле лишь кратковременно и редко. Внутри этих демов особи свободно скрещиваются, но эффективная величина популяции так мала, что в ней возможен случайный дрейф частоты аллелей, и его результаты могут закрепляться. В дальнейшем таким демам может представиться случай распространиться в области, в которых менее приспособленные демы вымерли. Таким образом, "хорошая" популяция, т. е. популяция, которая хорошо организована и не эксплуатирует свое местообитание чрезмерно, выживает. Подобная система позволяет иногда закрепиться признакам, которые, будучи ценными для группы в целом, могут быть неблагоприятными для отдельной особи (как, например, стерильность). Williams и Williams (1957) начинают с рассмотрения семей (муравьев), в которых некоторые потомки выполняют работу, невыгодную им самим как индивидуумам, но выгодную группе, к которой они принадлежат, поскольку такое поведение снижает смертность в семье. Levin и Kilmer (1974) создали модель популяции, разделенной на демы, связанные между собой миграционными перемещениями, но подверженные периодическому вымиранию, за которым снова следует захват освободившихся ресурсов. Вероятность выживания находится в прямой зависимости от частоты в данном деме генов, обусловливающих помощь матери. Междемный отбор, направленный на сохранение таких аллелей, пересиливает направленный против него индивидуальный отбор. Ограничения, однако, весьма жестки: поток генов должен быть ниже 5% на одно поколение, а эффективная численность популяции - менее 25 особей. Дальнейшую разработку этого аспекта проблемы предпринял D. S. Wilson (1980).
Концепция группового отбора особенно применима к семьям полигинных муравьев и ос, самки которых не связаны между собой родством. Процветающим семьям, находящимся в равновесии со своими ресурсами, требуется при этом отрегулировать число своих самок, используя механизм, основанный на отношении рабочие/самки. Кандидаты в матки могут приниматься на основании отбора, а затем подвергаться еще и дальнейшему совершенствованию. Это дает возможность подвергать самок испытанию в условиях общественной жизни, во время которого они могут конкурировать друг с другом за внимание и преданность со стороны рабочих особей. Успех их зависит, следовательно, от того, насколько тесно коррелированы привлекательность и приспособленность в эволюционном смысле. Семьи должны пройти цикл, начинающийся с принятия самки, за которым следуют рост численности рабочих особей, производство половых особей, копуляция и вновь принятие самки. Таким образом, полигинная семья может быть одним из демов в процессе группового отбора.
Sturtevant (1938) указывает, что самка, производящая больше яиц, детерминированных к развитию в репродуктивных самок, вначале будет оставлять больше потомков, но позднее может привести семью к гибели. Она может в конце концов оказаться не в состоянии откладывать яйца, развивающиеся в рабочих особей, и в смысле откладки таких яиц окажется в зависимости от других самок, т. е. фактически будет социальным паразитом. Если эти другие самки тоже потерпят неудачу, то локальная популяция или семья вымрет и освободит территорию для демов или семей с более удачным набором самок. Известно лишь несколько паразитических видов, не имеющих рабочих особей; таков, например, Anergates atratulus, который использует семьи Tetramorium caespitum, а затем уничтожает их.