Выдержка из man fcntl:

 To  make  use of mandatory locks, mandatory locking must be enabled both on the file system that contains
       the file to be locked, and on the file itself.  Mandatory locking is enabled on a file system  using  the
       "-o  mand"  option  to mount(8), or the MS_MANDLOCK flag for mount(2).  Mandatory locking is enabled on a
       file by disabling group execute permission on the file and enabling the set-group-ID permission bit  (see chmod(1) and chmod(2)).

Я так понимаю, чтобы обязательные (mandatory) блокировки не работали (при установленном бите SGID), достаточно смонтировать файловую систему с параметром nomand

Так и должно быть.