Mono 5.2.0 にしたら、メモリ使用量が減ったように思います。Mono 5.0.0のリリースノートをみると、それらしいことが書かれています。
http://www.mono-project.com/docs/about-mono/releases/5.0.0/#memory-usage
OpenSimみたいにメモリバカ食いするプログラムの場合は、効果あるようです。私のところの、5つのリージョン、2個、2個、1個 と 3つのopensim.exe プロセス(インスタンス)を動かしている状態で、topコマンドでメモリ使用量みたら次のようになりました(SIZE, RESに注目)。まあ、ユーザーも重くなりそうなオブジェクトもすくないですが...。
PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND
74273 opensim 55 20 0 297M 133M uwait 0 97:03 0.20% mono-sgen
74191 opensim 86 20 0 327M 167M uwait 2 162:25 0.10% mono-sgen
71750 opensim 43 20 0 259M 105M uwait 1 66:54 0.00% mono-sgen
...
OpenSimの方もOSGridで配布されている 2018-01-18版にアップデイトかけてみました。
今のところ、従来通りで問題は感じていません。