Sync back vmcontention branch into HEAD:
authorattilio <attilio@ccf9f872-aa2e-dd11-9fc8-001c23d0bc1f>
Mon, 18 Mar 2013 00:25:02 +0000 (00:25 +0000)
committerattilio <attilio@ccf9f872-aa2e-dd11-9fc8-001c23d0bc1f>
Mon, 18 Mar 2013 00:25:02 +0000 (00:25 +0000)
commit0c25d79b2465f6fac3614cb01f3edac62a51a60e
treed100ab3f357194e5bb59a20728a20ff4f5388870
parent7deef4dc855141422e6c9777e50d74873b732634
Sync back vmcontention branch into HEAD:
Replace the per-object resident and cached pages splay tree with a
path-compressed multi-digit radix trie.
Along with this, switch also the x86-specific handling of idle page
tables to using the radix trie.

This change is supposed to do the following:
- Allowing the acquisition of read locking for lookup operations of the
  resident/cached pages collections as the per-vm_page_t splay iterators
  are now removed.
- Increase the scalability of the operations on the page collections.

The radix trie does rely on the consumers locking to ensure atomicity of
its operations.  In order to avoid deadlocks the bisection nodes are
pre-allocated in the UMA zone.  This can be done safely because the
algorithm needs at maximum one new node per insert which means the
maximum number of the desired nodes is the number of available physical
frames themselves.  However, not all the times a new bisection node is
really needed.

The radix trie implements path-compression because UFS indirect blocks
can lead to several objects with a very sparse trie, increasing the number
of levels to usually scan.  It also helps in the nodes pre-fetching by
introducing the single node per-insert property.

This code is not generalized (yet) because of the possible loss of
performance by having much of the sizes in play configurable.
However, efforts to make this code more general and then reusable in
further different consumers might be really done.

The only KPI change is the removal of the function vm_page_splay() which
is now reaped.
The only KBI change, instead, is the removal of the left/right iterators
from struct vm_page, which are now reaped.

Further technical notes broken into mealpieces can be retrieved from the
svn branch:
http://svn.freebsd.org/base/user/attilio/vmcontention/

Sponsored by: EMC / Isilon storage division
In collaboration with: alc, jeff
Tested by: flo, pho, jhb, davide
Tested by: ian (arm)
Tested by: andreast (powerpc)

git-svn-id: svn://svn.freebsd.org/base/head@248449 ccf9f872-aa2e-dd11-9fc8-001c23d0bc1f
14 files changed:
sys/amd64/amd64/pmap.c
sys/amd64/include/pmap.h
sys/conf/files
sys/i386/i386/pmap.c
sys/i386/include/pmap.h
sys/i386/xen/pmap.c
sys/vm/_vm_radix.h [new file with mode: 0644]
sys/vm/vm_object.c
sys/vm/vm_object.h
sys/vm/vm_page.c
sys/vm/vm_page.h
sys/vm/vm_radix.c [new file with mode: 0644]
sys/vm/vm_radix.h [new file with mode: 0644]
sys/vm/vm_reserv.c