"High" cpu usage when using ZFS cache device

[Christer Solskogen]

On Tue, Nov 16, 2010 at 5:01 PM, Jeremy Chadwick
<freebsd at jdc.parodius.com> wrote:

> sysctl -a | grep vfs.zfs.arc
> sysctl -a | grep vm.kmem
> sysctl kstat.zfs.misc.arcstats
>

$ sysctl -a | grep vfs.zfs.arc
vfs.zfs.arc_meta_limit: 1342177280
vfs.zfs.arc_meta_used: 1319657696
vfs.zfs.arc_min: 671088640
vfs.zfs.arc_max: 5368709120

$ sysctl -a | grep vm.kmem
vm.kmem_size_scale: 3
vm.kmem_size_max: 329853485875
vm.kmem_size_min: 0
vm.kmem_size: 17179869184


$ sysctl kstat.zfs.misc.arcstats
kstat.zfs.misc.arcstats.hits: 1222580509
kstat.zfs.misc.arcstats.misses: 68466812
kstat.zfs.misc.arcstats.demand_data_hits: 484092448
kstat.zfs.misc.arcstats.demand_data_misses: 4205673
kstat.zfs.misc.arcstats.demand_metadata_hits: 491631116
kstat.zfs.misc.arcstats.demand_metadata_misses: 19606091
kstat.zfs.misc.arcstats.prefetch_data_hits: 24766020
kstat.zfs.misc.arcstats.prefetch_data_misses: 37797493
kstat.zfs.misc.arcstats.prefetch_metadata_hits: 222090925
kstat.zfs.misc.arcstats.prefetch_metadata_misses: 6857555
kstat.zfs.misc.arcstats.mru_hits: 69264838
kstat.zfs.misc.arcstats.mru_ghost_hits: 11925502
kstat.zfs.misc.arcstats.mfu_hits: 974464567
kstat.zfs.misc.arcstats.mfu_ghost_hits: 12990137
kstat.zfs.misc.arcstats.allocated: 103515682
kstat.zfs.misc.arcstats.deleted: 48289237
kstat.zfs.misc.arcstats.stolen: 28519978
kstat.zfs.misc.arcstats.recycle_miss: 6634926
kstat.zfs.misc.arcstats.mutex_miss: 80863
kstat.zfs.misc.arcstats.evict_skip: 59151426
kstat.zfs.misc.arcstats.evict_l2_cached: 1196327357952
kstat.zfs.misc.arcstats.evict_l2_eligible: 2965132368896
kstat.zfs.misc.arcstats.evict_l2_ineligible: 1384672357376
kstat.zfs.misc.arcstats.hash_elements: 281528
kstat.zfs.misc.arcstats.hash_elements_max: 482648
kstat.zfs.misc.arcstats.hash_collisions: 33649608
kstat.zfs.misc.arcstats.hash_chains: 76224
kstat.zfs.misc.arcstats.hash_chain_max: 12
kstat.zfs.misc.arcstats.p: 3661654753
kstat.zfs.misc.arcstats.c: 5296620032
kstat.zfs.misc.arcstats.c_min: 671088640
kstat.zfs.misc.arcstats.c_max: 5368709120
kstat.zfs.misc.arcstats.size: 5296227856
kstat.zfs.misc.arcstats.hdr_size: 67212264
kstat.zfs.misc.arcstats.data_size: 4485484032
kstat.zfs.misc.arcstats.other_size: 743532072
kstat.zfs.misc.arcstats.l2_hits: 13784878
kstat.zfs.misc.arcstats.l2_misses: 50000542
kstat.zfs.misc.arcstats.l2_feeds: 451293848
kstat.zfs.misc.arcstats.l2_rw_clash: 471
kstat.zfs.misc.arcstats.l2_read_bytes: 232047452160
kstat.zfs.misc.arcstats.l2_write_bytes: 1000487455744
kstat.zfs.misc.arcstats.l2_writes_sent: 1419007
kstat.zfs.misc.arcstats.l2_writes_done: 1419007
kstat.zfs.misc.arcstats.l2_writes_error: 6
kstat.zfs.misc.arcstats.l2_writes_hdr_miss: 417
kstat.zfs.misc.arcstats.l2_evict_lock_retry: 377
kstat.zfs.misc.arcstats.l2_evict_reading: 91
kstat.zfs.misc.arcstats.l2_free_on_write: 896559
kstat.zfs.misc.arcstats.l2_abort_lowmem: 75001
kstat.zfs.misc.arcstats.l2_cksum_bad: 4
kstat.zfs.misc.arcstats.l2_io_error: 5
kstat.zfs.misc.arcstats.l2_size: 2325617664
kstat.zfs.misc.arcstats.l2_hdr_size: 0
kstat.zfs.misc.arcstats.memory_throttle_count: 2493
kstat.zfs.misc.arcstats.l2_write_trylock_fail: 148110262
kstat.zfs.misc.arcstats.l2_write_passed_headroom: 6266060163
kstat.zfs.misc.arcstats.l2_write_spa_mismatch: 0
kstat.zfs.misc.arcstats.l2_write_in_l2: 11644519641883
kstat.zfs.misc.arcstats.l2_write_io_in_progress: 1099778
kstat.zfs.misc.arcstats.l2_write_not_cacheable: 643516792351
kstat.zfs.misc.arcstats.l2_write_full: 86844
kstat.zfs.misc.arcstats.l2_write_buffer_iter: 451293848
kstat.zfs.misc.arcstats.l2_write_pios: 1419007
kstat.zfs.misc.arcstats.l2_write_buffer_bytes_scanned: 189074461394960896
kstat.zfs.misc.arcstats.l2_write_buffer_list_iter: 28880609174
kstat.zfs.misc.arcstats.l2_write_buffer_list_null_iter: 1367002655

Hope this helps!

-- 
chs,