8.1-STABLE: zfs and sendfile: problem still exists

[Alexander Zagrebin]

> > Can you reproduce the problem on your system?
> 
> I can't reproduce it on mine.  Note the resilvering was induced from
> some unrelated disk swaps/tests I was performing, and ftpd is already
> enabled via inetd on this system.
> 
> What ZFS tunings have you applied to your system?  Can you provide
> output from "sysctl -a kstat.zfs.misc.arcstats" before and after a
> transfer which exhibits the initial slowdown?

It's amd64 Intel Atom based system with 2G RAM.
/boot/loader.conf contains nothing special:

vm.kmem_size="1536M"
vfs.zfs.prefetch_disable="1"


$ dd if=/dev/random of=test bs=1m count=50; sysctl -a
kstat.zfs.misc.arcstats; fetch -o /dev/null http://localhost/test; sysctl -a
kstat.zfs.misc.arcstats
50+0 records in
50+0 records out
52428800 bytes transferred in 2.956783 secs (17731705 bytes/sec)
kstat.zfs.misc.arcstats.hits: 10889409
kstat.zfs.misc.arcstats.misses: 2482562
kstat.zfs.misc.arcstats.demand_data_hits: 7920924
kstat.zfs.misc.arcstats.demand_data_misses: 1587278
kstat.zfs.misc.arcstats.demand_metadata_hits: 2968455
kstat.zfs.misc.arcstats.demand_metadata_misses: 895284
kstat.zfs.misc.arcstats.prefetch_data_hits: 0
kstat.zfs.misc.arcstats.prefetch_data_misses: 0
kstat.zfs.misc.arcstats.prefetch_metadata_hits: 30
kstat.zfs.misc.arcstats.prefetch_metadata_misses: 0
kstat.zfs.misc.arcstats.mru_hits: 5596211
kstat.zfs.misc.arcstats.mru_ghost_hits: 199040
kstat.zfs.misc.arcstats.mfu_hits: 5293198
kstat.zfs.misc.arcstats.mfu_ghost_hits: 481006
kstat.zfs.misc.arcstats.allocated: 2985083
kstat.zfs.misc.arcstats.deleted: 1901535
kstat.zfs.misc.arcstats.stolen: 1269643
kstat.zfs.misc.arcstats.recycle_miss: 464100
kstat.zfs.misc.arcstats.mutex_miss: 658
kstat.zfs.misc.arcstats.evict_skip: 148879
kstat.zfs.misc.arcstats.evict_l2_cached: 0
kstat.zfs.misc.arcstats.evict_l2_eligible: 150609301504
kstat.zfs.misc.arcstats.evict_l2_ineligible: 36864
kstat.zfs.misc.arcstats.hash_elements: 91782
kstat.zfs.misc.arcstats.hash_elements_max: 168546
kstat.zfs.misc.arcstats.hash_collisions: 2058158
kstat.zfs.misc.arcstats.hash_chains: 23888
kstat.zfs.misc.arcstats.hash_chain_max: 18
kstat.zfs.misc.arcstats.p: 807441359
kstat.zfs.misc.arcstats.c: 1006632960
kstat.zfs.misc.arcstats.c_min: 125829120
kstat.zfs.misc.arcstats.c_max: 1006632960
kstat.zfs.misc.arcstats.size: 1006690472
kstat.zfs.misc.arcstats.hdr_size: 20252216
kstat.zfs.misc.arcstats.data_size: 917198336
kstat.zfs.misc.arcstats.other_size: 69239920
kstat.zfs.misc.arcstats.l2_hits: 0
kstat.zfs.misc.arcstats.l2_misses: 0
kstat.zfs.misc.arcstats.l2_feeds: 0
kstat.zfs.misc.arcstats.l2_rw_clash: 0
kstat.zfs.misc.arcstats.l2_read_bytes: 0
kstat.zfs.misc.arcstats.l2_write_bytes: 0
kstat.zfs.misc.arcstats.l2_writes_sent: 0
kstat.zfs.misc.arcstats.l2_writes_done: 0
kstat.zfs.misc.arcstats.l2_writes_error: 0
kstat.zfs.misc.arcstats.l2_writes_hdr_miss: 0
kstat.zfs.misc.arcstats.l2_evict_lock_retry: 0
kstat.zfs.misc.arcstats.l2_evict_reading: 0
kstat.zfs.misc.arcstats.l2_free_on_write: 0
kstat.zfs.misc.arcstats.l2_abort_lowmem: 0
kstat.zfs.misc.arcstats.l2_cksum_bad: 0
kstat.zfs.misc.arcstats.l2_io_error: 0
kstat.zfs.misc.arcstats.l2_size: 0
kstat.zfs.misc.arcstats.l2_hdr_size: 0
kstat.zfs.misc.arcstats.memory_throttle_count: 9
kstat.zfs.misc.arcstats.l2_write_trylock_fail: 0
kstat.zfs.misc.arcstats.l2_write_passed_headroom: 0
kstat.zfs.misc.arcstats.l2_write_spa_mismatch: 0
kstat.zfs.misc.arcstats.l2_write_in_l2: 0
kstat.zfs.misc.arcstats.l2_write_io_in_progress: 0
kstat.zfs.misc.arcstats.l2_write_not_cacheable: 30
kstat.zfs.misc.arcstats.l2_write_full: 0
kstat.zfs.misc.arcstats.l2_write_buffer_iter: 0
kstat.zfs.misc.arcstats.l2_write_pios: 0
kstat.zfs.misc.arcstats.l2_write_buffer_bytes_scanned: 0
kstat.zfs.misc.arcstats.l2_write_buffer_list_iter: 0
kstat.zfs.misc.arcstats.l2_write_buffer_list_null_iter: 0
/dev/null                                     100% of   50 MB  119 kBps
00m00s
kstat.zfs.misc.arcstats.hits: 10928358
kstat.zfs.misc.arcstats.misses: 2486504
kstat.zfs.misc.arcstats.demand_data_hits: 7959052
kstat.zfs.misc.arcstats.demand_data_misses: 1590868
kstat.zfs.misc.arcstats.demand_metadata_hits: 2969276
kstat.zfs.misc.arcstats.demand_metadata_misses: 895636
kstat.zfs.misc.arcstats.prefetch_data_hits: 0
kstat.zfs.misc.arcstats.prefetch_data_misses: 0
kstat.zfs.misc.arcstats.prefetch_metadata_hits: 30
kstat.zfs.misc.arcstats.prefetch_metadata_misses: 0
kstat.zfs.misc.arcstats.mru_hits: 5601378
kstat.zfs.misc.arcstats.mru_ghost_hits: 199211
kstat.zfs.misc.arcstats.mfu_hits: 5326980
kstat.zfs.misc.arcstats.mfu_ghost_hits: 482037
kstat.zfs.misc.arcstats.allocated: 2989914
kstat.zfs.misc.arcstats.deleted: 1904492
kstat.zfs.misc.arcstats.stolen: 1272047
kstat.zfs.misc.arcstats.recycle_miss: 464306
kstat.zfs.misc.arcstats.mutex_miss: 658
kstat.zfs.misc.arcstats.evict_skip: 148880
kstat.zfs.misc.arcstats.evict_l2_cached: 0
kstat.zfs.misc.arcstats.evict_l2_eligible: 150970209280
kstat.zfs.misc.arcstats.evict_l2_ineligible: 36864
kstat.zfs.misc.arcstats.hash_elements: 92084
kstat.zfs.misc.arcstats.hash_elements_max: 168546
kstat.zfs.misc.arcstats.hash_collisions: 2062370
kstat.zfs.misc.arcstats.hash_chains: 23974
kstat.zfs.misc.arcstats.hash_chain_max: 18
kstat.zfs.misc.arcstats.p: 810895823
kstat.zfs.misc.arcstats.c: 1006632960
kstat.zfs.misc.arcstats.c_min: 125829120
kstat.zfs.misc.arcstats.c_max: 1006632960
kstat.zfs.misc.arcstats.size: 1006658848
kstat.zfs.misc.arcstats.hdr_size: 20246240
kstat.zfs.misc.arcstats.data_size: 917672960
kstat.zfs.misc.arcstats.other_size: 68739648
kstat.zfs.misc.arcstats.l2_hits: 0
kstat.zfs.misc.arcstats.l2_misses: 0
kstat.zfs.misc.arcstats.l2_feeds: 0
kstat.zfs.misc.arcstats.l2_rw_clash: 0
kstat.zfs.misc.arcstats.l2_read_bytes: 0
kstat.zfs.misc.arcstats.l2_write_bytes: 0
kstat.zfs.misc.arcstats.l2_writes_sent: 0
kstat.zfs.misc.arcstats.l2_writes_done: 0
kstat.zfs.misc.arcstats.l2_writes_error: 0
kstat.zfs.misc.arcstats.l2_writes_hdr_miss: 0
kstat.zfs.misc.arcstats.l2_evict_lock_retry: 0
kstat.zfs.misc.arcstats.l2_evict_reading: 0
kstat.zfs.misc.arcstats.l2_free_on_write: 0
kstat.zfs.misc.arcstats.l2_abort_lowmem: 0
kstat.zfs.misc.arcstats.l2_cksum_bad: 0
kstat.zfs.misc.arcstats.l2_io_error: 0
kstat.zfs.misc.arcstats.l2_size: 0
kstat.zfs.misc.arcstats.l2_hdr_size: 0
kstat.zfs.misc.arcstats.memory_throttle_count: 9
kstat.zfs.misc.arcstats.l2_write_trylock_fail: 0
kstat.zfs.misc.arcstats.l2_write_passed_headroom: 0
kstat.zfs.misc.arcstats.l2_write_spa_mismatch: 0
kstat.zfs.misc.arcstats.l2_write_in_l2: 0
kstat.zfs.misc.arcstats.l2_write_io_in_progress: 0
kstat.zfs.misc.arcstats.l2_write_not_cacheable: 30
kstat.zfs.misc.arcstats.l2_write_full: 0
kstat.zfs.misc.arcstats.l2_write_buffer_iter: 0
kstat.zfs.misc.arcstats.l2_write_pios: 0
kstat.zfs.misc.arcstats.l2_write_buffer_bytes_scanned: 0
kstat.zfs.misc.arcstats.l2_write_buffer_list_iter: 0
kstat.zfs.misc.arcstats.l2_write_buffer_list_null_iter: 0


-- 
Alexander Zagrebin