From nobody Thu May 20 11:03:37 2021
X-Original-To: freebsd-fs@mlmmj.nyi.freebsd.org
Received: from mx1.freebsd.org (mx1.freebsd.org [IPv6:2610:1c1:1:606c::19:1])
	by mlmmj.nyi.freebsd.org (Postfix) with ESMTP id 3F4BF8C9826
	for <freebsd-fs@mlmmj.nyi.freebsd.org>; Thu, 20 May 2021 11:03:39 +0000 (UTC)
	(envelope-from mike@sentex.net)
Received: from pyroxene2a.sentex.ca (pyroxene19.sentex.ca [IPv6:2607:f3e0:0:3::19])
	(using TLSv1.3 with cipher TLS_AES_256_GCM_SHA384 (256/256 bits)
	 key-exchange X25519 server-signature RSA-PSS (4096 bits) server-digest SHA256
	 client-signature RSA-PSS (2048 bits) client-digest SHA256)
	(Client CN "pyroxene.sentex.ca", Issuer "R3" (verified OK))
	by mx1.freebsd.org (Postfix) with ESMTPS id 4Fm6L319HQz4cth;
	Thu, 20 May 2021 11:03:39 +0000 (UTC)
	(envelope-from mike@sentex.net)
Received: from [IPv6:2607:f3e0:0:4:5946:38b4:5bfe:1950] ([IPv6:2607:f3e0:0:4:5946:38b4:5bfe:1950])
	by pyroxene2a.sentex.ca (8.16.1/8.15.2) with ESMTPS id 14KB3bTn054095
	(version=TLSv1.3 cipher=TLS_AES_128_GCM_SHA256 bits=128 verify=NO);
	Thu, 20 May 2021 07:03:37 -0400 (EDT)
	(envelope-from mike@sentex.net)
Subject: Re: speeding up zfs send | recv (update)
To: Steven Hartland <killing@multiplay.co.uk>
Cc: Alan Somers <asomers@freebsd.org>, freebsd-fs <freebsd-fs@freebsd.org>
References: <866d6937-a4e8-bec3-d61b-07df3065fca9@sentex.net>
 <CAOtMX2gifUmgqwSKpRGcfzCm_=BX_szNF1AF8WTMfAmbrJ5UWA@mail.gmail.com>
 <f6ea3387-faf8-4c63-d1e7-906fa397b00b@sentex.net>
 <CAHEMsqYf4JOL22R3+13kqSOaDMydnpsq9Z2mR4EFBg7u78FjSQ@mail.gmail.com>
From: mike tancsa <mike@sentex.net>
Message-ID: <17763650-53b9-c2af-e14e-5d66f6ae69a1@sentex.net>
Date: Thu, 20 May 2021 07:03:37 -0400
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:78.0) Gecko/20100101
 Thunderbird/78.10.2
List-Id: Filesystems <freebsd-fs.freebsd.org>
List-Archive: https://lists.freebsd.org/archives/freebsd-fs
List-Help: <mailto:fs+help@freebsd.org>
List-Post: <mailto:fs@freebsd.org>
List-Subscribe: <mailto:fs+subscribe@freebsd.org>
List-Unsubscribe: <mailto:fs+unsubscribe@freebsd.org>
Sender: owner-freebsd-fs@freebsd.org
MIME-Version: 1.0
In-Reply-To: <CAHEMsqYf4JOL22R3+13kqSOaDMydnpsq9Z2mR4EFBg7u78FjSQ@mail.gmail.com>
Content-Type: text/plain; charset=utf-8
Content-Transfer-Encoding: 8bit
Content-Language: en-US
X-Rspamd-Queue-Id: 4Fm6L319HQz4cth
X-Spamd-Bar: ----
Authentication-Results: mx1.freebsd.org;
	none
X-Spamd-Result: default: False [-4.00 / 15.00];
	 REPLY(-4.00)[]

On 5/20/2021 6:25 AM, Steven Hartland wrote:
> What is your pool structure / disk types?
>
Sending side a pair of raidz1 pools of HDDs. I have added the special
drives (SSDs) to see if it will help speed up the transfer as well as
speed up listing of snapshots.

        zbackup2                                                       
ONLINE       0     0     0
          raidz1-0                                                     
ONLINE       0     0     0
            diskid/DISK-VK0BGRPY%20%20%20%20%20%20%20%20%20%20%20%20p1 
ONLINE       0     0     0
            diskid/DISK-VK0BDWVY%20%20%20%20%20%20%20%20%20%20%20%20p1 
ONLINE       0     0     0
            diskid/DISK-VK0BHAJY%20%20%20%20%20%20%20%20%20%20%20%20p1 
ONLINE       0     0     0
            diskid/DISK-VK0SM9EY%20%20%20%20%20%20%20%20%20%20%20%20p1 
ONLINE       0     0     0
          raidz1-1                                                     
ONLINE       0     0     0
            diskid/DISK-VDJ5V2BD%20%20%20%20%20%20%20%20%20%20%20%20p1 
ONLINE       0     0     0
            diskid/DISK-VDJ7URTK%20%20%20%20%20%20%20%20%20%20%20%20p1 
ONLINE       0     0     0
            diskid/DISK-VDJ7K44D%20%20%20%20%20%20%20%20%20%20%20%20p1 
ONLINE       0     0     0
            diskid/DISK-VDJ7UUVK%20%20%20%20%20%20%20%20%20%20%20%20p1 
ONLINE       0     0     0
        special
          mirror-2                                                     
ONLINE       0     0     0
            ada0p2                                                     
ONLINE       0     0     0
            ada1p2                                                     
ONLINE       0     0     0
        cache
          nvd0p2                                                       
ONLINE       0     0     0

 pool: zbackup1
 state: ONLINE
  scan: scrub repaired 0 in 1 days 00:06:09 with 0 errors on Thu Apr 30
13:57:45 2020
config:

        NAME                                                           
STATE     READ WRITE CKSUM
        zbackup1                                                       
ONLINE       0     0     0
          raidz1-0                                                     
ONLINE       0     0     0
            diskid/DISK-VAGGPZKL%20%20%20%20%20%20%20%20%20%20%20%20p1 
ONLINE       0     0     0
            da1p1                                                      
ONLINE       0     0     0
            diskid/DISK-VAJ0S1DL%20%20%20%20%20%20%20%20%20%20%20%20p1 
ONLINE       0     0     0
            diskid/DISK-VAHZRMSL%20%20%20%20%20%20%20%20%20%20%20%20p1 
ONLINE       0     0     0
            da4p1                                                      
ONLINE       0     0     0
        special
          mirror-1                                                     
ONLINE       0     0     0
            ada0p1                                                     
ONLINE       0     0     0
            ada1p1                                                     
ONLINE       0     0     0
        cache
          nvd0p1                                                       
ONLINE       0     0     0