/* SPDX-License-Identifier: GPL-2.0 */
/* NG4copy_page.S: Niagara-4 optimized copy page.
 *
 * Copyright (C) 2012 (davem@davemloft.net)
 */

#include <asm/asi.h>
#include <asm/page.h>

        .text
        .align          32

        .register       %g2, #scratch
        .register       %g3, #scratch

        .globl          NG4copy_user_page
NG4copy_user_page:      /* %o0=dest, %o1=src, %o2=vaddr */
        prefetch        [%o1 + 0x000], #n_reads_strong
        prefetch        [%o1 + 0x040], #n_reads_strong
        prefetch        [%o1 + 0x080], #n_reads_strong
        prefetch        [%o1 + 0x0c0], #n_reads_strong
        set             PAGE_SIZE, %g7
        prefetch        [%o1 + 0x100], #n_reads_strong
        prefetch        [%o1 + 0x140], #n_reads_strong
        prefetch        [%o1 + 0x180], #n_reads_strong
        prefetch        [%o1 + 0x1c0], #n_reads_strong
1:
        ldx             [%o1 + 0x00], %o2
        subcc           %g7, 0x40, %g7
        ldx             [%o1 + 0x08], %o3
        ldx             [%o1 + 0x10], %o4
        ldx             [%o1 + 0x18], %o5
        ldx             [%o1 + 0x20], %g1
        stxa            %o2, [%o0] ASI_ST_BLKINIT_MRU_P
        add             %o0, 0x08, %o0
        ldx             [%o1 + 0x28], %g2
        stxa            %o3, [%o0] ASI_ST_BLKINIT_MRU_P
        add             %o0, 0x08, %o0
        ldx             [%o1 + 0x30], %g3
        stxa            %o4, [%o0] ASI_ST_BLKINIT_MRU_P
        add             %o0, 0x08, %o0
        ldx             [%o1 + 0x38], %o2
        add             %o1, 0x40, %o1
        stxa            %o5, [%o0] ASI_ST_BLKINIT_MRU_P
        add             %o0, 0x08, %o0
        stxa            %g1, [%o0] ASI_ST_BLKINIT_MRU_P
        add             %o0, 0x08, %o0
        stxa            %g2, [%o0] ASI_ST_BLKINIT_MRU_P
        add             %o0, 0x08, %o0
        stxa            %g3, [%o0] ASI_ST_BLKINIT_MRU_P
        add             %o0, 0x08, %o0
        stxa            %o2, [%o0] ASI_ST_BLKINIT_MRU_P
        add             %o0, 0x08, %o0
        bne,pt          %icc, 1b
         prefetch       [%o1 + 0x200], #n_reads_strong
        retl
         membar         #StoreLoad | #StoreStore
        .size           NG4copy_user_page,.-NG4copy_user_page