/*      $NetBSD: cache_octeon.c,v 1.4 2020/06/06 14:30:44 simonb Exp $  */

#include <sys/cdefs.h>
__KERNEL_RCSID(0, "$NetBSD: cache_octeon.c,v 1.4 2020/06/06 14:30:44 simonb Exp $");

#include <sys/param.h>
#include <sys/systm.h>

#include <mips/locore.h>
#include <mips/cache.h>
#include <mips/cache_octeon.h>

#define SYNC    __asm volatile("sync")

#ifdef OCTEON_ICACHE_DEBUG
int octeon_cache_debug = 0;
#define ICACHE_DEBUG_PRINTF(x)                                          \
        if (__predict_false(octeon_cache_debug != 0))                   \
                printf x;
#else
#define ICACHE_DEBUG_PRINTF(x)          /* nothing */
#endif


static inline void
mips_synci(vaddr_t va)
{

        __asm __volatile("synci 0(%0)" :: "r"(va));
}

void
octeon_icache_sync_all(void)
{

        ICACHE_DEBUG_PRINTF(("%s\n", __func__));
        mips_synci(MIPS_KSEG0_START);
        SYNC;
}
void
octeon_icache_sync_range(register_t va, vsize_t size)
{

        ICACHE_DEBUG_PRINTF(("%s: va=%#"PRIxREGISTER", size=%#"PRIxVSIZE"\n",
            __func__, va, size));
        mips_synci(MIPS_KSEG0_START);
        SYNC;
}

void
octeon_icache_sync_range_index(vaddr_t va, vsize_t size)
{

        ICACHE_DEBUG_PRINTF(("%s: va=%#"PRIxVADDR", size=%#"PRIxVSIZE"\n",
            __func__, va, size));
        mips_synci(MIPS_KSEG0_START);
        SYNC;
}

void
octeon_pdcache_inv_all(void)
{

        ICACHE_DEBUG_PRINTF(("%s\n", __func__));
        cache_octeon_invalidate(CACHEOP_OCTEON_INV_ALL | CACHE_OCTEON_D);
        SYNC;
}

void
octeon_pdcache_inv_range(register_t va, vsize_t size)
{

        ICACHE_DEBUG_PRINTF(("%s: va=%#"PRIxREGISTER", size=%#"PRIxVSIZE"\n",
            __func__, va, size));
        cache_octeon_invalidate(CACHEOP_OCTEON_INV_ALL | CACHE_OCTEON_D);
        SYNC;
}

void
octeon_pdcache_inv_range_index(vaddr_t va, vsize_t size)
{

        ICACHE_DEBUG_PRINTF(("%s: va=%#"PRIxVADDR", size=%#"PRIxVSIZE"\n",
            __func__, va, size));
        cache_octeon_invalidate(CACHEOP_OCTEON_INV_ALL | CACHE_OCTEON_D);
        SYNC;
}

/* ---- debug dump */

#ifdef OCTEON_ICACHE_DEBUG

/* XXX does the following even make sense for Octeon II/III? */

/* icache: 16KB, 2ways */

#define OCTEON_ICACHE_VA_WAY(_va)               (((_va) & __BITS(14, 13)) >> 13)
#define OCTEON_ICACHE_VA_INDEX(_va)             (((_va) & __BITS(12,  7)) >>  7)
#define OCTEON_ICACHE_VA_WORD(_va)              (((_va) & __BITS( 6,  3)) >>  3)

#define OCTEON_ICACHE_TAGLO_R(_taglo)           (((_taglo) & __BITS(63, 62)) >> 62)
#define OCTEON_ICACHE_TAGLO_ASID(_taglo)        (((_taglo) & __BITS(59, 52)) >> 52)
#define OCTEON_ICACHE_TAGLO_TAG(_taglo)         (((_taglo) & __BITS(48, 13)) >> 13)
#define OCTEON_ICACHE_TAGLO_INDEX(_taglo)       (((_taglo) & __BITS(12,  7)) >>  7)
#define OCTEON_ICACHE_TAGLO_G(_taglo)           (((_taglo) & __BITS( 1,  1)) >>  1)
#define OCTEON_ICACHE_TAGLO_VALID(_taglo)       (((_taglo) & __BITS( 0,  0)) >>  0)

/* dcache: 8KB, 64ways */

#define OCTEON_DCACHE_VA_WAY(_va)               (((_va) & __BITS(12,  7)) >>  7)
#define OCTEON_DCACHE_VA_WORD(_va)              (((_va) & __BITS( 6,  3)) >>  3)

#define OCTEON_DCACHE_TAGLO_R(_taglo)           (((_taglo) & __BITS(63, 62)) >> 62)
#define OCTEON_DCACHE_TAGLO_ASID(_taglo)        (((_taglo) & __BITS(59, 52)) >> 52)
#define OCTEON_DCACHE_TAGLO_TAG(_taglo)         (((_taglo) & __BITS(48,  7)) >>  7)
#define OCTEON_DCACHE_TAGLO_G(_taglo)           (((_taglo) & __BITS( 1,  1)) >>  1)
#define OCTEON_DCACHE_TAGLO_VALID(_taglo)       (((_taglo) & __BITS( 0,  0)) >>  0)

#define OCTEON_DCACHE_TAGHI_PTAG(_taghi)        (((_taghi) & __BITS(35,  7)) >>  7)
#define OCTEON_DCACHE_TAGHI_VALID(_taghi)       (((_taghi) & __BITS( 0,  0)) >>  0)

void            octeon_icache_dump_all(void);
void            octeon_icache_dump_way(int);
void            octeon_icache_dump_index(int, int);
void            octeon_icache_dump_va(register_t);
void            octeon_dcache_dump_all(void);
void            octeon_dcache_dump_way(int);
void            octeon_dcache_dump_index(int, int);
void            octeon_dcache_dump_va(register_t);

void
octeon_icache_dump_all(void)
{
        /* way = (0 .. 3) */
        const int maxway = 2;           /* XXX 2 << (14 - 13 + 1) == 4? */
        int way;

        for (way = 0; way < maxway; way++)
                octeon_icache_dump_way(way);
}

void
octeon_icache_dump_way(int way)
{
        /* index = (0 .. 127) */
        const int maxindex = 64;        /* XXX 2 << (12 - 7 + 1) == 128? */;
        int index;

        for (index = 0; index < maxindex; index++)
                octeon_icache_dump_index(way, index);
}

void
octeon_icache_dump_index(int way, int index)
{
        const vaddr_t va = (way << 13) | (index << 7);

        octeon_icache_dump_va(va);
}

void
octeon_icache_dump_va(register_t va)
{
        uint64_t taglo, datalo, datahi;

        /* icache */
        __asm __volatile (
                "       .set    push                    \n"
                "       .set    noreorder               \n"
                "       .set    arch=octeon             \n"
                "       cache   4, 0(%[va])             \n"
                "       dmfc0   %[taglo], $28, 0        \n"
                "       dmfc0   %[datalo], $28, 1       \n"
                "       dmfc0   %[datahi], $29, 1       \n"
                "       .set    pop                     \n"
                : [taglo] "=r" (taglo),
                  [datalo] "=r" (datalo),
                  [datahi] "=r" (datahi)
                : [va] "r" (va));

        printf("%s: va=%08x "
            "(way=%01x, index=%02x"/* ", word=%01d" */"), "
            "taglo=%016"PRIx64" "
            "(R=%01"PRIx64", asid=%02"PRIx64", tag=%09"PRIx64", index=%02"PRIx64", G=%01"PRIx64", valid=%01"PRIx64"), "
            "datahi=%01"PRIx64", datalo=%016"PRIx64""
            "\n",
            __func__,
            (int)((taglo) & __BITS(48, 7)),     /* (int)va */
            (int)OCTEON_ICACHE_VA_WAY(va),
            (int)OCTEON_ICACHE_VA_INDEX(va),
            /* (int)OCTEON_ICACHE_VA_WORD(va), */
            taglo,
            OCTEON_ICACHE_TAGLO_R(taglo),
            OCTEON_ICACHE_TAGLO_ASID(taglo),
            OCTEON_ICACHE_TAGLO_TAG(taglo),
            OCTEON_ICACHE_TAGLO_INDEX(taglo),
            OCTEON_ICACHE_TAGLO_G(taglo),
            OCTEON_ICACHE_TAGLO_VALID(taglo),
            datahi, datalo);
}

void
octeon_dcache_dump_all(void)
{
        /* way = (0 .. 63) */
        const int maxway = 64;
        int way;

        for (way = 0; way < maxway; way++)
                octeon_dcache_dump_way(way);
}

void
octeon_dcache_dump_way(int way)
{
        /* index = (0 .. 0) */
        const int maxindex = 1;
        int index;

        for (index = 0; index < maxindex; index++)
                octeon_dcache_dump_index(way, index);
}

void
octeon_dcache_dump_index(int way, int index)
{
        const vaddr_t va = (way << 7);  /* no index in dcache */

        octeon_dcache_dump_va(va);
}

void
octeon_dcache_dump_va(register_t va)
{
        uint64_t taglo, taghi, datalo, datahi;

        /* dcache */
        __asm __volatile (
                "       .set    push                    \n"
                "       .set    noreorder               \n"
                "       .set    arch=octeon             \n"
                "       cache   5, 0(%[va])             \n"
                "       dmfc0   %[taglo], $28, 2        \n"
                "       dmfc0   %[taghi], $29, 2        \n"
                "       dmfc0   %[datalo], $28, 3       \n"
                "       dmfc0   %[datahi], $29, 3       \n"
                "       .set    pop                     \n"
                : [taglo] "=r" (taglo),
                  [taghi] "=r" (taghi),
                  [datalo] "=r" (datalo),
                  [datahi] "=r" (datahi)
                : [va] "r" (va));

        printf("%s: va=%08x "
            "(way=%02x"/* ", word=%01d" */"), "
            "taglo=%016"PRIx64" "
            "(R=%01"PRIx64", asid=%02"PRIx64", tag=%09"PRIx64", G=%01"PRIx64", valid=%01"PRIx64"), "
            "taghi=%016"PRIx64" "
            "(ptag=%08"PRIx64", valid=%01"PRIx64"), "
            "datahi=%02"PRIx64", datalo=%016"PRIx64""
            "\n",
            __func__,
            (int)((taglo) & __BITS(48, 13)),    /* (int)va */
            (int)OCTEON_DCACHE_VA_WAY(va),
            /* (int)OCTEON_DCACHE_VA_WORD(va), */
            taglo,
            OCTEON_DCACHE_TAGLO_R(taglo),
            OCTEON_DCACHE_TAGLO_ASID(taglo),
            OCTEON_DCACHE_TAGLO_TAG(taglo),
            OCTEON_DCACHE_TAGLO_G(taglo),
            OCTEON_DCACHE_TAGLO_VALID(taglo),
            taghi,
            OCTEON_DCACHE_TAGHI_PTAG(taghi),
            OCTEON_DCACHE_TAGHI_VALID(taghi),
            datahi, datalo);
}

#endif  /* OCTEON_ICACHE_DEBUG */