#ifndef _RISCV_PTE_H_
#define _RISCV_PTE_H_
#ifdef _LP64
#define PTE_PPN __BITS(53, 10)
#define PTE_PPN0 __BITS(18, 10)
#define PTE_PPN1 __BITS(27, 19)
#define PTE_PPN2 __BITS(53, 28)
typedef uint64_t pt_entry_t;
typedef uint64_t pd_entry_t;
#define atomic_cas_pte atomic_cas_64
#else
#define PTE_PPN __BITS(31, 10)
#define PTE_PPN0 __BITS(19, 10)
#define PTE_PPN1 __BITS(31, 20)
typedef uint32_t pt_entry_t;
typedef uint32_t pd_entry_t;
#define atomic_cas_pte atomic_cas_32
#endif
#define PTE_PPN_SHIFT 10
#define NPTEPG (NBPG / sizeof(pt_entry_t))
#define NSEGPG NPTEPG
#define NPDEPG NPTEPG
#define PTE_N __BIT(63)
#define PTE_PBMT __BITS(62, 61)
#define PTE_reserved0 __BITS(60, 54)
#define PTE_PBMT_PMA __SHIFTIN(0, PTE_PBMT)
#define PTE_PBMT_NC __SHIFTIN(1, PTE_PBMT)
#define PTE_PBMT_IO __SHIFTIN(2, PTE_PBMT)
#define PTE_XMAE __BITS(63,59)
#define PTE_XMAE_SO __BIT(63)
#define PTE_XMAE_C __BIT(62)
#define PTE_XMAE_B __BIT(61)
#define PTE_XMAE_SH __BIT(60)
#define PTE_XMAE_T __BIT(59)
#define PTE_XMAE_PMA ( PTE_XMAE_C | PTE_XMAE_B | PTE_XMAE_SH)
#define PTE_XMAE_NC ( PTE_XMAE_B | PTE_XMAE_SH)
#define PTE_XMAE_IO (PTE_XMAE_SO | PTE_XMAE_SH)
#define PTE_RSW __BITS(9, 8)
#define PTE_WIRED __BIT(9)
#define PTE_D __BIT(7)
#define PTE_A __BIT(6)
#define PTE_G __BIT(5)
#define PTE_U __BIT(4)
#define PTE_X __BIT(3)
#define PTE_W __BIT(2)
#define PTE_R __BIT(1)
#define PTE_V __BIT(0)
#define PTE_HARDWIRED (PTE_A | PTE_D)
#define PTE_USER (PTE_V | PTE_U)
#define PTE_KERN (PTE_V | PTE_G)
#define PTE_RW (PTE_R | PTE_W)
#define PTE_RX (PTE_R | PTE_X)
#define PTE_RWX (PTE_R | PTE_W | PTE_X)
#define PTE_ISLEAF_P(pte) (((pte) & PTE_RWX) != 0)
#define PA_TO_PTE(pa) (((pa) >> PGSHIFT) << PTE_PPN_SHIFT)
#define PTE_TO_PA(pte) (__SHIFTOUT((pte), PTE_PPN) << PGSHIFT)
#if defined(_KERNEL)
static inline bool
pte_valid_p(pt_entry_t pte)
{
return (pte & PTE_V) != 0;
}
static inline bool
pte_wired_p(pt_entry_t pte)
{
return (pte & PTE_WIRED) != 0;
}
static inline bool
pte_modified_p(pt_entry_t pte)
{
return (pte & PTE_D) != 0;
}
static inline bool
pte_referenced_p(pt_entry_t pte)
{
return (pte & PTE_A) != 0;
}
static inline bool
pte_cached_p(pt_entry_t pte)
{
return true;
}
static inline bool
pte_deferred_exec_p(pt_entry_t pte)
{
return false;
}
static inline pt_entry_t
pte_wire_entry(pt_entry_t pte)
{
return pte | PTE_HARDWIRED | PTE_WIRED;
}
static inline pt_entry_t
pte_unwire_entry(pt_entry_t pte)
{
return pte & ~(PTE_HARDWIRED | PTE_WIRED);
}
static inline paddr_t
pte_to_paddr(pt_entry_t pte)
{
return PTE_TO_PA(pte);
}
static inline pt_entry_t
pte_nv_entry(bool kernel_p)
{
return 0;
}
static inline pt_entry_t
pte_clear_modify(pt_entry_t pte)
{
return pte & ~PTE_D;
}
static inline pt_entry_t
pte_clear_reference(pt_entry_t pte)
{
return pte & ~PTE_A;
}
static inline pt_entry_t
pte_prot_downgrade(pt_entry_t pte, vm_prot_t newprot)
{
if ((newprot & VM_PROT_READ) == 0)
pte &= ~PTE_R;
if ((newprot & VM_PROT_WRITE) == 0)
pte &= ~PTE_W;
if ((newprot & VM_PROT_EXECUTE) == 0)
pte &= ~PTE_X;
return pte;
}
static inline pt_entry_t
pte_prot_bits(struct vm_page_md *mdpg, vm_prot_t prot, bool kernel_p)
{
KASSERT(prot & VM_PROT_READ);
pt_entry_t pte = PTE_R;
if (prot & VM_PROT_EXECUTE) {
pte |= PTE_X;
}
if (prot & VM_PROT_WRITE) {
pte |= PTE_W;
}
return pte;
}
static inline pt_entry_t
pte_flag_bits(struct vm_page_md *mdpg, int flags, bool kernel_p)
{
return 0;
}
#ifdef _LP64
pt_entry_t pte_enter_flags_to_pbmt(int);
#else
static inline pt_entry_t
pte_enter_flags_to_pbmt(int flags)
{
return 0;
};
#endif
static inline pt_entry_t
pte_make_enter(paddr_t pa, struct vm_page_md *mdpg, vm_prot_t prot,
int flags, bool kernel_p)
{
pt_entry_t pte = (pt_entry_t)PA_TO_PTE(pa);
pte |= kernel_p ? PTE_KERN : PTE_USER;
pte |= pte_flag_bits(mdpg, flags, kernel_p);
pte |= pte_prot_bits(mdpg, prot, kernel_p);
pte |= pte_enter_flags_to_pbmt(flags);
KASSERT(((flags & VM_PROT_ALL) == 0) || VM_PAGEMD_REFERENCED_P(mdpg));
KASSERT(((flags & VM_PROT_WRITE) == 0) || VM_PAGEMD_MODIFIED_P(mdpg));
if (mdpg != NULL) {
if ((prot & VM_PROT_WRITE) != 0 && VM_PAGEMD_MODIFIED_P(mdpg)) {
pte |= PTE_A | PTE_D;
} else if (VM_PAGEMD_REFERENCED_P(mdpg)) {
pte |= PTE_A;
}
}
return pte;
}
static inline pt_entry_t
pte_make_kenter_pa(paddr_t pa, struct vm_page_md *mdpg, vm_prot_t prot,
int flags)
{
pt_entry_t pte = (pt_entry_t)PA_TO_PTE(pa);
pte |= PTE_KERN | PTE_HARDWIRED | PTE_WIRED;
pte |= pte_flag_bits(NULL, flags, true);
pte |= pte_prot_bits(NULL, prot, true);
pte |= pte_enter_flags_to_pbmt(flags);
return pte;
}
static inline void
pte_set(pt_entry_t *ptep, pt_entry_t pte)
{
*ptep = pte;
}
static inline pd_entry_t
pte_invalid_pde(void)
{
return 0;
}
static inline pd_entry_t
pte_pde_pdetab(paddr_t pa, bool kernel_p)
{
return PTE_V | PA_TO_PTE(pa);
}
static inline pd_entry_t
pte_pde_ptpage(paddr_t pa, bool kernel_p)
{
return PTE_V | PA_TO_PTE(pa);
}
static inline bool
pte_pde_valid_p(pd_entry_t pde)
{
return (pde & (PTE_X | PTE_W | PTE_R | PTE_V)) == PTE_V;
}
static inline paddr_t
pte_pde_to_paddr(pd_entry_t pde)
{
return pte_to_paddr((pt_entry_t)pde);
}
static inline pd_entry_t
pte_pde_cas(pd_entry_t *pdep, pd_entry_t opde, pt_entry_t npde)
{
#ifdef MULTIPROCESSOR
#ifdef _LP64
return atomic_cas_64(pdep, opde, npde);
#else
return atomic_cas_32(pdep, opde, npde);
#endif
#else
*pdep = npde;
return 0;
#endif
}
static inline void
pte_pde_set(pd_entry_t *pdep, pd_entry_t npde)
{
*pdep = npde;
}
static inline pt_entry_t
pte_value(pt_entry_t pte)
{
return pte;
}
#endif
#endif