// SPDX-License-Identifier: GPL-2.0-only
/*
 * PCIe controller driver for Intel Keem Bay
 * Copyright (C) 2020 Intel Corporation
 */

#include <linux/bitfield.h>
#include <linux/bits.h>
#include <linux/clk.h>
#include <linux/delay.h>
#include <linux/err.h>
#include <linux/gpio/consumer.h>
#include <linux/init.h>
#include <linux/iopoll.h>
#include <linux/irqchip/chained_irq.h>
#include <linux/kernel.h>
#include <linux/mod_devicetable.h>
#include <linux/pci.h>
#include <linux/platform_device.h>
#include <linux/property.h>

#include "pcie-designware.h"

/* PCIE_REGS_APB_SLV Registers */
#define PCIE_REGS_PCIE_CFG              0x0004
#define  PCIE_DEVICE_TYPE               BIT(8)
#define  PCIE_RSTN                      BIT(0)
#define PCIE_REGS_PCIE_APP_CNTRL        0x0008
#define  APP_LTSSM_ENABLE               BIT(0)
#define PCIE_REGS_INTERRUPT_ENABLE      0x0028
#define  MSI_CTRL_INT_EN                BIT(8)
#define  EDMA_INT_EN                    GENMASK(7, 0)
#define PCIE_REGS_INTERRUPT_STATUS      0x002c
#define  MSI_CTRL_INT                   BIT(8)
#define PCIE_REGS_PCIE_SII_PM_STATE     0x00b0
#define  SMLH_LINK_UP                   BIT(19)
#define  RDLH_LINK_UP                   BIT(8)
#define  PCIE_REGS_PCIE_SII_LINK_UP     (SMLH_LINK_UP | RDLH_LINK_UP)
#define PCIE_REGS_PCIE_PHY_CNTL         0x0164
#define  PHY0_SRAM_BYPASS               BIT(8)
#define PCIE_REGS_PCIE_PHY_STAT         0x0168
#define  PHY0_MPLLA_STATE               BIT(1)
#define PCIE_REGS_LJPLL_STA             0x016c
#define  LJPLL_LOCK                     BIT(0)
#define PCIE_REGS_LJPLL_CNTRL_0         0x0170
#define  LJPLL_EN                       BIT(29)
#define  LJPLL_FOUT_EN                  GENMASK(24, 21)
#define PCIE_REGS_LJPLL_CNTRL_2         0x0178
#define  LJPLL_REF_DIV                  GENMASK(17, 12)
#define  LJPLL_FB_DIV                   GENMASK(11, 0)
#define PCIE_REGS_LJPLL_CNTRL_3         0x017c
#define  LJPLL_POST_DIV3A               GENMASK(24, 22)
#define  LJPLL_POST_DIV2A               GENMASK(18, 16)

#define PERST_DELAY_US          1000
#define AUX_CLK_RATE_HZ         24000000

struct keembay_pcie {
        struct dw_pcie          pci;
        void __iomem            *apb_base;
        enum dw_pcie_device_mode mode;

        struct clk              *clk_master;
        struct clk              *clk_aux;
        struct gpio_desc        *reset;
};

struct keembay_pcie_of_data {
        enum dw_pcie_device_mode mode;
};

static void keembay_ep_reset_assert(struct keembay_pcie *pcie)
{
        gpiod_set_value_cansleep(pcie->reset, 1);
        usleep_range(PERST_DELAY_US, PERST_DELAY_US + 500);
}

static void keembay_ep_reset_deassert(struct keembay_pcie *pcie)
{
        /*
         * Ensure that PERST# is asserted for a minimum of 100ms.
         *
         * For more details, refer to PCI Express Card Electromechanical
         * Specification Revision 1.1, Table-2.4.
         */
        msleep(100);

        gpiod_set_value_cansleep(pcie->reset, 0);
        usleep_range(PERST_DELAY_US, PERST_DELAY_US + 500);
}

static void keembay_pcie_ltssm_set(struct keembay_pcie *pcie, bool enable)
{
        u32 val;

        val = readl(pcie->apb_base + PCIE_REGS_PCIE_APP_CNTRL);
        if (enable)
                val |= APP_LTSSM_ENABLE;
        else
                val &= ~APP_LTSSM_ENABLE;
        writel(val, pcie->apb_base + PCIE_REGS_PCIE_APP_CNTRL);
}

static bool keembay_pcie_link_up(struct dw_pcie *pci)
{
        struct keembay_pcie *pcie = dev_get_drvdata(pci->dev);
        u32 val;

        val = readl(pcie->apb_base + PCIE_REGS_PCIE_SII_PM_STATE);

        return (val & PCIE_REGS_PCIE_SII_LINK_UP) == PCIE_REGS_PCIE_SII_LINK_UP;
}

static int keembay_pcie_start_link(struct dw_pcie *pci)
{
        struct keembay_pcie *pcie = dev_get_drvdata(pci->dev);
        u32 val;
        int ret;

        if (pcie->mode == DW_PCIE_EP_TYPE)
                return 0;

        keembay_pcie_ltssm_set(pcie, false);

        ret = readl_poll_timeout(pcie->apb_base + PCIE_REGS_PCIE_PHY_STAT,
                                 val, val & PHY0_MPLLA_STATE, 20,
                                 500 * USEC_PER_MSEC);
        if (ret) {
                dev_err(pci->dev, "MPLLA is not locked\n");
                return ret;
        }

        keembay_pcie_ltssm_set(pcie, true);

        return 0;
}

static void keembay_pcie_stop_link(struct dw_pcie *pci)
{
        struct keembay_pcie *pcie = dev_get_drvdata(pci->dev);

        keembay_pcie_ltssm_set(pcie, false);
}

static const struct dw_pcie_ops keembay_pcie_ops = {
        .link_up        = keembay_pcie_link_up,
        .start_link     = keembay_pcie_start_link,
        .stop_link      = keembay_pcie_stop_link,
};

static inline void keembay_pcie_disable_clock(void *data)
{
        struct clk *clk = data;

        clk_disable_unprepare(clk);
}

static inline struct clk *keembay_pcie_probe_clock(struct device *dev,
                                                   const char *id, u64 rate)
{
        struct clk *clk;
        int ret;

        clk = devm_clk_get(dev, id);
        if (IS_ERR(clk))
                return clk;

        if (rate) {
                ret = clk_set_rate(clk, rate);
                if (ret)
                        return ERR_PTR(ret);
        }

        ret = clk_prepare_enable(clk);
        if (ret)
                return ERR_PTR(ret);

        ret = devm_add_action_or_reset(dev, keembay_pcie_disable_clock, clk);
        if (ret)
                return ERR_PTR(ret);

        return clk;
}

static int keembay_pcie_probe_clocks(struct keembay_pcie *pcie)
{
        struct dw_pcie *pci = &pcie->pci;
        struct device *dev = pci->dev;

        pcie->clk_master = keembay_pcie_probe_clock(dev, "master", 0);
        if (IS_ERR(pcie->clk_master))
                return dev_err_probe(dev, PTR_ERR(pcie->clk_master),
                                     "Failed to enable master clock");

        pcie->clk_aux = keembay_pcie_probe_clock(dev, "aux", AUX_CLK_RATE_HZ);
        if (IS_ERR(pcie->clk_aux))
                return dev_err_probe(dev, PTR_ERR(pcie->clk_aux),
                                     "Failed to enable auxiliary clock");

        return 0;
}

/*
 * Initialize the internal PCIe PLL in Host mode.
 * See the following sections in Keem Bay data book,
 * (1) 6.4.6.1 PCIe Subsystem Example Initialization,
 * (2) 6.8 PCIe Low Jitter PLL for Ref Clk Generation.
 */
static int keembay_pcie_pll_init(struct keembay_pcie *pcie)
{
        struct dw_pcie *pci = &pcie->pci;
        u32 val;
        int ret;

        val = FIELD_PREP(LJPLL_REF_DIV, 0) | FIELD_PREP(LJPLL_FB_DIV, 0x32);
        writel(val, pcie->apb_base + PCIE_REGS_LJPLL_CNTRL_2);

        val = FIELD_PREP(LJPLL_POST_DIV3A, 0x2) |
                FIELD_PREP(LJPLL_POST_DIV2A, 0x2);
        writel(val, pcie->apb_base + PCIE_REGS_LJPLL_CNTRL_3);

        val = FIELD_PREP(LJPLL_EN, 0x1) | FIELD_PREP(LJPLL_FOUT_EN, 0xc);
        writel(val, pcie->apb_base + PCIE_REGS_LJPLL_CNTRL_0);

        ret = readl_poll_timeout(pcie->apb_base + PCIE_REGS_LJPLL_STA,
                                 val, val & LJPLL_LOCK, 20,
                                 500 * USEC_PER_MSEC);
        if (ret)
                dev_err(pci->dev, "Low jitter PLL is not locked\n");

        return ret;
}

static void keembay_pcie_msi_irq_handler(struct irq_desc *desc)
{
        struct keembay_pcie *pcie = irq_desc_get_handler_data(desc);
        struct irq_chip *chip = irq_desc_get_chip(desc);
        u32 val, mask, status;
        struct dw_pcie_rp *pp;

        /*
         * Keem Bay PCIe Controller provides an additional IP logic on top of
         * standard DWC IP to clear MSI IRQ by writing '1' to the respective
         * bit of the status register.
         *
         * So, a chained irq handler is defined to handle this additional
         * IP logic.
         */

        chained_irq_enter(chip, desc);

        pp = &pcie->pci.pp;
        val = readl(pcie->apb_base + PCIE_REGS_INTERRUPT_STATUS);
        mask = readl(pcie->apb_base + PCIE_REGS_INTERRUPT_ENABLE);

        status = val & mask;

        if (status & MSI_CTRL_INT) {
                dw_handle_msi_irq(pp);
                writel(status, pcie->apb_base + PCIE_REGS_INTERRUPT_STATUS);
        }

        chained_irq_exit(chip, desc);
}

static int keembay_pcie_setup_msi_irq(struct keembay_pcie *pcie)
{
        struct dw_pcie *pci = &pcie->pci;
        struct device *dev = pci->dev;
        struct platform_device *pdev = to_platform_device(dev);
        int irq;

        irq = platform_get_irq_byname(pdev, "pcie");
        if (irq < 0)
                return irq;

        irq_set_chained_handler_and_data(irq, keembay_pcie_msi_irq_handler,
                                         pcie);

        return 0;
}

static void keembay_pcie_ep_init(struct dw_pcie_ep *ep)
{
        struct dw_pcie *pci = to_dw_pcie_from_ep(ep);
        struct keembay_pcie *pcie = dev_get_drvdata(pci->dev);

        writel(EDMA_INT_EN, pcie->apb_base + PCIE_REGS_INTERRUPT_ENABLE);
}

static int keembay_pcie_ep_raise_irq(struct dw_pcie_ep *ep, u8 func_no,
                                     unsigned int type, u16 interrupt_num)
{
        struct dw_pcie *pci = to_dw_pcie_from_ep(ep);

        switch (type) {
        case PCI_IRQ_INTX:
                /* INTx interrupts are not supported in Keem Bay */
                dev_err(pci->dev, "INTx IRQ is not supported\n");
                return -EINVAL;
        case PCI_IRQ_MSI:
                return dw_pcie_ep_raise_msi_irq(ep, func_no, interrupt_num);
        case PCI_IRQ_MSIX:
                return dw_pcie_ep_raise_msix_irq(ep, func_no, interrupt_num);
        default:
                dev_err(pci->dev, "Unknown IRQ type %d\n", type);
                return -EINVAL;
        }
}

static const struct pci_epc_features keembay_pcie_epc_features = {
        DWC_EPC_COMMON_FEATURES,
        .msi_capable            = true,
        .msix_capable           = true,
        .bar[BAR_0]             = { .only_64bit = true, },
        .bar[BAR_1]             = { .type = BAR_RESERVED, },
        .bar[BAR_2]             = { .only_64bit = true, },
        .bar[BAR_3]             = { .type = BAR_RESERVED, },
        .bar[BAR_4]             = { .only_64bit = true, },
        .bar[BAR_5]             = { .type = BAR_RESERVED, },
        .align                  = SZ_16K,
};

static const struct pci_epc_features *
keembay_pcie_get_features(struct dw_pcie_ep *ep)
{
        return &keembay_pcie_epc_features;
}

static const struct dw_pcie_ep_ops keembay_pcie_ep_ops = {
        .init           = keembay_pcie_ep_init,
        .raise_irq      = keembay_pcie_ep_raise_irq,
        .get_features   = keembay_pcie_get_features,
};

static const struct dw_pcie_host_ops keembay_pcie_host_ops = {
};

static int keembay_pcie_add_pcie_port(struct keembay_pcie *pcie,
                                      struct platform_device *pdev)
{
        struct dw_pcie *pci = &pcie->pci;
        struct dw_pcie_rp *pp = &pci->pp;
        struct device *dev = &pdev->dev;
        u32 val;
        int ret;

        pp->ops = &keembay_pcie_host_ops;
        pp->msi_irq[0] = -ENODEV;

        ret = keembay_pcie_setup_msi_irq(pcie);
        if (ret)
                return ret;

        pcie->reset = devm_gpiod_get(dev, "reset", GPIOD_OUT_HIGH);
        if (IS_ERR(pcie->reset))
                return PTR_ERR(pcie->reset);

        ret = keembay_pcie_probe_clocks(pcie);
        if (ret)
                return ret;

        val = readl(pcie->apb_base + PCIE_REGS_PCIE_PHY_CNTL);
        val |= PHY0_SRAM_BYPASS;
        writel(val, pcie->apb_base + PCIE_REGS_PCIE_PHY_CNTL);

        writel(PCIE_DEVICE_TYPE, pcie->apb_base + PCIE_REGS_PCIE_CFG);

        ret = keembay_pcie_pll_init(pcie);
        if (ret)
                return ret;

        val = readl(pcie->apb_base + PCIE_REGS_PCIE_CFG);
        writel(val | PCIE_RSTN, pcie->apb_base + PCIE_REGS_PCIE_CFG);
        keembay_ep_reset_deassert(pcie);

        ret = dw_pcie_host_init(pp);
        if (ret) {
                keembay_ep_reset_assert(pcie);
                dev_err(dev, "Failed to initialize host: %d\n", ret);
                return ret;
        }

        val = readl(pcie->apb_base + PCIE_REGS_INTERRUPT_ENABLE);
        if (IS_ENABLED(CONFIG_PCI_MSI))
                val |= MSI_CTRL_INT_EN;
        writel(val, pcie->apb_base + PCIE_REGS_INTERRUPT_ENABLE);

        return 0;
}

static int keembay_pcie_probe(struct platform_device *pdev)
{
        const struct keembay_pcie_of_data *data;
        struct device *dev = &pdev->dev;
        struct keembay_pcie *pcie;
        struct dw_pcie *pci;
        enum dw_pcie_device_mode mode;
        int ret;

        data = device_get_match_data(dev);
        if (!data)
                return -ENODEV;

        mode = (enum dw_pcie_device_mode)data->mode;

        pcie = devm_kzalloc(dev, sizeof(*pcie), GFP_KERNEL);
        if (!pcie)
                return -ENOMEM;

        pci = &pcie->pci;
        pci->dev = dev;
        pci->ops = &keembay_pcie_ops;

        pcie->mode = mode;

        pcie->apb_base = devm_platform_ioremap_resource_byname(pdev, "apb");
        if (IS_ERR(pcie->apb_base))
                return PTR_ERR(pcie->apb_base);

        platform_set_drvdata(pdev, pcie);

        switch (pcie->mode) {
        case DW_PCIE_RC_TYPE:
                if (!IS_ENABLED(CONFIG_PCIE_KEEMBAY_HOST))
                        return -ENODEV;

                return keembay_pcie_add_pcie_port(pcie, pdev);
        case DW_PCIE_EP_TYPE:
                if (!IS_ENABLED(CONFIG_PCIE_KEEMBAY_EP))
                        return -ENODEV;

                pci->ep.ops = &keembay_pcie_ep_ops;
                ret = dw_pcie_ep_init(&pci->ep);
                if (ret)
                        return ret;

                ret = dw_pcie_ep_init_registers(&pci->ep);
                if (ret) {
                        dev_err(dev, "Failed to initialize DWC endpoint registers\n");
                        dw_pcie_ep_deinit(&pci->ep);
                        return ret;
                }

                pci_epc_init_notify(pci->ep.epc);

                break;
        default:
                dev_err(dev, "Invalid device type %d\n", pcie->mode);
                return -ENODEV;
        }

        return 0;
}

static const struct keembay_pcie_of_data keembay_pcie_rc_of_data = {
        .mode = DW_PCIE_RC_TYPE,
};

static const struct keembay_pcie_of_data keembay_pcie_ep_of_data = {
        .mode = DW_PCIE_EP_TYPE,
};

static const struct of_device_id keembay_pcie_of_match[] = {
        {
                .compatible = "intel,keembay-pcie",
                .data = &keembay_pcie_rc_of_data,
        },
        {
                .compatible = "intel,keembay-pcie-ep",
                .data = &keembay_pcie_ep_of_data,
        },
        {}
};

static struct platform_driver keembay_pcie_driver = {
        .driver = {
                .name = "keembay-pcie",
                .of_match_table = keembay_pcie_of_match,
                .suppress_bind_attrs = true,
        },
        .probe  = keembay_pcie_probe,
};
builtin_platform_driver(keembay_pcie_driver);