arch/mips/kernel/cps-vec.S

   1 /*
   2  * Copyright (C) 2013 Imagination Technologies
   3  * Author: Paul Burton <paul.burton@imgtec.com>
   4  *
   5  * This program is free software; you can redistribute it and/or modify it
   6  * under the terms of the GNU General Public License as published by the
   7  * Free Software Foundation;  either version 2 of the  License, or (at your
   8  * option) any later version.
   9  */
  10
  11 #include <asm/addrspace.h>
  12 #include <asm/asm.h>
  13 #include <asm/asm-offsets.h>
  14 #include <asm/asmmacro.h>
  15 #include <asm/cacheops.h>
  16 #include <asm/eva.h>
  17 #include <asm/mipsregs.h>
  18 #include <asm/mipsmtregs.h>
  19 #include <asm/pm.h>
  20
  21 #define GCR_CPC_BASE_OFS        0x0088
  22 #define GCR_CL_COHERENCE_OFS    0x2008
  23 #define GCR_CL_ID_OFS           0x2028
  24
  25 #define CPC_CL_VC_RUN_OFS       0x2028
  26
  27 .extern mips_cm_base
  28
  29 .set noreorder
  30
  31 #ifdef CONFIG_64BIT
  32 # define STATUS_BITDEPS         ST0_KX
  33 #else
  34 # define STATUS_BITDEPS         0
  35 #endif
  36
  37 #ifdef CONFIG_MIPS_CPS_NS16550
  38
  39 #define DUMP_EXCEP(name)                \
  40         PTR_LA  a0, 8f;                 \
  41         jal     mips_cps_bev_dump;      \
  42          nop;                           \
  43         TEXT(name)
  44
  45 #else /* !CONFIG_MIPS_CPS_NS16550 */
  46
  47 #define DUMP_EXCEP(name)
  48
  49 #endif /* !CONFIG_MIPS_CPS_NS16550 */
  50
  51         /*
  52          * Set dest to non-zero if the core supports the MT ASE, else zero. If
  53          * MT is not supported then branch to nomt.
  54          */
  55         .macro  has_mt  dest, nomt
  56         mfc0    \dest, CP0_CONFIG, 1
  57         bgez    \dest, \nomt
  58          mfc0   \dest, CP0_CONFIG, 2
  59         bgez    \dest, \nomt
  60          mfc0   \dest, CP0_CONFIG, 3
  61         andi    \dest, \dest, MIPS_CONF3_MT
  62         beqz    \dest, \nomt
  63          nop
  64         .endm
  65
  66         /*
  67          * Set dest to non-zero if the core supports MIPSr6 multithreading
  68          * (ie. VPs), else zero. If MIPSr6 multithreading is not supported then
  69          * branch to nomt.
  70          */
  71         .macro  has_vp  dest, nomt
  72         mfc0    \dest, CP0_CONFIG, 1
  73         bgez    \dest, \nomt
  74          mfc0   \dest, CP0_CONFIG, 2
  75         bgez    \dest, \nomt
  76          mfc0   \dest, CP0_CONFIG, 3
  77         bgez    \dest, \nomt
  78          mfc0   \dest, CP0_CONFIG, 4
  79         bgez    \dest, \nomt
  80          mfc0   \dest, CP0_CONFIG, 5
  81         andi    \dest, \dest, MIPS_CONF5_VP
  82         beqz    \dest, \nomt
  83          nop
  84         .endm
  85
  86         /* Calculate an uncached address for the CM GCRs */
  87         .macro  cmgcrb  dest
  88         .set    push
  89         .set    noat
  90         MFC0    $1, CP0_CMGCRBASE
  91         PTR_SLL $1, $1, 4
  92         PTR_LI  \dest, UNCAC_BASE
  93         PTR_ADDU \dest, \dest, $1
  94         .set    pop
  95         .endm
  96
  97 .section .text.cps-vec
  98 .balign 0x1000
  99
 100 LEAF(mips_cps_core_entry)
 101         /*
 102          * These first 4 bytes will be patched by cps_smp_setup to load the
 103          * CCA to use into register s0.
 104          */
 105         .word   0
 106
 107         /* Check whether we're here due to an NMI */
 108         mfc0    k0, CP0_STATUS
 109         and     k0, k0, ST0_NMI
 110         beqz    k0, not_nmi
 111          nop
 112
 113         /* This is an NMI */
 114         PTR_LA  k0, nmi_handler
 115         jr      k0
 116          nop
 117
 118 not_nmi:
 119         /* Setup Cause */
 120         li      t0, CAUSEF_IV
 121         mtc0    t0, CP0_CAUSE
 122
 123         /* Setup Status */
 124         li      t0, ST0_CU1 | ST0_CU0 | ST0_BEV | STATUS_BITDEPS
 125         mtc0    t0, CP0_STATUS
 126
 127         /* Skip cache & coherence setup if we're already coherent */
 128         cmgcrb  v1
 129         lw      s7, GCR_CL_COHERENCE_OFS(v1)
 130         bnez    s7, 1f
 131          nop
 132
 133         /* Initialize the L1 caches */
 134         jal     mips_cps_cache_init
 135          nop
 136
 137         /* Enter the coherent domain */
 138         li      t0, 0xff
 139         sw      t0, GCR_CL_COHERENCE_OFS(v1)
 140         ehb
 141
 142         /* Set Kseg0 CCA to that in s0 */
 143 1:      mfc0    t0, CP0_CONFIG
 144         ori     t0, 0x7
 145         xori    t0, 0x7
 146         or      t0, t0, s0
 147         mtc0    t0, CP0_CONFIG
 148         ehb
 149
 150         /* Jump to kseg0 */
 151         PTR_LA  t0, 1f
 152         jr      t0
 153          nop
 154
 155         /*
 156          * We're up, cached & coherent. Perform any EVA initialization necessary
 157          * before we access memory.
 158          */
 159 1:      eva_init
 160
 161         /* Retrieve boot configuration pointers */
 162         jal     mips_cps_get_bootcfg
 163          nop
 164
 165         /* Skip core-level init if we started up coherent */
 166         bnez    s7, 1f
 167          nop
 168
 169         /* Perform any further required core-level initialisation */
 170         jal     mips_cps_core_init
 171          nop
 172
 173         /*
 174          * Boot any other VPEs within this core that should be online, and
 175          * deactivate this VPE if it should be offline.
 176          */
 177         move    a1, t9
 178         jal     mips_cps_boot_vpes
 179          move   a0, v0
 180
 181         /* Off we go! */
 182 1:      PTR_L   t1, VPEBOOTCFG_PC(v1)
 183         PTR_L   gp, VPEBOOTCFG_GP(v1)
 184         PTR_L   sp, VPEBOOTCFG_SP(v1)
 185         jr      t1
 186          nop
 187         END(mips_cps_core_entry)
 188
 189 .org 0x200
 190 LEAF(excep_tlbfill)
 191         DUMP_EXCEP("TLB Fill")
 192         b       .
 193          nop
 194         END(excep_tlbfill)
 195
 196 .org 0x280
 197 LEAF(excep_xtlbfill)
 198         DUMP_EXCEP("XTLB Fill")
 199         b       .
 200          nop
 201         END(excep_xtlbfill)
 202
 203 .org 0x300
 204 LEAF(excep_cache)
 205         DUMP_EXCEP("Cache")
 206         b       .
 207          nop
 208         END(excep_cache)
 209
 210 .org 0x380
 211 LEAF(excep_genex)
 212         DUMP_EXCEP("General")
 213         b       .
 214          nop
 215         END(excep_genex)
 216
 217 .org 0x400
 218 LEAF(excep_intex)
 219         DUMP_EXCEP("Interrupt")
 220         b       .
 221          nop
 222         END(excep_intex)
 223
 224 .org 0x480
 225 LEAF(excep_ejtag)
 226         DUMP_EXCEP("EJTAG")
 227         PTR_LA  k0, ejtag_debug_handler
 228         jr      k0
 229          nop
 230         END(excep_ejtag)
 231
 232 LEAF(mips_cps_core_init)
 233 #ifdef CONFIG_MIPS_MT_SMP
 234         /* Check that the core implements the MT ASE */
 235         has_mt  t0, 3f
 236
 237         .set    push
 238         .set    mt
 239
 240         /* Only allow 1 TC per VPE to execute... */
 241         dmt
 242
 243         /* ...and for the moment only 1 VPE */
 244         dvpe
 245         PTR_LA  t1, 1f
 246         jr.hb   t1
 247          nop
 248
 249         /* Enter VPE configuration state */
 250 1:      mfc0    t0, CP0_MVPCONTROL
 251         ori     t0, t0, MVPCONTROL_VPC
 252         mtc0    t0, CP0_MVPCONTROL
 253
 254         /* Retrieve the number of VPEs within the core */
 255         mfc0    t0, CP0_MVPCONF0
 256         srl     t0, t0, MVPCONF0_PVPE_SHIFT
 257         andi    t0, t0, (MVPCONF0_PVPE >> MVPCONF0_PVPE_SHIFT)
 258         addiu   ta3, t0, 1
 259
 260         /* If there's only 1, we're done */
 261         beqz    t0, 2f
 262          nop
 263
 264         /* Loop through each VPE within this core */
 265         li      ta1, 1
 266
 267 1:      /* Operate on the appropriate TC */
 268         mtc0    ta1, CP0_VPECONTROL
 269         ehb
 270
 271         /* Bind TC to VPE (1:1 TC:VPE mapping) */
 272         mttc0   ta1, CP0_TCBIND
 273
 274         /* Set exclusive TC, non-active, master */
 275         li      t0, VPECONF0_MVP
 276         sll     t1, ta1, VPECONF0_XTC_SHIFT
 277         or      t0, t0, t1
 278         mttc0   t0, CP0_VPECONF0
 279
 280         /* Set TC non-active, non-allocatable */
 281         mttc0   zero, CP0_TCSTATUS
 282
 283         /* Set TC halted */
 284         li      t0, TCHALT_H
 285         mttc0   t0, CP0_TCHALT
 286
 287         /* Next VPE */
 288         addiu   ta1, ta1, 1
 289         slt     t0, ta1, ta3
 290         bnez    t0, 1b
 291          nop
 292
 293         /* Leave VPE configuration state */
 294 2:      mfc0    t0, CP0_MVPCONTROL
 295         xori    t0, t0, MVPCONTROL_VPC
 296         mtc0    t0, CP0_MVPCONTROL
 297
 298 3:      .set    pop
 299 #endif
 300         jr      ra
 301          nop
 302         END(mips_cps_core_init)
 303
 304 /**
 305  * mips_cps_get_bootcfg() - retrieve boot configuration pointers
 306  *
 307  * Returns: pointer to struct core_boot_config in v0, pointer to
 308  *          struct vpe_boot_config in v1, VPE ID in t9
 309  */
 310 LEAF(mips_cps_get_bootcfg)
 311         /* Calculate a pointer to this cores struct core_boot_config */
 312         cmgcrb  t0
 313         lw      t0, GCR_CL_ID_OFS(t0)
 314         li      t1, COREBOOTCFG_SIZE
 315         mul     t0, t0, t1
 316         PTR_LA  t1, mips_cps_core_bootcfg
 317         PTR_L   t1, 0(t1)
 318         PTR_ADDU v0, t0, t1
 319
 320         /* Calculate this VPEs ID. If the core doesn't support MT use 0 */
 321         li      t9, 0
 322 #if defined(CONFIG_CPU_MIPSR6)
 323         has_vp  ta2, 1f
 324
 325         /*
 326          * Assume non-contiguous numbering. Perhaps some day we'll need
 327          * to handle contiguous VP numbering, but no such systems yet
 328          * exist.
 329          */
 330         mfc0    t9, $3, 1
 331         andi    t9, t9, 0xff
 332 #elif defined(CONFIG_MIPS_MT_SMP)
 333         has_mt  ta2, 1f
 334
 335         /* Find the number of VPEs present in the core */
 336         mfc0    t1, CP0_MVPCONF0
 337         srl     t1, t1, MVPCONF0_PVPE_SHIFT
 338         andi    t1, t1, MVPCONF0_PVPE >> MVPCONF0_PVPE_SHIFT
 339         addiu   t1, t1, 1
 340
 341         /* Calculate a mask for the VPE ID from EBase.CPUNum */
 342         clz     t1, t1
 343         li      t2, 31
 344         subu    t1, t2, t1
 345         li      t2, 1
 346         sll     t1, t2, t1
 347         addiu   t1, t1, -1
 348
 349         /* Retrieve the VPE ID from EBase.CPUNum */
 350         mfc0    t9, $15, 1
 351         and     t9, t9, t1
 352 #endif
 353
 354 1:      /* Calculate a pointer to this VPEs struct vpe_boot_config */
 355         li      t1, VPEBOOTCFG_SIZE
 356         mul     v1, t9, t1
 357         PTR_L   ta3, COREBOOTCFG_VPECONFIG(v0)
 358         PTR_ADDU v1, v1, ta3
 359
 360         jr      ra
 361          nop
 362         END(mips_cps_get_bootcfg)
 363
 364 LEAF(mips_cps_boot_vpes)
 365         PTR_L   ta2, COREBOOTCFG_VPEMASK(a0)
 366         PTR_L   ta3, COREBOOTCFG_VPECONFIG(a0)
 367
 368 #if defined(CONFIG_CPU_MIPSR6)
 369
 370         has_vp  t0, 5f
 371
 372         /* Find base address of CPC */
 373         cmgcrb  t3
 374         PTR_L   t1, GCR_CPC_BASE_OFS(t3)
 375         PTR_LI  t2, ~0x7fff
 376         and     t1, t1, t2
 377         PTR_LI  t2, UNCAC_BASE
 378         PTR_ADD t1, t1, t2
 379
 380         /* Set VC_RUN to the VPE mask */
 381         PTR_S   ta2, CPC_CL_VC_RUN_OFS(t1)
 382         ehb
 383
 384 #elif defined(CONFIG_MIPS_MT)
 385
 386         .set    push
 387         .set    mt
 388
 389         /* If the core doesn't support MT then return */
 390         has_mt  t0, 5f
 391
 392         /* Enter VPE configuration state */
 393         dvpe
 394         PTR_LA  t1, 1f
 395         jr.hb   t1
 396          nop
 397 1:      mfc0    t1, CP0_MVPCONTROL
 398         ori     t1, t1, MVPCONTROL_VPC
 399         mtc0    t1, CP0_MVPCONTROL
 400         ehb
 401
 402         /* Loop through each VPE */
 403         move    t8, ta2
 404         li      ta1, 0
 405
 406         /* Check whether the VPE should be running. If not, skip it */
 407 1:      andi    t0, ta2, 1
 408         beqz    t0, 2f
 409          nop
 410
 411         /* Operate on the appropriate TC */
 412         mfc0    t0, CP0_VPECONTROL
 413         ori     t0, t0, VPECONTROL_TARGTC
 414         xori    t0, t0, VPECONTROL_TARGTC
 415         or      t0, t0, ta1
 416         mtc0    t0, CP0_VPECONTROL
 417         ehb
 418
 419         /* Skip the VPE if its TC is not halted */
 420         mftc0   t0, CP0_TCHALT
 421         beqz    t0, 2f
 422          nop
 423
 424         /* Calculate a pointer to the VPEs struct vpe_boot_config */
 425         li      t0, VPEBOOTCFG_SIZE
 426         mul     t0, t0, ta1
 427         addu    t0, t0, ta3
 428
 429         /* Set the TC restart PC */
 430         lw      t1, VPEBOOTCFG_PC(t0)
 431         mttc0   t1, CP0_TCRESTART
 432
 433         /* Set the TC stack pointer */
 434         lw      t1, VPEBOOTCFG_SP(t0)
 435         mttgpr  t1, sp
 436
 437         /* Set the TC global pointer */
 438         lw      t1, VPEBOOTCFG_GP(t0)
 439         mttgpr  t1, gp
 440
 441         /* Copy config from this VPE */
 442         mfc0    t0, CP0_CONFIG
 443         mttc0   t0, CP0_CONFIG
 444
 445         /* Ensure no software interrupts are pending */
 446         mttc0   zero, CP0_CAUSE
 447         mttc0   zero, CP0_STATUS
 448
 449         /* Set TC active, not interrupt exempt */
 450         mftc0   t0, CP0_TCSTATUS
 451         li      t1, ~TCSTATUS_IXMT
 452         and     t0, t0, t1
 453         ori     t0, t0, TCSTATUS_A
 454         mttc0   t0, CP0_TCSTATUS
 455
 456         /* Clear the TC halt bit */
 457         mttc0   zero, CP0_TCHALT
 458
 459         /* Set VPE active */
 460         mftc0   t0, CP0_VPECONF0
 461         ori     t0, t0, VPECONF0_VPA
 462         mttc0   t0, CP0_VPECONF0
 463
 464         /* Next VPE */
 465 2:      srl     ta2, ta2, 1
 466         addiu   ta1, ta1, 1
 467         bnez    ta2, 1b
 468          nop
 469
 470         /* Leave VPE configuration state */
 471         mfc0    t1, CP0_MVPCONTROL
 472         xori    t1, t1, MVPCONTROL_VPC
 473         mtc0    t1, CP0_MVPCONTROL
 474         ehb
 475         evpe
 476
 477         /* Check whether this VPE is meant to be running */
 478         li      t0, 1
 479         sll     t0, t0, a1
 480         and     t0, t0, t8
 481         bnez    t0, 2f
 482          nop
 483
 484         /* This VPE should be offline, halt the TC */
 485         li      t0, TCHALT_H
 486         mtc0    t0, CP0_TCHALT
 487         PTR_LA  t0, 1f
 488 1:      jr.hb   t0
 489          nop
 490
 491 2:      .set    pop
 492
 493 #endif /* CONFIG_MIPS_MT_SMP */
 494
 495         /* Return */
 496 5:      jr      ra
 497          nop
 498         END(mips_cps_boot_vpes)
 499
 500 LEAF(mips_cps_cache_init)
 501         /*
 502          * Clear the bits used to index the caches. Note that the architecture
 503          * dictates that writing to any of TagLo or TagHi selects 0 or 2 should
 504          * be valid for all MIPS32 CPUs, even those for which said writes are
 505          * unnecessary.
 506          */
 507         mtc0    zero, CP0_TAGLO, 0
 508         mtc0    zero, CP0_TAGHI, 0
 509         mtc0    zero, CP0_TAGLO, 2
 510         mtc0    zero, CP0_TAGHI, 2
 511         ehb
 512
 513         /* Primary cache configuration is indicated by Config1 */
 514         mfc0    v0, CP0_CONFIG, 1
 515
 516         /* Detect I-cache line size */
 517         _EXT    t0, v0, MIPS_CONF1_IL_SHF, MIPS_CONF1_IL_SZ
 518         beqz    t0, icache_done
 519          li     t1, 2
 520         sllv    t0, t1, t0
 521
 522         /* Detect I-cache size */
 523         _EXT    t1, v0, MIPS_CONF1_IS_SHF, MIPS_CONF1_IS_SZ
 524         xori    t2, t1, 0x7
 525         beqz    t2, 1f
 526          li     t3, 32
 527         addiu   t1, t1, 1
 528         sllv    t1, t3, t1
 529 1:      /* At this point t1 == I-cache sets per way */
 530         _EXT    t2, v0, MIPS_CONF1_IA_SHF, MIPS_CONF1_IA_SZ
 531         addiu   t2, t2, 1
 532         mul     t1, t1, t0
 533         mul     t1, t1, t2
 534
 535         li      a0, CKSEG0
 536         PTR_ADD a1, a0, t1
 537 1:      cache   Index_Store_Tag_I, 0(a0)
 538         PTR_ADD a0, a0, t0
 539         bne     a0, a1, 1b
 540          nop
 541 icache_done:
 542
 543         /* Detect D-cache line size */
 544         _EXT    t0, v0, MIPS_CONF1_DL_SHF, MIPS_CONF1_DL_SZ
 545         beqz    t0, dcache_done
 546          li     t1, 2
 547         sllv    t0, t1, t0
 548
 549         /* Detect D-cache size */
 550         _EXT    t1, v0, MIPS_CONF1_DS_SHF, MIPS_CONF1_DS_SZ
 551         xori    t2, t1, 0x7
 552         beqz    t2, 1f
 553          li     t3, 32
 554         addiu   t1, t1, 1
 555         sllv    t1, t3, t1
 556 1:      /* At this point t1 == D-cache sets per way */
 557         _EXT    t2, v0, MIPS_CONF1_DA_SHF, MIPS_CONF1_DA_SZ
 558         addiu   t2, t2, 1
 559         mul     t1, t1, t0
 560         mul     t1, t1, t2
 561
 562         li      a0, CKSEG0
 563         PTR_ADDU a1, a0, t1
 564         PTR_SUBU a1, a1, t0
 565 1:      cache   Index_Store_Tag_D, 0(a0)
 566         bne     a0, a1, 1b
 567          PTR_ADD a0, a0, t0
 568 dcache_done:
 569
 570         jr      ra
 571          nop
 572         END(mips_cps_cache_init)
 573
 574 #if defined(CONFIG_MIPS_CPS_PM) && defined(CONFIG_CPU_PM)
 575
 576         /* Calculate a pointer to this CPUs struct mips_static_suspend_state */
 577         .macro  psstate dest
 578         .set    push
 579         .set    noat
 580         lw      $1, TI_CPU(gp)
 581         sll     $1, $1, LONGLOG
 582         PTR_LA  \dest, __per_cpu_offset
 583         addu    $1, $1, \dest
 584         lw      $1, 0($1)
 585         PTR_LA  \dest, cps_cpu_state
 586         addu    \dest, \dest, $1
 587         .set    pop
 588         .endm
 589
 590 LEAF(mips_cps_pm_save)
 591         /* Save CPU state */
 592         SUSPEND_SAVE_REGS
 593         psstate t1
 594         SUSPEND_SAVE_STATIC
 595         jr      v0
 596          nop
 597         END(mips_cps_pm_save)
 598
 599 LEAF(mips_cps_pm_restore)
 600         /* Restore CPU state */
 601         psstate t1
 602         RESUME_RESTORE_STATIC
 603         RESUME_RESTORE_REGS_RETURN
 604         END(mips_cps_pm_restore)
 605
 606 #endif /* CONFIG_MIPS_CPS_PM && CONFIG_CPU_PM */