137941d79870b0b523daa0b11a000382bdfc2028
[cascardo/linux.git] / drivers / infiniband / hw / mlx4 / mlx4_ib.h
1 /*
2  * Copyright (c) 2006, 2007 Cisco Systems.  All rights reserved.
3  * Copyright (c) 2007, 2008 Mellanox Technologies. All rights reserved.
4  *
5  * This software is available to you under a choice of one of two
6  * licenses.  You may choose to be licensed under the terms of the GNU
7  * General Public License (GPL) Version 2, available from the file
8  * COPYING in the main directory of this source tree, or the
9  * OpenIB.org BSD license below:
10  *
11  *     Redistribution and use in source and binary forms, with or
12  *     without modification, are permitted provided that the following
13  *     conditions are met:
14  *
15  *      - Redistributions of source code must retain the above
16  *        copyright notice, this list of conditions and the following
17  *        disclaimer.
18  *
19  *      - Redistributions in binary form must reproduce the above
20  *        copyright notice, this list of conditions and the following
21  *        disclaimer in the documentation and/or other materials
22  *        provided with the distribution.
23  *
24  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
25  * EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
26  * MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
27  * NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS
28  * BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN
29  * ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN
30  * CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
31  * SOFTWARE.
32  */
33
34 #ifndef MLX4_IB_H
35 #define MLX4_IB_H
36
37 #include <linux/compiler.h>
38 #include <linux/list.h>
39 #include <linux/mutex.h>
40
41 #include <rdma/ib_verbs.h>
42 #include <rdma/ib_umem.h>
43
44 #include <linux/mlx4/device.h>
45 #include <linux/mlx4/doorbell.h>
46
47 #define MLX4_IB_DRV_NAME        "mlx4_ib"
48
49 #ifdef pr_fmt
50 #undef pr_fmt
51 #endif
52 #define pr_fmt(fmt)     "<" MLX4_IB_DRV_NAME "> %s: " fmt, __func__
53
54 #define mlx4_ib_warn(ibdev, format, arg...) \
55         dev_warn((ibdev)->dma_device, MLX4_IB_DRV_NAME ": " format, ## arg)
56
57 enum {
58         MLX4_IB_SQ_MIN_WQE_SHIFT = 6,
59         MLX4_IB_MAX_HEADROOM     = 2048
60 };
61
62 #define MLX4_IB_SQ_HEADROOM(shift)      ((MLX4_IB_MAX_HEADROOM >> (shift)) + 1)
63 #define MLX4_IB_SQ_MAX_SPARE            (MLX4_IB_SQ_HEADROOM(MLX4_IB_SQ_MIN_WQE_SHIFT))
64
65 struct mlx4_ib_ucontext {
66         struct ib_ucontext      ibucontext;
67         struct mlx4_uar         uar;
68         struct list_head        db_page_list;
69         struct mutex            db_page_mutex;
70 };
71
72 struct mlx4_ib_pd {
73         struct ib_pd            ibpd;
74         u32                     pdn;
75 };
76
77 struct mlx4_ib_xrcd {
78         struct ib_xrcd          ibxrcd;
79         u32                     xrcdn;
80         struct ib_pd           *pd;
81         struct ib_cq           *cq;
82 };
83
84 struct mlx4_ib_cq_buf {
85         struct mlx4_buf         buf;
86         struct mlx4_mtt         mtt;
87 };
88
89 struct mlx4_ib_cq_resize {
90         struct mlx4_ib_cq_buf   buf;
91         int                     cqe;
92 };
93
94 struct mlx4_ib_cq {
95         struct ib_cq            ibcq;
96         struct mlx4_cq          mcq;
97         struct mlx4_ib_cq_buf   buf;
98         struct mlx4_ib_cq_resize *resize_buf;
99         struct mlx4_db          db;
100         spinlock_t              lock;
101         struct mutex            resize_mutex;
102         struct ib_umem         *umem;
103         struct ib_umem         *resize_umem;
104 };
105
106 struct mlx4_ib_mr {
107         struct ib_mr            ibmr;
108         struct mlx4_mr          mmr;
109         struct ib_umem         *umem;
110 };
111
112 struct mlx4_ib_fast_reg_page_list {
113         struct ib_fast_reg_page_list    ibfrpl;
114         __be64                         *mapped_page_list;
115         dma_addr_t                      map;
116 };
117
118 struct mlx4_ib_fmr {
119         struct ib_fmr           ibfmr;
120         struct mlx4_fmr         mfmr;
121 };
122
123 struct mlx4_ib_wq {
124         u64                    *wrid;
125         spinlock_t              lock;
126         int                     wqe_cnt;
127         int                     max_post;
128         int                     max_gs;
129         int                     offset;
130         int                     wqe_shift;
131         unsigned                head;
132         unsigned                tail;
133 };
134
135 enum mlx4_ib_qp_flags {
136         MLX4_IB_QP_LSO = IB_QP_CREATE_IPOIB_UD_LSO,
137         MLX4_IB_QP_BLOCK_MULTICAST_LOOPBACK = IB_QP_CREATE_BLOCK_MULTICAST_LOOPBACK,
138         MLX4_IB_SRIOV_TUNNEL_QP = 1 << 30,
139         MLX4_IB_SRIOV_SQP = 1 << 31,
140 };
141
142 struct mlx4_ib_gid_entry {
143         struct list_head        list;
144         union ib_gid            gid;
145         int                     added;
146         u8                      port;
147 };
148
149 enum mlx4_ib_qp_type {
150         /*
151          * IB_QPT_SMI and IB_QPT_GSI have to be the first two entries
152          * here (and in that order) since the MAD layer uses them as
153          * indices into a 2-entry table.
154          */
155         MLX4_IB_QPT_SMI = IB_QPT_SMI,
156         MLX4_IB_QPT_GSI = IB_QPT_GSI,
157
158         MLX4_IB_QPT_RC = IB_QPT_RC,
159         MLX4_IB_QPT_UC = IB_QPT_UC,
160         MLX4_IB_QPT_UD = IB_QPT_UD,
161         MLX4_IB_QPT_RAW_IPV6 = IB_QPT_RAW_IPV6,
162         MLX4_IB_QPT_RAW_ETHERTYPE = IB_QPT_RAW_ETHERTYPE,
163         MLX4_IB_QPT_RAW_PACKET = IB_QPT_RAW_PACKET,
164         MLX4_IB_QPT_XRC_INI = IB_QPT_XRC_INI,
165         MLX4_IB_QPT_XRC_TGT = IB_QPT_XRC_TGT,
166
167         MLX4_IB_QPT_PROXY_SMI_OWNER     = 1 << 16,
168         MLX4_IB_QPT_PROXY_SMI           = 1 << 17,
169         MLX4_IB_QPT_PROXY_GSI           = 1 << 18,
170         MLX4_IB_QPT_TUN_SMI_OWNER       = 1 << 19,
171         MLX4_IB_QPT_TUN_SMI             = 1 << 20,
172         MLX4_IB_QPT_TUN_GSI             = 1 << 21,
173 };
174
175 #define MLX4_IB_QPT_ANY_SRIOV   (MLX4_IB_QPT_PROXY_SMI_OWNER | \
176         MLX4_IB_QPT_PROXY_SMI | MLX4_IB_QPT_PROXY_GSI | MLX4_IB_QPT_TUN_SMI_OWNER | \
177         MLX4_IB_QPT_TUN_SMI | MLX4_IB_QPT_TUN_GSI)
178
179 enum {
180         MLX4_NUM_TUNNEL_BUFS            = 256,
181 };
182
183 struct mlx4_ib_tunnel_header {
184         struct mlx4_av av;
185         __be32 remote_qpn;
186         __be32 qkey;
187         __be16 vlan;
188         u8 mac[6];
189         __be16 pkey_index;
190         u8 reserved[6];
191 };
192
193 struct mlx4_ib_buf {
194         void *addr;
195         dma_addr_t map;
196 };
197
198 struct mlx4_rcv_tunnel_hdr {
199         __be32 flags_src_qp; /* flags[6:5] is defined for VLANs:
200                               * 0x0 - no vlan was in the packet
201                               * 0x01 - C-VLAN was in the packet */
202         u8 g_ml_path; /* gid bit stands for ipv6/4 header in RoCE */
203         u8 reserved;
204         __be16 pkey_index;
205         __be16 sl_vid;
206         __be16 slid_mac_47_32;
207         __be32 mac_31_0;
208 };
209
210 struct mlx4_ib_proxy_sqp_hdr {
211         struct ib_grh grh;
212         struct mlx4_rcv_tunnel_hdr tun;
213 }  __packed;
214
215 struct mlx4_ib_qp {
216         struct ib_qp            ibqp;
217         struct mlx4_qp          mqp;
218         struct mlx4_buf         buf;
219
220         struct mlx4_db          db;
221         struct mlx4_ib_wq       rq;
222
223         u32                     doorbell_qpn;
224         __be32                  sq_signal_bits;
225         unsigned                sq_next_wqe;
226         int                     sq_max_wqes_per_wr;
227         int                     sq_spare_wqes;
228         struct mlx4_ib_wq       sq;
229
230         enum mlx4_ib_qp_type    mlx4_ib_qp_type;
231         struct ib_umem         *umem;
232         struct mlx4_mtt         mtt;
233         int                     buf_size;
234         struct mutex            mutex;
235         u16                     xrcdn;
236         u32                     flags;
237         u8                      port;
238         u8                      alt_port;
239         u8                      atomic_rd_en;
240         u8                      resp_depth;
241         u8                      sq_no_prefetch;
242         u8                      state;
243         int                     mlx_type;
244         struct list_head        gid_list;
245         struct list_head        steering_rules;
246         struct mlx4_ib_buf      *sqp_proxy_rcv;
247
248 };
249
250 struct mlx4_ib_srq {
251         struct ib_srq           ibsrq;
252         struct mlx4_srq         msrq;
253         struct mlx4_buf         buf;
254         struct mlx4_db          db;
255         u64                    *wrid;
256         spinlock_t              lock;
257         int                     head;
258         int                     tail;
259         u16                     wqe_ctr;
260         struct ib_umem         *umem;
261         struct mlx4_mtt         mtt;
262         struct mutex            mutex;
263 };
264
265 struct mlx4_ib_ah {
266         struct ib_ah            ibah;
267         union mlx4_ext_av       av;
268 };
269
270 struct mlx4_ib_demux_work {
271         struct work_struct      work;
272         struct mlx4_ib_dev     *dev;
273         int                     slave;
274         int                     do_init;
275         u8                      port;
276
277 };
278
279 struct mlx4_ib_tun_tx_buf {
280         struct mlx4_ib_buf buf;
281         struct ib_ah *ah;
282 };
283
284 struct mlx4_ib_demux_pv_qp {
285         struct ib_qp *qp;
286         enum ib_qp_type proxy_qpt;
287         struct mlx4_ib_buf *ring;
288         struct mlx4_ib_tun_tx_buf *tx_ring;
289         spinlock_t tx_lock;
290         unsigned tx_ix_head;
291         unsigned tx_ix_tail;
292 };
293
294 enum mlx4_ib_demux_pv_state {
295         DEMUX_PV_STATE_DOWN,
296         DEMUX_PV_STATE_STARTING,
297         DEMUX_PV_STATE_ACTIVE,
298         DEMUX_PV_STATE_DOWNING,
299 };
300
301 struct mlx4_ib_demux_pv_ctx {
302         int port;
303         int slave;
304         enum mlx4_ib_demux_pv_state state;
305         int has_smi;
306         struct ib_device *ib_dev;
307         struct ib_cq *cq;
308         struct ib_pd *pd;
309         struct ib_mr *mr;
310         struct work_struct work;
311         struct workqueue_struct *wq;
312         struct mlx4_ib_demux_pv_qp qp[2];
313 };
314
315 struct mlx4_ib_demux_ctx {
316         struct ib_device *ib_dev;
317         int port;
318         struct workqueue_struct *wq;
319         struct workqueue_struct *ud_wq;
320         spinlock_t ud_lock;
321         __be64 subnet_prefix;
322         __be64 guid_cache[128];
323         struct mlx4_ib_dev *dev;
324         struct mlx4_ib_demux_pv_ctx **tun;
325 };
326
327 struct mlx4_ib_sriov {
328         struct mlx4_ib_demux_ctx demux[MLX4_MAX_PORTS];
329         struct mlx4_ib_demux_pv_ctx *sqps[MLX4_MAX_PORTS];
330         /* when using this spinlock you should use "irq" because
331          * it may be called from interrupt context.*/
332         spinlock_t going_down_lock;
333         int is_going_down;
334 };
335
336 struct mlx4_ib_iboe {
337         spinlock_t              lock;
338         struct net_device      *netdevs[MLX4_MAX_PORTS];
339         struct notifier_block   nb;
340         union ib_gid            gid_table[MLX4_MAX_PORTS][128];
341 };
342
343 struct pkey_mgt {
344         u8                      virt2phys_pkey[MLX4_MFUNC_MAX][MLX4_MAX_PORTS][MLX4_MAX_PORT_PKEYS];
345         u16                     phys_pkey_cache[MLX4_MAX_PORTS][MLX4_MAX_PORT_PKEYS];
346         struct list_head        pkey_port_list[MLX4_MFUNC_MAX];
347         struct kobject         *device_parent[MLX4_MFUNC_MAX];
348 };
349
350 struct mlx4_ib_dev {
351         struct ib_device        ib_dev;
352         struct mlx4_dev        *dev;
353         int                     num_ports;
354         void __iomem           *uar_map;
355
356         struct mlx4_uar         priv_uar;
357         u32                     priv_pdn;
358         MLX4_DECLARE_DOORBELL_LOCK(uar_lock);
359
360         struct ib_mad_agent    *send_agent[MLX4_MAX_PORTS][2];
361         struct ib_ah           *sm_ah[MLX4_MAX_PORTS];
362         spinlock_t              sm_lock;
363         struct mlx4_ib_sriov    sriov;
364
365         struct mutex            cap_mask_mutex;
366         bool                    ib_active;
367         struct mlx4_ib_iboe     iboe;
368         int                     counters[MLX4_MAX_PORTS];
369         int                    *eq_table;
370         int                     eq_added;
371         struct pkey_mgt         pkeys;
372 };
373
374 struct ib_event_work {
375         struct work_struct      work;
376         struct mlx4_ib_dev      *ib_dev;
377         struct mlx4_eqe         ib_eqe;
378 };
379
380 struct mlx4_ib_qp_tunnel_init_attr {
381         struct ib_qp_init_attr init_attr;
382         int slave;
383         enum ib_qp_type proxy_qp_type;
384         u8 port;
385 };
386
387 static inline struct mlx4_ib_dev *to_mdev(struct ib_device *ibdev)
388 {
389         return container_of(ibdev, struct mlx4_ib_dev, ib_dev);
390 }
391
392 static inline struct mlx4_ib_ucontext *to_mucontext(struct ib_ucontext *ibucontext)
393 {
394         return container_of(ibucontext, struct mlx4_ib_ucontext, ibucontext);
395 }
396
397 static inline struct mlx4_ib_pd *to_mpd(struct ib_pd *ibpd)
398 {
399         return container_of(ibpd, struct mlx4_ib_pd, ibpd);
400 }
401
402 static inline struct mlx4_ib_xrcd *to_mxrcd(struct ib_xrcd *ibxrcd)
403 {
404         return container_of(ibxrcd, struct mlx4_ib_xrcd, ibxrcd);
405 }
406
407 static inline struct mlx4_ib_cq *to_mcq(struct ib_cq *ibcq)
408 {
409         return container_of(ibcq, struct mlx4_ib_cq, ibcq);
410 }
411
412 static inline struct mlx4_ib_cq *to_mibcq(struct mlx4_cq *mcq)
413 {
414         return container_of(mcq, struct mlx4_ib_cq, mcq);
415 }
416
417 static inline struct mlx4_ib_mr *to_mmr(struct ib_mr *ibmr)
418 {
419         return container_of(ibmr, struct mlx4_ib_mr, ibmr);
420 }
421
422 static inline struct mlx4_ib_fast_reg_page_list *to_mfrpl(struct ib_fast_reg_page_list *ibfrpl)
423 {
424         return container_of(ibfrpl, struct mlx4_ib_fast_reg_page_list, ibfrpl);
425 }
426
427 static inline struct mlx4_ib_fmr *to_mfmr(struct ib_fmr *ibfmr)
428 {
429         return container_of(ibfmr, struct mlx4_ib_fmr, ibfmr);
430 }
431 static inline struct mlx4_ib_qp *to_mqp(struct ib_qp *ibqp)
432 {
433         return container_of(ibqp, struct mlx4_ib_qp, ibqp);
434 }
435
436 static inline struct mlx4_ib_qp *to_mibqp(struct mlx4_qp *mqp)
437 {
438         return container_of(mqp, struct mlx4_ib_qp, mqp);
439 }
440
441 static inline struct mlx4_ib_srq *to_msrq(struct ib_srq *ibsrq)
442 {
443         return container_of(ibsrq, struct mlx4_ib_srq, ibsrq);
444 }
445
446 static inline struct mlx4_ib_srq *to_mibsrq(struct mlx4_srq *msrq)
447 {
448         return container_of(msrq, struct mlx4_ib_srq, msrq);
449 }
450
451 static inline struct mlx4_ib_ah *to_mah(struct ib_ah *ibah)
452 {
453         return container_of(ibah, struct mlx4_ib_ah, ibah);
454 }
455
456 int mlx4_ib_init_sriov(struct mlx4_ib_dev *dev);
457 void mlx4_ib_close_sriov(struct mlx4_ib_dev *dev);
458
459 int mlx4_ib_db_map_user(struct mlx4_ib_ucontext *context, unsigned long virt,
460                         struct mlx4_db *db);
461 void mlx4_ib_db_unmap_user(struct mlx4_ib_ucontext *context, struct mlx4_db *db);
462
463 struct ib_mr *mlx4_ib_get_dma_mr(struct ib_pd *pd, int acc);
464 int mlx4_ib_umem_write_mtt(struct mlx4_ib_dev *dev, struct mlx4_mtt *mtt,
465                            struct ib_umem *umem);
466 struct ib_mr *mlx4_ib_reg_user_mr(struct ib_pd *pd, u64 start, u64 length,
467                                   u64 virt_addr, int access_flags,
468                                   struct ib_udata *udata);
469 int mlx4_ib_dereg_mr(struct ib_mr *mr);
470 struct ib_mr *mlx4_ib_alloc_fast_reg_mr(struct ib_pd *pd,
471                                         int max_page_list_len);
472 struct ib_fast_reg_page_list *mlx4_ib_alloc_fast_reg_page_list(struct ib_device *ibdev,
473                                                                int page_list_len);
474 void mlx4_ib_free_fast_reg_page_list(struct ib_fast_reg_page_list *page_list);
475
476 int mlx4_ib_modify_cq(struct ib_cq *cq, u16 cq_count, u16 cq_period);
477 int mlx4_ib_resize_cq(struct ib_cq *ibcq, int entries, struct ib_udata *udata);
478 struct ib_cq *mlx4_ib_create_cq(struct ib_device *ibdev, int entries, int vector,
479                                 struct ib_ucontext *context,
480                                 struct ib_udata *udata);
481 int mlx4_ib_destroy_cq(struct ib_cq *cq);
482 int mlx4_ib_poll_cq(struct ib_cq *ibcq, int num_entries, struct ib_wc *wc);
483 int mlx4_ib_arm_cq(struct ib_cq *cq, enum ib_cq_notify_flags flags);
484 void __mlx4_ib_cq_clean(struct mlx4_ib_cq *cq, u32 qpn, struct mlx4_ib_srq *srq);
485 void mlx4_ib_cq_clean(struct mlx4_ib_cq *cq, u32 qpn, struct mlx4_ib_srq *srq);
486
487 struct ib_ah *mlx4_ib_create_ah(struct ib_pd *pd, struct ib_ah_attr *ah_attr);
488 int mlx4_ib_query_ah(struct ib_ah *ibah, struct ib_ah_attr *ah_attr);
489 int mlx4_ib_destroy_ah(struct ib_ah *ah);
490
491 struct ib_srq *mlx4_ib_create_srq(struct ib_pd *pd,
492                                   struct ib_srq_init_attr *init_attr,
493                                   struct ib_udata *udata);
494 int mlx4_ib_modify_srq(struct ib_srq *ibsrq, struct ib_srq_attr *attr,
495                        enum ib_srq_attr_mask attr_mask, struct ib_udata *udata);
496 int mlx4_ib_query_srq(struct ib_srq *srq, struct ib_srq_attr *srq_attr);
497 int mlx4_ib_destroy_srq(struct ib_srq *srq);
498 void mlx4_ib_free_srq_wqe(struct mlx4_ib_srq *srq, int wqe_index);
499 int mlx4_ib_post_srq_recv(struct ib_srq *ibsrq, struct ib_recv_wr *wr,
500                           struct ib_recv_wr **bad_wr);
501
502 struct ib_qp *mlx4_ib_create_qp(struct ib_pd *pd,
503                                 struct ib_qp_init_attr *init_attr,
504                                 struct ib_udata *udata);
505 int mlx4_ib_destroy_qp(struct ib_qp *qp);
506 int mlx4_ib_modify_qp(struct ib_qp *ibqp, struct ib_qp_attr *attr,
507                       int attr_mask, struct ib_udata *udata);
508 int mlx4_ib_query_qp(struct ib_qp *ibqp, struct ib_qp_attr *qp_attr, int qp_attr_mask,
509                      struct ib_qp_init_attr *qp_init_attr);
510 int mlx4_ib_post_send(struct ib_qp *ibqp, struct ib_send_wr *wr,
511                       struct ib_send_wr **bad_wr);
512 int mlx4_ib_post_recv(struct ib_qp *ibqp, struct ib_recv_wr *wr,
513                       struct ib_recv_wr **bad_wr);
514
515 int mlx4_MAD_IFC(struct mlx4_ib_dev *dev, int ignore_mkey, int ignore_bkey,
516                  int port, struct ib_wc *in_wc, struct ib_grh *in_grh,
517                  void *in_mad, void *response_mad);
518 int mlx4_ib_process_mad(struct ib_device *ibdev, int mad_flags, u8 port_num,
519                         struct ib_wc *in_wc, struct ib_grh *in_grh,
520                         struct ib_mad *in_mad, struct ib_mad *out_mad);
521 int mlx4_ib_mad_init(struct mlx4_ib_dev *dev);
522 void mlx4_ib_mad_cleanup(struct mlx4_ib_dev *dev);
523
524 struct ib_fmr *mlx4_ib_fmr_alloc(struct ib_pd *pd, int mr_access_flags,
525                                   struct ib_fmr_attr *fmr_attr);
526 int mlx4_ib_map_phys_fmr(struct ib_fmr *ibfmr, u64 *page_list, int npages,
527                          u64 iova);
528 int mlx4_ib_unmap_fmr(struct list_head *fmr_list);
529 int mlx4_ib_fmr_dealloc(struct ib_fmr *fmr);
530
531 int mlx4_ib_resolve_grh(struct mlx4_ib_dev *dev, const struct ib_ah_attr *ah_attr,
532                         u8 *mac, int *is_mcast, u8 port);
533
534 static inline int mlx4_ib_ah_grh_present(struct mlx4_ib_ah *ah)
535 {
536         u8 port = be32_to_cpu(ah->av.ib.port_pd) >> 24 & 3;
537
538         if (rdma_port_get_link_layer(ah->ibah.device, port) == IB_LINK_LAYER_ETHERNET)
539                 return 1;
540
541         return !!(ah->av.ib.g_slid & 0x80);
542 }
543
544 int mlx4_ib_add_mc(struct mlx4_ib_dev *mdev, struct mlx4_ib_qp *mqp,
545                    union ib_gid *gid);
546
547 void mlx4_ib_dispatch_event(struct mlx4_ib_dev *dev, u8 port_num,
548                             enum ib_event_type type);
549
550 void mlx4_ib_tunnels_update_work(struct work_struct *work);
551
552 #endif /* MLX4_IB_H */