netdev-dpdk: fix mbuf leaks
[cascardo/ovs.git] / lib / ofpbuf.h
index 8067779..8008cb4 100644 (file)
@@ -1,5 +1,5 @@
 /*
- * Copyright (c) 2008, 2009, 2010, 2011, 2012, 2013 Nicira, Inc.
+ * Copyright (c) 2008, 2009, 2010, 2011, 2012, 2013, 2015, 2016 Nicira, Inc.
  *
  * Licensed under the Apache License, Version 2.0 (the "License");
  * you may not use this file except in compliance with the License.
@@ -22,7 +22,6 @@
 #include "list.h"
 #include "packets.h"
 #include "util.h"
-#include "netdev-dpdk.h"
 
 #ifdef  __cplusplus
 extern "C" {
@@ -32,90 +31,87 @@ enum OVS_PACKED_ENUM ofpbuf_source {
     OFPBUF_MALLOC,              /* Obtained via malloc(). */
     OFPBUF_STACK,               /* Un-movable stack space or static buffer. */
     OFPBUF_STUB,                /* Starts on stack, may expand into heap. */
-    OFPBUF_DPDK,                /* buffer data is from DPDK allocated memory.
-                                   ref to build_ofpbuf() in netdev-dpdk. */
 };
 
 /* Buffer for holding arbitrary data.  An ofpbuf is automatically reallocated
  * as necessary if it grows too large for the available memory.
  *
- * 'frame' and offset conventions:
+ * 'header' and 'msg' conventions:
  *
- * Network frames (aka "packets"): 'frame' MUST be set to the start of the
- *    packet, layer offsets MAY be set as appropriate for the packet.
- *    Additionally, we assume in many places that the 'frame' and 'data' are
- *    the same for packets.
- *
- * OpenFlow messages: 'frame' points to the start of the OpenFlow
- *    header, while 'l3_ofs' is the length of the OpenFlow header.
+ * OpenFlow messages: 'header' points to the start of the OpenFlow
+ *    header, while 'msg' is the OpenFlow msg body.
  *    When parsing, the 'data' will move past these, as data is being
  *    pulled from the OpenFlow message.
  *
- * Actions: When encoding OVS action lists, the 'frame' is used
+ *    Caution: buffer manipulation of 'struct ofpbuf' must always update
+ *             the 'header' and 'msg' pointers.
+ *
+ *
+ * Actions: When encoding OVS action lists, the 'header' is used
  *    as a pointer to the beginning of the current action (see ofpact_put()).
  *
- * rconn: Reuses 'frame' as a private pointer while queuing.
+ * rconn: Reuses 'header' as a private pointer while queuing.
  */
 struct ofpbuf {
-#ifdef DPDK_NETDEV
-    struct rte_mbuf mbuf;       /* DPDK mbuf */
-#else
-    void *base_;                 /* First byte of allocated space. */
-    void *data_;                 /* First byte actually in use. */
-    uint32_t size_;              /* Number of bytes in use. */
-#endif
+    void *base;                 /* First byte of allocated space. */
+    void *data;                 /* First byte actually in use. */
+    uint32_t size;              /* Number of bytes in use. */
     uint32_t allocated;         /* Number of bytes allocated. */
 
-    void *frame;                /* Packet frame start, or NULL. */
-    enum ofpbuf_source source;  /* Source of memory allocated as 'base'. */
-    uint8_t l2_pad_size;        /* Detected l2 padding size.
-                                 * Padding is non-pullable. */
-    uint16_t l2_5_ofs;          /* MPLS label stack offset from 'frame', or
-                                 * UINT16_MAX */
-    uint16_t l3_ofs;            /* Network-level header offset from 'frame',
-                                   or UINT16_MAX. */
-    uint16_t l4_ofs;            /* Transport-level header offset from 'frame',
-                                   or UINT16_MAX. */
+    void *header;               /* OpenFlow header. */
+    void *msg;                  /* message's body */
     struct ovs_list list_node;  /* Private list element for use by owner. */
+    enum ofpbuf_source source;  /* Source of memory allocated as 'base'. */
 };
 
-static inline void * ofpbuf_data(const struct ofpbuf *);
-static inline void ofpbuf_set_data(struct ofpbuf *, void *);
-static inline void * ofpbuf_base(const struct ofpbuf *);
-static inline void ofpbuf_set_base(struct ofpbuf *, void *);
-
-static inline uint32_t ofpbuf_size(const struct ofpbuf *);
-static inline void ofpbuf_set_size(struct ofpbuf *, uint32_t);
-
-void * ofpbuf_resize_l2(struct ofpbuf *, int increment);
-void * ofpbuf_resize_l2_5(struct ofpbuf *, int increment);
-static inline void * ofpbuf_l2(const struct ofpbuf *);
-static inline void ofpbuf_set_frame(struct ofpbuf *, void *);
-static inline uint8_t ofpbuf_l2_pad_size(const struct ofpbuf *);
-static inline void ofpbuf_set_l2_pad_size(struct ofpbuf *, uint8_t);
-static inline void * ofpbuf_l2_5(const struct ofpbuf *);
-static inline void ofpbuf_set_l2_5(struct ofpbuf *, void *);
-static inline void * ofpbuf_l3(const struct ofpbuf *);
-static inline void ofpbuf_set_l3(struct ofpbuf *, void *);
-static inline void * ofpbuf_l4(const struct ofpbuf *);
-static inline void ofpbuf_set_l4(struct ofpbuf *, void *);
-static inline size_t ofpbuf_l4_size(const struct ofpbuf *);
-static inline const void *ofpbuf_get_tcp_payload(const struct ofpbuf *);
-static inline const void *ofpbuf_get_udp_payload(const struct ofpbuf *);
-static inline const void *ofpbuf_get_sctp_payload(const struct ofpbuf *);
-static inline const void *ofpbuf_get_icmp_payload(const struct ofpbuf *);
-static inline const void *ofpbuf_get_nd_payload(const struct ofpbuf *);
-
-void ofpbuf_use(struct ofpbuf *, void *, size_t);
+/* An initializer for a struct ofpbuf that will be initially empty and uses the
+ * space in STUB (which should be an array) as a stub.  This is the initializer
+ * form of ofpbuf_use_stub().
+ *
+ * Usage example:
+ *
+ *     uint64_t stub[1024 / 8]; // 1 kB stub properly aligned for 64-bit data.
+ *     struct ofpbuf ofpbuf = OFPBUF_STUB_INITIALIZER(stub);
+ */
+#define OFPBUF_STUB_INITIALIZER(STUB) {         \
+        .base = (STUB),                         \
+        .data = (STUB),                         \
+        .size = 0,                              \
+        .allocated = sizeof (STUB),             \
+        .header = NULL,                         \
+        .msg = NULL,                            \
+        .list_node = OVS_LIST_POISON,           \
+        .source = OFPBUF_STUB,                  \
+    }
+
+/* An initializer for a struct ofpbuf whose data starts at DATA and continues
+ * for SIZE bytes.  This is appropriate for an ofpbuf that will be used to
+ * inspect existing data, without moving it around or reallocating it, and
+ * generally without modifying it at all.  This is the initializer form of
+ * ofpbuf_use_const().
+ */
+static inline struct ofpbuf
+ofpbuf_const_initializer(const void *data, size_t size)
+{
+    return (struct ofpbuf) {
+        .base = CONST_CAST(void *, data),
+        .data = CONST_CAST(void *, data),
+        .size = size,
+        .allocated = size,
+        .header = NULL,
+        .msg = NULL,
+        .list_node = OVS_LIST_POISON,
+        .source = OFPBUF_STACK,
+    };
+}
+
+void ofpbuf_use_ds(struct ofpbuf *, const struct ds *);
 void ofpbuf_use_stack(struct ofpbuf *, void *, size_t);
 void ofpbuf_use_stub(struct ofpbuf *, void *, size_t);
 void ofpbuf_use_const(struct ofpbuf *, const void *, size_t);
 
-void ofpbuf_init_dpdk(struct ofpbuf *b, size_t allocated);
-
 void ofpbuf_init(struct ofpbuf *, size_t);
 void ofpbuf_uninit(struct ofpbuf *);
-static inline void *ofpbuf_get_uninit_pointer(struct ofpbuf *);
 void ofpbuf_reinit(struct ofpbuf *, size_t);
 
 struct ofpbuf *ofpbuf_new(size_t);
@@ -140,14 +136,13 @@ void *ofpbuf_put_zeros(struct ofpbuf *, size_t);
 void *ofpbuf_put(struct ofpbuf *, const void *, size_t);
 char *ofpbuf_put_hex(struct ofpbuf *, const char *s, size_t *n);
 void ofpbuf_reserve(struct ofpbuf *, size_t);
-void ofpbuf_reserve_with_tailroom(struct ofpbuf *b, size_t headroom,
-                                  size_t tailroom);
 void *ofpbuf_push_uninit(struct ofpbuf *b, size_t);
 void *ofpbuf_push_zeros(struct ofpbuf *, size_t);
 void *ofpbuf_push(struct ofpbuf *b, const void *, size_t);
 
 static inline size_t ofpbuf_headroom(const struct ofpbuf *);
 static inline size_t ofpbuf_tailroom(const struct ofpbuf *);
+static inline size_t ofpbuf_msgsize(const struct ofpbuf *);
 void ofpbuf_prealloc_headroom(struct ofpbuf *, size_t);
 void ofpbuf_prealloc_tailroom(struct ofpbuf *, size_t);
 void ofpbuf_trim(struct ofpbuf *);
@@ -166,26 +161,10 @@ void ofpbuf_list_delete(struct ovs_list *);
 static inline bool ofpbuf_equal(const struct ofpbuf *, const struct ofpbuf *);
 
 \f
-/* Returns a pointer that may be passed to free() to accomplish the same thing
- * as ofpbuf_uninit(b).  The return value is a null pointer if ofpbuf_uninit()
- * would not free any memory. */
-static inline void *ofpbuf_get_uninit_pointer(struct ofpbuf *b)
-{
-    /* XXX: If 'source' is OFPBUF_DPDK memory gets leaked! */
-    return b && b->source == OFPBUF_MALLOC ? ofpbuf_base(b) : NULL;
-}
-
 /* Frees memory that 'b' points to, as well as 'b' itself. */
 static inline void ofpbuf_delete(struct ofpbuf *b)
 {
     if (b) {
-        if (b->source == OFPBUF_DPDK) {
-            /* If this ofpbuf was allocated by DPDK it must have been
-             * created as a dp_packet */
-            free_dpdk_buf((struct dp_packet*) b);
-            return;
-        }
-
         ofpbuf_uninit(b);
         free(b);
     }
@@ -196,7 +175,7 @@ static inline void ofpbuf_delete(struct ofpbuf *b)
 static inline void *ofpbuf_at(const struct ofpbuf *b, size_t offset,
                               size_t size)
 {
-    return offset + size <= ofpbuf_size(b) ? (char *) ofpbuf_data(b) + offset : NULL;
+    return offset + size <= b->size ? (char *) b->data + offset : NULL;
 }
 
 /* Returns a pointer to byte 'offset' in 'b', which must contain at least
@@ -204,21 +183,21 @@ static inline void *ofpbuf_at(const struct ofpbuf *b, size_t offset,
 static inline void *ofpbuf_at_assert(const struct ofpbuf *b, size_t offset,
                                      size_t size)
 {
-    ovs_assert(offset + size <= ofpbuf_size(b));
-    return ((char *) ofpbuf_data(b)) + offset;
+    ovs_assert(offset + size <= b->size);
+    return ((char *) b->data) + offset;
 }
 
 /* Returns a pointer to byte following the last byte of data in use in 'b'. */
 static inline void *ofpbuf_tail(const struct ofpbuf *b)
 {
-    return (char *) ofpbuf_data(b) + ofpbuf_size(b);
+    return (char *) b->data + b->size;
 }
 
 /* Returns a pointer to byte following the last byte allocated for use (but
  * not necessarily in use) in 'b'. */
 static inline void *ofpbuf_end(const struct ofpbuf *b)
 {
-    return (char *) ofpbuf_base(b) + b->allocated;
+    return (char *) b->base + b->allocated;
 }
 
 /* Returns the number of bytes of headroom in 'b', that is, the number of bytes
@@ -227,7 +206,7 @@ static inline void *ofpbuf_end(const struct ofpbuf *b)
  * headroom is 0.) */
 static inline size_t ofpbuf_headroom(const struct ofpbuf *b)
 {
-    return (char*)ofpbuf_data(b) - (char*)ofpbuf_base(b);
+    return (char*)b->data - (char*)b->base;
 }
 
 /* Returns the number of bytes that may be appended to the tail end of ofpbuf
@@ -237,21 +216,36 @@ static inline size_t ofpbuf_tailroom(const struct ofpbuf *b)
     return (char*)ofpbuf_end(b) - (char*)ofpbuf_tail(b);
 }
 
+/* Returns the number of bytes from 'b->header' to 'b->msg', that is, the
+ * length of 'b''s header. */
+static inline size_t
+ofpbuf_headersize(const struct ofpbuf *b)
+{
+    return (char *)b->msg - (char *)b->header;
+}
+
+/* Returns the number of bytes from 'b->msg' to 'b->data + b->size', that is,
+ * the length of the used space in 'b' starting from 'msg'. */
+static inline size_t
+ofpbuf_msgsize(const struct ofpbuf *b)
+{
+    return (char *)ofpbuf_tail(b) - (char *)b->msg;
+}
+
 /* Clears any data from 'b'. */
 static inline void ofpbuf_clear(struct ofpbuf *b)
 {
-    ofpbuf_set_data(b, ofpbuf_base(b));
-    ofpbuf_set_size(b, 0);
+    b->data = b->base;
+    b->size = 0;
 }
 
 /* Removes 'size' bytes from the head end of 'b', which must contain at least
  * 'size' bytes of data.  Returns the first byte of data removed. */
 static inline void *ofpbuf_pull(struct ofpbuf *b, size_t size)
 {
-    void *data = ofpbuf_data(b);
-    ovs_assert(ofpbuf_size(b) - ofpbuf_l2_pad_size(b) >= size);
-    ofpbuf_set_data(b, (char*)ofpbuf_data(b) + size);
-    ofpbuf_set_size(b, ofpbuf_size(b) - size);
+    void *data = b->data;
+    b->data = (char*)b->data + size;
+    b->size = b->size - size;
     return data;
 }
 
@@ -260,8 +254,7 @@ static inline void *ofpbuf_pull(struct ofpbuf *b, size_t size)
  * null pointer without modifying 'b'. */
 static inline void *ofpbuf_try_pull(struct ofpbuf *b, size_t size)
 {
-    return ofpbuf_size(b) - ofpbuf_l2_pad_size(b) >= size
-        ? ofpbuf_pull(b, size) : NULL;
+    return b->size >= size ? ofpbuf_pull(b, size) : NULL;
 }
 
 static inline struct ofpbuf *ofpbuf_from_list(const struct ovs_list *list)
@@ -271,189 +264,8 @@ static inline struct ofpbuf *ofpbuf_from_list(const struct ovs_list *list)
 
 static inline bool ofpbuf_equal(const struct ofpbuf *a, const struct ofpbuf *b)
 {
-    return ofpbuf_size(a) == ofpbuf_size(b) &&
-           memcmp(ofpbuf_data(a), ofpbuf_data(b), ofpbuf_size(a)) == 0;
-}
-
-/* Get the start if the Ethernet frame.  'l3_ofs' marks the end of the l2
- * headers, so return NULL if it is not set. */
-static inline void * ofpbuf_l2(const struct ofpbuf *b)
-{
-    return (b->l3_ofs != UINT16_MAX) ? b->frame : NULL;
-}
-
-/* Sets the packet frame start pointer and resets all layer offsets.
- * l3 offset must be set before 'l2' can be retrieved. */
-static inline void ofpbuf_set_frame(struct ofpbuf *b, void *packet)
-{
-    b->frame = packet;
-    b->l2_pad_size = 0;
-    b->l2_5_ofs = UINT16_MAX;
-    b->l3_ofs = UINT16_MAX;
-    b->l4_ofs = UINT16_MAX;
-}
-
-static inline uint8_t ofpbuf_l2_pad_size(const struct ofpbuf *b)
-{
-    return b->l2_pad_size;
-}
-
-static inline void ofpbuf_set_l2_pad_size(struct ofpbuf *b, uint8_t pad_size)
-{
-    ovs_assert(pad_size <= ofpbuf_size(b));
-    b->l2_pad_size = pad_size;
-}
-
-static inline void * ofpbuf_l2_5(const struct ofpbuf *b)
-{
-    return b->l2_5_ofs != UINT16_MAX ? (char *)b->frame + b->l2_5_ofs : NULL;
-}
-
-static inline void ofpbuf_set_l2_5(struct ofpbuf *b, void *l2_5)
-{
-    b->l2_5_ofs = l2_5 ? (char *)l2_5 - (char *)b->frame : UINT16_MAX;
-}
-
-static inline void * ofpbuf_l3(const struct ofpbuf *b)
-{
-    return b->l3_ofs != UINT16_MAX ? (char *)b->frame + b->l3_ofs : NULL;
-}
-
-static inline void ofpbuf_set_l3(struct ofpbuf *b, void *l3)
-{
-    b->l3_ofs = l3 ? (char *)l3 - (char *)b->frame : UINT16_MAX;
-}
-
-static inline void * ofpbuf_l4(const struct ofpbuf *b)
-{
-    return b->l4_ofs != UINT16_MAX ? (char *)b->frame + b->l4_ofs : NULL;
-}
-
-static inline void ofpbuf_set_l4(struct ofpbuf *b, void *l4)
-{
-    b->l4_ofs = l4 ? (char *)l4 - (char *)b->frame : UINT16_MAX;
-}
-
-static inline size_t ofpbuf_l4_size(const struct ofpbuf *b)
-{
-    return b->l4_ofs != UINT16_MAX
-        ? (const char *)ofpbuf_tail(b) - (const char *)ofpbuf_l4(b)
-        - ofpbuf_l2_pad_size(b)
-        : 0;
-}
-
-static inline const void *ofpbuf_get_tcp_payload(const struct ofpbuf *b)
-{
-    size_t l4_size = ofpbuf_l4_size(b);
-
-    if (OVS_LIKELY(l4_size >= TCP_HEADER_LEN)) {
-        struct tcp_header *tcp = ofpbuf_l4(b);
-        int tcp_len = TCP_OFFSET(tcp->tcp_ctl) * 4;
-
-        if (OVS_LIKELY(tcp_len >= TCP_HEADER_LEN && tcp_len <= l4_size)) {
-            return (const char *)tcp + tcp_len;
-        }
-    }
-    return NULL;
-}
-
-static inline const void *ofpbuf_get_udp_payload(const struct ofpbuf *b)
-{
-    return OVS_LIKELY(ofpbuf_l4_size(b) >= UDP_HEADER_LEN)
-        ? (const char *)ofpbuf_l4(b) + UDP_HEADER_LEN : NULL;
-}
-
-static inline const void *ofpbuf_get_sctp_payload(const struct ofpbuf *b)
-{
-    return OVS_LIKELY(ofpbuf_l4_size(b) >= SCTP_HEADER_LEN)
-        ? (const char *)ofpbuf_l4(b) + SCTP_HEADER_LEN : NULL;
-}
-
-static inline const void *ofpbuf_get_icmp_payload(const struct ofpbuf *b)
-{
-    return OVS_LIKELY(ofpbuf_l4_size(b) >= ICMP_HEADER_LEN)
-        ? (const char *)ofpbuf_l4(b) + ICMP_HEADER_LEN : NULL;
-}
-
-static inline const void *ofpbuf_get_nd_payload(const struct ofpbuf *b)
-{
-    return OVS_LIKELY(ofpbuf_l4_size(b) >= ND_MSG_LEN)
-        ? (const char *)ofpbuf_l4(b) + ND_MSG_LEN : NULL;
-}
-
-#ifdef DPDK_NETDEV
-BUILD_ASSERT_DECL(offsetof(struct ofpbuf, mbuf) == 0);
-
-static inline void * ofpbuf_data(const struct ofpbuf *b)
-{
-    return b->mbuf.pkt.data;
-}
-
-static inline void ofpbuf_set_data(struct ofpbuf *b, void *d)
-{
-    b->mbuf.pkt.data = d;
-}
-
-static inline void * ofpbuf_base(const struct ofpbuf *b)
-{
-    return b->mbuf.buf_addr;
-}
-
-static inline void ofpbuf_set_base(struct ofpbuf *b, void *d)
-{
-    b->mbuf.buf_addr = d;
-}
-
-static inline uint32_t ofpbuf_size(const struct ofpbuf *b)
-{
-    return b->mbuf.pkt.pkt_len;
-}
-
-static inline void ofpbuf_set_size(struct ofpbuf *b, uint32_t v)
-{
-    b->mbuf.pkt.data_len = v;    /* Current seg length. */
-    b->mbuf.pkt.pkt_len = v;     /* Total length of all segments linked to
-                                  * this segment. */
-}
-
-#else
-static inline void * ofpbuf_data(const struct ofpbuf *b)
-{
-    return b->data_;
-}
-
-static inline void ofpbuf_set_data(struct ofpbuf *b, void *d)
-{
-    b->data_ = d;
-}
-
-static inline void * ofpbuf_base(const struct ofpbuf *b)
-{
-    return b->base_;
-}
-
-static inline void ofpbuf_set_base(struct ofpbuf *b, void *d)
-{
-    b->base_ = d;
-}
-
-static inline uint32_t ofpbuf_size(const struct ofpbuf *b)
-{
-    return b->size_;
-}
-
-static inline void ofpbuf_set_size(struct ofpbuf *b, uint32_t v)
-{
-    b->size_ = v;
-}
-#endif
-
-static inline void ofpbuf_reset_packet(struct ofpbuf *b, int off)
-{
-    ofpbuf_set_size(b, ofpbuf_size(b) - off);
-    ofpbuf_set_data(b, (void *) ((unsigned char *) b->frame + off));
-    b->frame = NULL;
-    b->l2_5_ofs = b->l3_ofs = b->l4_ofs = UINT16_MAX;
+    return a->size == b->size &&
+           memcmp(a->data, b->data, a->size) == 0;
 }
 
 #ifdef  __cplusplus