亚马逊kinesis目的地


亚马逊运动使您可以构建处理或分析用于专门需求的流数据的自定义应用程序。亚马逊kinesis流可以连续捕获并储存每小时从数十万个来源捕获和储存数据,例如网站点击流,金融交易,社交媒体馈送,它日志和位置跟踪事件。

本文档最后于2020年2月5日上次更新。如果您发现任何差距,过时的信息或只是想留下一些反馈,以帮助我们改进我们的文档,让我们知道!!

入门

在开始之前,请确保Amazon Kinesis支持您选择实现的源类型和连接模式。您可以了解更多信息联系方式在这里

网络 移动 服务器
Device-mode
☁️云模式
  1. 创建kinesis流。流由多个碎片组成,每个碎片都提供固定的容量单元。流的总容量是其碎片容量的总和。每个碎片对应于1 MB / s的写入容量和2 MB / s的读取容量。看看亚马逊Kinesis开发人员指南有关估算流所需的碎片数量的更多信息。跟随这一点指示为了创建一个新的AWS Kinesis流。
  2. 创建IAM policy。登录到IAM (Identity and Access Management)控制台并遵循这些说明创建一个IAM政策允许分部权限写入您的Kinesis流。选择从JSON创建策略选项,并使用以下模板策略政策文件字段。请确保使用适用的值更改{region}、{account-id}和{stream-name}。

    {“版本”“2012-10-17”“声明”[{“影响”“允许”“行动”[“kinesis:putrecord”“运动:PutRecords”),“资源”[“攻击:aws:运动:{地区}:{帐户id}:流/{流程名}”]}]}

    笔记:此策略文档的以前版本仅被授予PutRecord访问,这可能会通过禁止文件批处理减慢运动写时间。替换上面更新的政策文档以授予kineesisPutrecords.(复数)并允许批处理。

  3. 创造IAM角色。按照以下说明进行操作创建IAM角色允许分部权限写入您的Kinesis流。提示输入帐户ID时,请输入“595280932656”。确保启用“需要外部ID”并输入您的段源ID作为外部ID *。这可以通过导航到段源首页上的设置> API键来找到。添加到新角色的权限时,查找您上面创建的策略并附上它。

    笔记:如果您有多个使用Kinesis的源,请在此处在此处输入其中一个源ID,然后按照完成此步骤完成此步骤并保存您的IAM角色后遵循此DOC底部的多个源部分中概述的过程。

  4. 创建一个新的kinesis目的地。在要连接到Kinesis目标的段源中,单击“添加目标”按钮。搜索并选择Amazon Kinesis目标并输入选项:角色地址地区

页面

如果你对细分市场的规格不熟悉,可以看一看页面方法所做的事。一个示例调用如下所示:

分析页面();

确认

如果你对细分市场的规格不熟悉,可以看一看识别方法所做的事。一个示例调用如下所示:

分析确认'97980CFEA0085'{电子邮件'gibbons@example.com'的名字'约翰·贡堡'});

跟踪

如果你对细分市场的规格不熟悉,可以看一看跟踪方法所做的事。一个示例调用如下所示:

分析追踪用户注册{入住日期新的日期(),myCoolPropertyfoobar});

数据模型

假设您正在将段客户数据流连接到Kinesis流万博官方购彩ARN:AWS:Kinesis:{Region}:{Account-ID}:Stream / {Stream-name}。如果您发送段以下在a追踪电话:

{“标识”“user_1”“事件”“用户注册”“特性”{“计划”“箴年度”“account_type”“Facebook”}}

线段运动目的地问题aPutRecord请求以下参数:

kinesis.putRecord({数据新的缓冲JSONstringify味精)))。toString'Base64.'PartitionKey.味精用户身份()||味精匿名(),StreamName'流程名'});

段使用了userId | | anonymousId随着PartitionKey.。Amazon Kinesis使用分区密钥来分发碎片的数据。亚马逊kinesis将属于流的数据记录分解为多个碎片,使用与每个数据记录相关联的分区密钥来确定哪个碎片给定数据记录所属的碎片。

笔记:JSON有效负载是base64字符串。

集团

如果你对细分市场的规格不熟悉,可以看一看组方法所做的事。

下面是组呼的一个示例:

分析集团0e8c78ea9d9dsasahjg.{的名字组名员工3.计划企业行业技术});

故障排除

在开始时,我们建议使用任何一种开源软件Kinesis Tailing Utility.验证数据是否正确流动!

最佳实践

更新IAM角色加密权限

如果在Kinesis流上使用at-rest加密,需要为IAM role添加额外的权限。更新后的角色策略如下,可以解决使用加密将PutRecords提交到Kinesis流中的问题:

{“版本”“2012-10-17”“声明”[{“影响”“允许”“行动”[“公里:GenerateDataKey”),“资源”" $ {aws_kms_key.kinesis_key.arn} "},{“影响”“允许”“行动”[“kinesis:putrecord”“运动:PutRecords”),“资源”[“$ {aws_kinesis_stream.kinesis1.arn}”]}]}

多个源

如果您有多个使用kinesis / firehose的来源,则有两个选项:

将多个来源附加到您的IAM角色

在AWS控制台的“Services > IAM > Roles”中找到为该目的地创建的IAM角色。单击角色,并导航到信任关系选项卡。点击编辑信任关系。你应该会看到这样的代码片段:

{“版本”“2012-10-17”“声明”[{“影响”“允许”“校长”{“AWS”“攻击:aws:我::595280932656:根”},“行动”“STS:假设”“条件”{“StringEquals”{“STS:Ultherid”“your_segment_source_id”}}}]}

用以下代码片段替换该代码片段,并用所有源id替换数组的内容。

{“版本”“2012-10-17”“声明”[{“影响”“允许”“校长”{“AWS”“攻击:aws:我::595280932656:根”},“行动”“STS:假设”“条件”{“StringEquals”{“STS:Ultherid”[“your_segment_source_id”“ANOTHER_SOURCE_ID”“a_third_source_id”]}}}]}

使用单个秘密ID

如果你有这么多的资源使用Kinesis,它是不切实际的附加所有的ID到你的IAM角色,你可以选择设置一个ID代替使用。如果可能的话,应该避免使用上述方法,因为它将导致您不得不跟踪一个秘密值。要设置这个值,从你的每个片段源转到Kinesis destination设置,并将“秘密ID”设置为你选择的值。这个值是机密的,应该像密码一样敏感。一旦所有的源都被更新为使用该值,在Services > IAM > Roles的AWS控制台中找到为该目标创建的IAM角色。单击角色,并导航到信任关系选项卡。点击编辑信任关系。你应该会看到这样的代码片段:

{“版本”“2012-10-17”“声明”[{“影响”“允许”“校长”{“AWS”“攻击:aws:我::595280932656:根”},“行动”“STS:假设”“条件”{“StringEquals”{“STS:Ultherid”“your_segment_source_id”}}}]}

将您的源ID(在“YOUR_SEGMENT_SOURCE_ID”中找到)替换为您的秘密ID。

角色

您可以发送使用的计算特征和受众使用细分人格到达这个目的地用户属性。要了解更多关于人物角色的信息,请联系我们演示

对于用户属性目的地,一个确认对于添加和删除的每个用户,呼叫被发送到目的地。属性名是用户名的snake_大小写版本,用true/false值表示成员关系。例如,当用户在过去30天内第一次完成一个订单时,Personas发送一个带有属性的标识呼叫order_completed_last_30days:真。当用户不再满足此条件时(例如,距离上一次订单已经超过30天),Personas将该值设置为

当您第一次创建受众时,Personas为受众中的每个用户发送一个识别呼叫。之后的用户同步只会向自上次同步后成员发生变化的用户发送更新。

设置

段允许您从段应用程序更改这些目标设置,而无需触摸任何代码。

AWS Kinesis流名称

kineesis流的名称

AWS Kinesis流区域

Kinesis Stream的AWS区域密钥

角色地址

将写入Kinesis的AWS角色的地址(例如:ARN:AWS:IAM :: 874699288871:角色/示例角色)

秘密ID.

IAM角色的外部ID。该值是一个机密值,应该作为密码处理。

使用段消息ID

如果要使用生成的段,则可以启用此选项MessageId.分区键。如果你有太多的问题provisionedthroughputexceededExceptions错误,这意味着你的分段事件不是平均分布在你的桶,因为你甚至没有用户事件分布(默认分区键为用户身份匿名)。此选项应提供更稳定甚至分布。

最后更改时间:2020年10月12日



从分段开始

细分是将网站和移动应用数据整合到300多个分析和增长工具的最简单方法。
建立免费账户