红移集群和红移连接器的限制

“红移星团和我们的红移连接器有限制吗?”

尽管红移集群具有难以置信的可伸缩性和效率,但为了确保集群保持性能,还是施加了一些限制。

保留字

红移不允许您使用保留字创建表或列。为了避免命名约定问题,我们在前面添加了一个_任何保留字名称。如果您在查找列或表时有困难,您可以检查列表红移保留字或搜索带有下划线的表_open

表数限制

Redshift将集群中可以创建的表的最大数量设置为9,900,包括临时表。虽然很少会达到这个限制,但我们建议密切关注仓库连接器在集群中创建的表的数量。请记住,将为发送给Segment的每个惟一事件创建一个新表,如果动态生成事件,这将成为一个问题。

集群节点的限制

在设置红移集群时,您可以在密集存储(ds2)和密集计算(dc1)集群类型之间进行选择。密集计算节点是基于SSD的,每个节点只分配200GB,但会导致更快的查询。密集存储节点是基于硬盘的,每个节点分配2TB的空间,但会导致查询速度变慢。当通过添加节点来扩展集群时,务必记住,添加更多节点并不会线性增加空间。随着添加更多dc1节点,每个表的预分配空间也会增加。例如,如果你有一个有10列的表,Redshift将为每个节点预分配20mb的空间(10列X 2片)。这意味着同一个表将在单个ds2集群中预分配20mb空间,在有10个节点的dc1集群中预分配200mb空间。

列类型的变化

与大多数数据仓库一样,列数据类型(字符串、整数、浮点数等)必须在创建列时定义。与大多数数据仓库不同,红移不允许在列创建后简单地更改列类型。此外,我们在本地数据库中存储表和列类型设置的记录,并在每个连接器运行时验证该结构。目前,列类型的更改(即将整数列更改为float)仅对我们的业务层客户在特定的基础上可用。manbetx客户端应用下载

VARCHAR大小限制

为了保持较高的性能,所有段管理模式的默认VARCHAR大小都是512。如果希望增加VARCHAR大小,可以运行以下查询。

改变,更改表格table_name改变,更改column_namecolumn_type;

例子:

改变,更改表格segment_prod标识改变,更改account_id类型VARCHAR(1024);

增加默认大小可能会影响查询性能,因为它需要处理更多的数据来适应增加的列大小。看到亚马逊的红移的文档为更多的细节。

屏蔽列出的跟踪调用属性

虽然几乎所有的事件属性都是有效的,但我们无法传递与标准原始JSON调用中包含的默认键/值对有命名冲突的属性。例如,如果您通过名为“timestamp”或“event”的跟踪调用中的属性发送,它将导致冲突,您可能不会在仓库中看到它。更具体地说,如果您发送以下跟踪调用,{' event ': ' birthday '}可能会在将数据同步到数据仓库时被删除。

分析。跟踪(选择礼物,{“事件”:“生日”,“类型”:“蛋糕”})

最后更改:2021年3月11日



从分段开始

细分是将网站和移动应用数据整合到300多个分析和增长工具的最简单方法。
创建免费帐户