在亚马逊Bedrock上推出基于印度的Kimi K3推理服务
aws ·
Amazon Bedrock 推出了基于印度的 Kimi K3 多模态基础模型推理服务，允许客户在印度区域内处理数据，以满足严格的数据驻留要求。该新功能支持跨区域推理配置文件，可将请求路由至 AWS 孟买和海得拉巴数据中心，同时确保数据在私有网络中保持加密状态。早期采用者如 Ultrahuman 报告称获得了显著收益，包括通过提示词缓存将大语言模型成本降低 80%，并实现更快的多轮对话。文章提供了使用 Kimi K3 对印地语文档（如电费账单和 KYC 表格）进行光学字符识别的技术指南。开发者可利用兼容 OpenAI 的 API 提取结构化 JSON 数据，并用 Hinglish（印英混合语）回答后续问题，而无需单独的翻译服务。指南还详细介绍了优化策略，包括选择服务层级以管理成本或延迟，以及显式的提示词缓存技术。最后，文章概述了通过 CloudWatch 指标进行的监控选项，并建议在关键的自动化提取工作流中实施人工审核步骤。
aws