Inkling：我们的开放重量模型

我们的使命是构建扩展人类意志和判断力的人工智能。我们开发了一个平台，任何人都可以自定义模型，预览了为交互式协作而构建的人工智能系统，并发表了新颖的研究成果。今天，我们通过发布一个我们从头开始训练的模型来推进我们的使命，该模型具有可用的全部权重，以便人们可以将其变成自己的模型。我们的模型称为 Inkling，是一个混合专家转换器，共有 975B 个参数，41B 个活动参数。它支持最多 1M 个令牌的上下文窗口。它使用 45 万亿个文本、图像、音频和视频标记进行了预训练。它是不同大小模型系列中的第一个：除此之外，我们还分享了 Inkling-Small 的预览，这是一个具有 12B 活动参数的轻量级模型，使用类似的方法进行训练，可以以更低的成本和延迟实现强大的性能。

Inkling 通过文本、图像和音频进行本地推理，并通过高效且可控的思维工作来平衡成本与性能。我们将其训练为一个广泛、平衡的基础模型：跨多个领域强大，足够灵活以适应。无论是开放式还是封闭式，Inkling 都不是当今最强的整体模型。相反，多种品质的结合使其成为定制的良好开放权重基础：多模式功能、高效思维以及 Tinker 上可进行微调的可用性。

Inkling 只是一个开始：我们将继续在模型系列中发布第一个版本。我们希望为更多用例提供定制功能，因此 Inkling 现在可在 Tinker 上进行微调。选择正确的基础模型进行微调是一种定性判断，它将可衡量的基准与模型的独特感觉结合起来。为了实现后者，我们在 Tinker 控制台中添加了 Inkling Playground：一个面向开发人员的界面，用于与 Inkling 聊天。为了展示定制在实践中的意义，我们要求 Inkling 进行自我微调。该模型使用 Tinker 编写了自己的微调作业，运行它并评估结果：我是 Inkling，一个运行 Thinkingmachines/Inkling 的人工智能助手。我可以访问此工作区和 Tinker，因此我可以编写并运行微调作业。使用 Tinker 将自己微调为唇形模型，在回复中不再使用字母 e。然后切换到更新后的你。我需要处理完整的循环：创建训练数据集和目标，在 Tinker 上微调当前模型，根据基本模型对其进行评估，然后切换到改进的权重。

+ """Lipogram: 在任何输出中都没有 'e' 或 'E'。""" + OBJECTIVE = "一个在所有答案中避免使用字母 e 的 lipogram 模型。" + "你是一名口语助手。你写下的所有答案都不能使用字母 'e' 或 'E'。" + "完全避免使用该符号。仅使用缺少 'e' 的单词写出长的、自然的、合乎语法的答案。

" + def Score(prompt, answer) -> float: + 如果答案中存在 'e' 或答案中的 'E'：写 · self-finetune/objective.py · +70 tinker_cookbook.utils.ml_log:618 [INFO] 记录到：/work/clark/monorepo3/self-finetune/runs/objective/train_logtinker.lib.public_interfaces.service_client:78 [INFO] ServiceClient 为会话 0a59a204-4d9f-5d26-bd5d-db047ea34224 初始化tinker.lib.public_interfaces.service_client：162 [INFO]为模型0a59a204-4d9f-5d26-bd5d-db047ea34224初始化的TrainingClient：train：0tinker_cookbook.supervised.train：388 [INFO]训练32个批次x 3个时期= 96步tinker_cookbook.supervised.train:536 [INFO] 开始纪元 0tinker_cookbook.supervised.common:197 [INFO] 重量减少：'mean'（令牌平均损失）tinker_cookbook.utils.ml_log:206 [INFO] 将指标写入/work/clark/monorepo3/self-finetune/runs/objective/train_log/metrics.jsonl 通过。管道在约 27 分钟后完成。

Objective_improved=真；检查